Korean Light Weight Language Model
한국어 대용량 언어 모델 경량화 기법이 개시된다. 이 기법에서, 교사 모델과 학생 모델은 왼쪽과 오른쪽으로 나눠지며 트랜스포머 아키텍처로 구성되고, 각각의 트랜스포머 층에서 쿼리, 키 그리고 벨류 값을 얻을 수 있으며, 쿼리-키 값을 통해 정방행렬로 구성된 자기 집중 맵을 만들고, 각 층에서의 벨류 값을 이용하여 자기 내적을 통해 벨류 관계 맵을 얻으며, 교사 모델과 학생 모델의 트랜스포머 각 층에서 자기 집중 맵 및 벨류 관계 맵을 얻은 후, 학생 모델이 교사 모델의 맵 분포를 닮도록 학습하...
Saved in:
Main Authors | , , , , |
---|---|
Format | Patent |
Language | English Korean |
Published |
16.05.2024
|
Subjects | |
Online Access | Get full text |
Cover
Loading…
Be the first to leave a comment!