Korean Light Weight Language Model

한국어 대용량 언어 모델 경량화 기법이 개시된다. 이 기법에서, 교사 모델과 학생 모델은 왼쪽과 오른쪽으로 나눠지며 트랜스포머 아키텍처로 구성되고, 각각의 트랜스포머 층에서 쿼리, 키 그리고 벨류 값을 얻을 수 있으며, 쿼리-키 값을 통해 정방행렬로 구성된 자기 집중 맵을 만들고, 각 층에서의 벨류 값을 이용하여 자기 내적을 통해 벨류 관계 맵을 얻으며, 교사 모델과 학생 모델의 트랜스포머 각 층에서 자기 집중 맵 및 벨류 관계 맵을 얻은 후, 학생 모델이 교사 모델의 맵 분포를 닮도록 학습하...

Full description

Saved in:
Bibliographic Details
Main Authors HONG CHOONG SEON, KIM SOEON, KIM BONG MIN, SEONG BAE PARK, HONG SANG HOON
Format Patent
LanguageEnglish
Korean
Published 16.05.2024
Subjects
CALCULATING
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
COMPUTING
COUNTING
ELECTRIC DIGITAL DATA PROCESSING
PHYSICS
Online AccessGet full text

Cover

More Information
Summary:한국어 대용량 언어 모델 경량화 기법이 개시된다. 이 기법에서, 교사 모델과 학생 모델은 왼쪽과 오른쪽으로 나눠지며 트랜스포머 아키텍처로 구성되고, 각각의 트랜스포머 층에서 쿼리, 키 그리고 벨류 값을 얻을 수 있으며, 쿼리-키 값을 통해 정방행렬로 구성된 자기 집중 맵을 만들고, 각 층에서의 벨류 값을 이용하여 자기 내적을 통해 벨류 관계 맵을 얻으며, 교사 모델과 학생 모델의 트랜스포머 각 층에서 자기 집중 맵 및 벨류 관계 맵을 얻은 후, 학생 모델이 교사 모델의 맵 분포를 닮도록 학습하
Bibliography:Application Number: KR20220147917