Method and apparatus for lightening sentence encoder

• Main Authors: YOON YONG SUN, LEE JUNG HOON, KANG JIN BEOM, JOO DONG WON
• Format: Patent
• Language: English; Korean
• Published: 14.11.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

기 설정된 학습 데이터베이스로부터 획득되는 입력 문장을, 트랜스포머(Transformer) 구조를 가지는 교사 모델과 학생 모델에 입력하는 단계; 상기 입력 문장에 기초하여 상기 교사 모델의 최종 레이어를 획득하는 단계; 상기 입력 문장에 기초하여 상기 학생 모델의 상위 레이어에서 하위 레이어 방향으로 순전파를 진행하는 단계; 제1 손실함수 및 제1 가중치에 기초한 제1 함수와 제2 손실함수 및 제2 가중치에 기초한 제2 함수를 합산하여 경량화 손실함수를 설정하는 단계; 및 상기 순전파로 획득한 상기 학생 모델의 최종 레이어, 상기 교사 모델의 최종 레이어 및 상기 경량화 손실함수를 바탕으로 역전파를 진행하여 상기 학생 모델의 파라미터들을 교정하는 단계;를 포함하되, 상기 제1 손실함수는, 코사인 유사도를 이용하는 대조 학습 기법에 기반하여 설정된 것이고, 상기 제2 손실함수는, 릴레이션 헤드(Relation head)로 나눈 상기 교사 모델 및 상기 학생 모델의 쿼리(Query), 키(Key), 벨류(Value) 벡터의 어텐션 분포에 기초하여 설정된 것인, 문장 인코더를 경량화하는 방법.