Method and apparatus for identifying the intent of input sentences using task-specific adapter

기 학습된 트랜스포머(Transformer) 구조를 가지는 제1 문장 인코더 모델에 과제 특화 어댑터를 부가함으로써 제2 문장 인코더 모델을 생성하는 단계; 제1 손실함수 및 제1 가중치에 기초한 제1 함수와 제2 손실함수 및 제2 가중치에 기초한 제2 함수를 합산하여 어댑터 학습 손실함수를 설정하는 단계; 기 설정된 의도 분류 학습 데이터베이스 및 상기 어댑터 학습 손실함수에 기초하여, 상기 과제 특화 어댑터를 학습하는 단계; 사용자로부터 획득된 입력 문장을 상기 제2 문장 인코더 모델에 입력하는 단계; 및 상기 입력 문장 및 상...

Full description

Saved in:
Bibliographic Details
Main Authors YOON YONG SUN, LEE JUNG HOON, KANG JIN BEOM, JOO DONG WON
Format Patent
LanguageEnglish
Korean
Published 14.11.2023
Subjects
CALCULATING
COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
COMPUTING
COUNTING
ELECTRIC DIGITAL DATA PROCESSING
PHYSICS
Online AccessGet full text

Cover

More Information
Summary:기 학습된 트랜스포머(Transformer) 구조를 가지는 제1 문장 인코더 모델에 과제 특화 어댑터를 부가함으로써 제2 문장 인코더 모델을 생성하는 단계; 제1 손실함수 및 제1 가중치에 기초한 제1 함수와 제2 손실함수 및 제2 가중치에 기초한 제2 함수를 합산하여 어댑터 학습 손실함수를 설정하는 단계; 기 설정된 의도 분류 학습 데이터베이스 및 상기 어댑터 학습 손실함수에 기초하여, 상기 과제 특화 어댑터를 학습하는 단계; 사용자로부터 획득된 입력 문장을 상기 제2 문장 인코더 모델에 입력하는 단계; 및 상기 입력 문장 및 상기 제2 문장 인코더 모델에 기초하여 기 설정된 의도 집합에 포함되는 하나의 의도를 결정하는 단계;를 포함하되, 상기 제1 손실함수는, 교차 엔트로피 오차에 기초하여 설정된 것이고, 상기 제2 손실함수는, 메트릭 학습 기법에 기반하여 설정된 것인, 과제 특화 어댑터를 이용하여 입력 문장의 의도를 파악하는 방법.
Bibliography:Application Number: KR20220128896