Method for Delivering Knowledge to Light Deep Learning Network from Deep Learning Network

• Main Authors: LEE DONGGYU, KWAK BYEONG KWON, KIM DAEHAN, KIM HYUNGRAK
• Format: Patent
• Language: English; Korean
• Published: 05.01.2022
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

The present invention relates to a method for transferring knowledge to a light deep learning network from a deep learning network. An objective of the present invention is to provide a deep learning light model which has markedly improved accuracy and which can be applied to a mobile environment. The method comprises: a first step of calculating STK^T which is an output value resulting from applying a softmax function to a first soft label which is a distribution of a result value outputted by receiving data to be learned by a deep learning network; a second step of calculating P^model which is an output value resulting from applying the softmax function to a second soft label which is a distribution of a result value outputted by receiving data to be learned by a light deep learning network; a third step of calculating similarity (KDR) of the STK^T and the P^model; a fourth step of calculating a ratio (TSTR) of a current learning time step to an entire learning time; a fifth step of selecting a variable (TSSR) for transfer ratio determination based on the ratio (TSTR) of the current learning time step and the similarity (KDR); and a sixth step of adjusting a ratio of STK^T and a ratio of a real correct answer (EK^T) which the light deep learning network receives from the deep learning network based on the variable (TSSR) for transfer ratio determination. 본 발명은 딥 러닝 네트워크로부터 경량화 딥 러닝 네트워크로 지식을 전수하는 방법에 대한 것으로서 상기 방법은, 딥 러닝 네트워크가 학습할 데이터를 입력받아 출력한 결과값의 분포인 제1 소프트라벨에 대해 소프트맥스(softmax) 함수를 적용한 출력값인 STKT를 산출하는 제1 단계와; 경량화 딥 러닝 네트워크가 학습할 데이터를 입력받아 출력한 결과값의 분포인 제2 소프트라벨에 대해 소프트맥스(softmax) 함수를 적용한 출력값인 Pmodel을 산출하는 제2 단계와; STKT와 Pmodel의 유사도(KDR)를 산출하는 제3 단계와; 전체 학습 시간에 대한 현재 학습 시간 단계의 비율(TSTR)을 산출하는 제4 단계와; 유사도(KDR)와 현재 학습 시간 단계의 비율(TSTR)에 기초하여 전수 비율 결정을 위한 변수(TSSR)를 선택하는 제5 단계와; 전수 비율 결정을 위한 변수(TSSR)에 기초하여 경량화 딥 러닝 네트워크가 딥 러닝 네트워크로부터 전수받는 실제 정답(EKT)의 비율과 STKT의 비율을 조정하는 제6 단계를 포함한다.