Apparatus and method for learning the neural network

• Main Author: KOH JUN SEOK
• Format: Patent
• Language: English; Korean
• Published: 07.02.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Disclosed are a learning device and a method thereof which increase a learning speed, learning accuracy, and learning efficiency of a neural network by dynamically optimizing a learning rate according to learning progress of the neural network. According to one aspect, the learning device comprises: a learning part that learns the neural network by using learning data of a batch unit; a learning rate calculation part that calculates a final learning rate for each batch unit based on a learning rate for each label and a learning result of the learning part; and a weight update part that updates a weight parameter of the neural network based on the final learning rate. 신경망의 학습 추이에 따라 학습률을 동적으로 최적화하여 신경망의 학습 속도, 학습 정확도 및 학습 효율성을 높이는 학습 장치 및 방법이 개시된다. 일 측면에 따른 학습 장치는, 배치 단위의 학습 데이터를 이용하여 신경망을 학습하는 학습부; 레이블별 학습률과 상기 학습부의 학습 결과에 기초하여 각 배치 단위로 최종 학습률을 계산하는 학습률 계산부; 및 상기 최종 학습률에 기초하여 상기 신경망의 가중치 파라미터를 업데이트하는 가중치 업데이트부를 포함한다.