아날로그 가속기들을 위한 드리프트 계수들에서의 변동에 대응하기 위한 드리프트 정규화

• Main Authors: TSAI HSINYU, KARIYAPPA SANJAY
• Format: Patent
• Language: Korean
• Published: 07.02.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

아날로그 신경망들에서 드리프트 계수들에서의 변화에 대응하기 위한 드리프트 정규화(drift regularization)가 제공된다. 인공 신경망(artificial neural network)을 훈련시키는 방법이 설명된다. 복수의 가중치들(weights)이 랜덤하게 초기화된다. 복수의 가중치들 각각은 인공 신경망의 시냅스(synapse)에 대응된다. 입력들의 적어도 하나의 어레이가 인공 신경망에 입력된다. 출력들의 적어도 하나의 어레이가 입력들의 적어도 하나의 어레이 및 복수의 가중치들에 기초하여 인공 신경망에 의해 결정된다. 제1 손실을 결정하기 위해 출력들의 적어도 하나의 어레이가 실측(ground truth) 데이터에 비교된다. 제2 손실은 제1 손실에 드리프트 정규화를 더함(adding)으로써 결정된다. 드리프트 정규화는 출력들의 적어도 하나의 어레이의 분산(variance)과 양의 상관관계(positively correlated)에 있다. 복수의 가중치들은 역전파(backpropagation)에 의해 제2 손실에 기초하여 업데이트된다. Drift regularization is provided to counteract variation in drift coefficients in analog neural networks. In various embodiments, a method of training an artificial neural network is illustrated. A plurality of weights is randomly initialized. Each of the plurality of weights corresponds to a synapse of an artificial neural network. At least one array of inputs is inputted to the artificial neural network. At least one array of outputs is determined by the artificial neural network based on the at least one array of inputs and the plurality of weights. The at least one array of outputs is compared to ground truth data to determine a first loss. A second loss is determined by adding a drift regularization to the first loss. The drift regularization is positively correlated to variance of the at least one array of outputs. The plurality of weights is updated based on the second loss by backpropagation.