미니-배치 입자 흐름을 이용한 BNN 트레이닝

• Main Authors: ALLERDT ANDREW C, SALPUKAS MICHAEL R, BAKER SUZANNE M
• Format: Patent
• Language: Korean
• Published: 17.05.2024
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

본 명세서에서 논의된 것은 미니-배치 입자 흐름을 사용한 베이지안 신경망(Bayesian neural network, BNN) 트레이닝을 위한 장치, 시스템 및 방법이다. 배치된(batched) 입력들을 사용하여 베이지안 신경망(BNN)을 트레이닝하고 상기 트레이닝된 BNN을 작동시키기 위한 방법은 각 입자가 개별적으로 NN들의 각자의 NN 파라미터들의 포인트와이즈 값(pointwise value)들을 나타내도록 그리고 상기 입자들이 집합적으로 상기 BNN의 파라미터들의 분포를 나타내도록 상기 입자들을 초기화하는 단계, 미니-배치 트레이닝 입자 흐름을 사용하여, 입력들의 배치들에 기초하여 상기 입자들을 최적화하여, 상기 파라미터들에 대해 최적화된 분포들을 야기하는 단계, 상기 NN들 각각으로부터의 예측들 및 상기 파라미터들에 대한 상기 최적화된 분포들을 사용하여 예측 분포를 결정하는 단계, 및 상기 예측 분포를 나타내는 주변화된 분포(marginalized distribution)를 제공하는 단계를 포함할 수 있다. Discussed herein are devices, systems, and methods for Bayesian neural network (BNN) training using mini-batch particle flow. A method for training a Bayesian neural network (BNN) using batched inputs and operating the trained BNN can include initializing particles such that each particle individually represents pointwise values of respective NN parameters of NNs and such that the particles collectively represent a distribution of parameters of the BNN, optimizing, using min-batch training particle flow, the particles based on batches of inputs, resulting in optimized distributions for the parameters, determining a prediction distribution using the optimized distributions for the parameters and predictions from each of the NNs, and providing a marginalized distribution representative of the prediction distribution.