DYNAMIC ADAPTATION OF DEEP NEURAL NETWORKS

• Main Authors: RAGHAVAN ASWIN NADAMUNI, PARAJULI SAMYAK, CHAI SEK MENG
• Format: Patent
• Language: English; Korean
• Published: 27.09.2019
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Techniques are disclosed for training a deep neural network (DNN) for reduced computational resource requirements. A computing system includes a memory for storing a set of weights of the DNN. The DNN includes a plurality of layers. For each layer of the plurality of layers, the set of weights includes weights of the layer and a set of bit precision values includes a bit precision value of the layer. The weights of the layer are represented in the memory using values having bit precisions equal to the bit precision value of the layer. The weights of the layer are associated with inputs to neurons of the layer. Additionally, the computing system includes processing circuitry for executing a machine learning system configured to train the DNN. Training the DNN comprises optimizing the set of weights and the set of bit precision values. 감소된 계산 자원 요건들에 대한 딥 신경망(DNN)을 트레이닝하기 위한 기술이 개시되어 있다. 컴퓨팅 시스템은 DNN의 가중치들의 세트를 저장하기 위한 메모리를 포함한다. DNN은 복수의 계층을 포함한다. 복수의 계층의 각각의 계층에 대해, 가중치들의 세트는 계층의 가중치들을 포함하고, 비트 정밀도 값들의 세트는 계층의 비트 정밀도 값을 포함한다. 계층의 가중치들은 계층의 비트 정밀도 값과 동일한 비트 정밀도들을 갖는 값들을 사용하여 메모리에 표현된다. 계층의 가중치들은 계층의 뉴런들에 대한 입력들과 연관된다. 또한, 컴퓨팅 시스템은 DNN을 트레이닝하도록 구성된 머신 학습 시스템을 실행하기 위한 프로세싱 회로를 포함한다. DNN을 트레이닝하는 것은 가중치들의 세트와 비트 정밀도 값들의 세트를 최적화하는 것을 포함한다.