BIT INTERPRETATION FOR CONVOLUTIONAL NEURAL NETWORK INPUT LAYER

• Main Authors: DUERICHEN ROBERT, PETERS CHRISTIAN, ROCZNIK THOMAS
• Format: Patent
• Language: English; Korean
• Published: 09.06.2020
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

In order to efficiently execute deep convolutional neural networks (CNNs) on edge devices (e.g., wearable device such as Apple Watch or FitBit), it is necessary to reduce a bit width of network parameters down to 1-bit. Typically, binarization at a first layer of the CNN is not performed because the binarization leads to an increase in an output validation error of input data. Method and systems provided herein include a binary input layer (BIL) which accepts binary input data by learning bit-specific binary weights. By executing the CNN using the binary input data, the method and the system according to the present invention result in a reduction in a consumed chip area and used energy used in contrast to CNN models executed by using floating point input data. A method for implementing a convolutional neural network includes the steps of: receiving input data for the convolutional neural network; filtering the input data by applying a bitwise weight algorithm that learns bit-specific relevance without a predefined ordinal structure provided to generate direct binary input data; and providing the direct binary input data to a convolutional layer within the convolutional neural network. 에지 디바이스들(예컨대, 애플 워치 또는 FitBit와 같은 착용 가능 디바이스) 상에서 심층 컨볼루션 신경망들(CNN)을 효율적으로 실행하기 위해, 1-비트 아래로 네트워크 파라미터들의 비트폭을 감소시키는 것이 필요할 수 있다. CNN의 제 1 층에서의 이진화는 통상적으로 그것이 입력 데이터의 출력 검증 에러에서 증가를 야기할 수 있기 때문에 수행되지 않는다. 제공된 방법 및 시스템들은 비트 특정 이진 가중치들을 학습함으로써 이진 입력 데이터를 수용하는 이진 입력 층(BIL)을 포함한다. 이진 입력 데이터를 사용하여 CNN을 실행함으로써, 본 방법 및 시스템은 부동 소수점 입력 데이터를 사용하여 실행된 CNN 모델들과 대조적으로 소비된 칩 면적 및 사용된 에너지에서의 감소를 야기할 수 있다.