OPTIMIZING CAPACITY AND LEARNING OF WEIGHTED REAL-VALUED LOGIC

• Main Authors: LUUS, Francois, AKHALWAYA, Ismail Yunus, KHAN, Naweed Aghmad, MAKONDO, Ndivhuwo, VOS, Etienne, RIEGEL, Ryan
• Format: Patent
• Language: English; French
• Published: 18.11.2021
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Maximum expressivity can be received representing a ratio between maximum and minimum input weights to a neuron of a neural network implementing a weighted real-valued logic gate. Operator arity can be received associated with the neuron. Logical constraints associated with the weighted real-valued logic gate can be determined in terms of weights associated with inputs to the neuron, a threshold-of-truth, and a neuron threshold for activation. The threshold-of-truth can be determined as a parameter used in an activation function of the neuron, based on solving an activation optimization formulated based on the logical constraints, the activation optimization maximizing a product of expressivity representing a distribution width of input weights to the neuron and gradient quality for the neuron given the operator arity and the maximum expressivity. The neural network of logical neurons can be trained using the activation function at the neuron, the activation function using the determined threshold-of-truth. Selon l'invention, une expressivité maximale peut être reçue représentant un rapport entre des poids d'entrée maximale et minimale et un neurone d'un réseau neuronal mettant en œuvre une porte logique à valeur réelle pondérée. L'arité de l'opérateur peut être reçue associée au neurone. Des contraintes logiques associées à la porte logique à valeur réelle pondérée peuvent être déterminées en termes de poids associés à des entrées dans le neurone, d'un seuil de vérité et d'un seuil de neurone pour activation. Le seuil de vérité peut être déterminé en tant que paramètre utilisé dans une fonction d'activation du neurone, en fonction de la résolution d'une optimisation d'activation formulée en fonction des contraintes logiques, l'optimisation d'activation maximisant un produit d'expressivité représentant une largeur de distribution de poids d'entrée dans le neurone et une qualité de gradient pour le neurone donné par l'arité d'opérateur et l'expressivité maximale. Le réseau neuronal de neurones logiques peut être entraîné à l'aide de la fonction d'activation au niveau du neurone, la fonction d'activation faisant appel au seuil de vérité déterminé.