THERMODYNAMIC ARTIFICIAL INTELLIGENCE FOR GENERATIVE DIFFUSION MODELS AND BAYESIAN DEEP LEARNING

• Main Authors: SZCZEPANSKI, Collin, SBAHI, Faris, MELANSON, Denis, MARTINEZ, Antonio, COLES, Patrick, DONATELLA, Kaelan
• Format: Patent
• Language: English; French
• Published: 06.06.2024
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; CONTROL OR REGULATING SYSTEMS IN GENERAL; CONTROLLING; COUNTING; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS ORELEMENTS; PHYSICS; REGULATING

A physics-based system performs generative modeling on a given dataset by turning the diffusion process in diffusion models into a physical process. Electrical circuits provide an exemplary implementation, where each unit cell (an electrical circuit in a network of electrical circuits) is composed of resistors, a stochastic noise source (such as a thermal or shot noise source), programmable voltage sources, and a capacitor whose charge encodes the state variable. These unit cells can be capacitively coupled with a connectivity that matches the problem geometry. A score network, which provides predictions for score values, can be implemented on a digital, analog, or hybrid digital-arialog device. A detailed construction for an analog score network is provided in the form of a physical system that evolves over time, simultaneously with the diffusion process. The analog score network allows score values to be provided continuously to the reverse diffusion process without latency, and also allows for efficient evaluation of the loss function when coupled to the forward diffusion process. Un système basé sur la physique effectue une modélisation générative sur un ensemble de données donné par conversion du processus de diffusion dans des modèles de diffusion en un processus physique. Des circuits électriques permettent une mise en œuvre donnée à titre d'exemple, où chaque cellule unitaire (un circuit électrique dans un réseau de circuits électriques) est composée de résistances, d'une source de bruit stochastique (telle qu'une source de bruit thermique ou de grenaille), de sources de tension programmables et d'un condensateur dont la charge code la variable d'état. Ces cellules unitaires peuvent être couplées de manière capacitive à une connectivité qui correspond à la géométrie de problème. Un réseau de score, qui fournit des prédictions pour des valeurs de score, peut être mis en œuvre sur un dispositif numérique, analogique numérique, ou numérique-analogique hybride. Une construction détaillée pour un réseau de score analogique se présente sous la forme d'un système physique qui évolue dans le temps, simultanément avec le processus de diffusion. Le réseau de score analogique permet à des valeurs de score d'être fournies en continu au processus de diffusion inverse sans latence, et permet également une évaluation efficace de la fonction de perte lorsqu'il est couplé au processus de diffusion vers l'avant.