SYSTEMS AND METHODS FOR FACILITATING INTEGRATIVE, EXTENSIBLE, COMPOSABLE, AND INTERPRETABLE DEEP LEARNING

• Main Authors: QIAN, Yao, YUAN, Lu, ZENG, Nanshan, SHI, Yu, HUANG, Xuedong David, ZHU, Chenguang
• Format: Patent
• Language: English; French
• Published: 27.07.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Some disclosed systems are configured to obtain a knowledge module configured to receive one or more knowledge inputs corresponding to one or more different modalities and generate a set of knowledge embeddings to be integrated with a set of multi-modal embeddings generated by a multi-modal main model. The systems receive a knowledge input at the knowledge module, identify a knowledge type associated with the knowledge input, and extract a knowledge unit from the knowledge input. The systems select a representation model that corresponds to the knowledge type and select a grounding type configured to ground the at least one knowledge unit into the representation model. The systems then ground the knowledge unit into the representation model according to the grounding type. Certains systèmes divulgués sont configurés pour obtenir un module de connaissances configuré pour recevoir une ou plusieurs entrées de connaissances correspondant à une ou plusieurs modalités différentes et générer un ensemble d'intégrations de connaissances à intégrer à un ensemble d'intégrations multimodales générées par un modèle principal multimodal. Les systèmes reçoivent une entrée de connaissances au niveau du module de connaissances, identifient un type de connaissances associé à l'entrée de connaissances, et extraient une unité de connaissances à partir de l'entrée de connaissances. Les systèmes sélectionnent un modèle de représentation qui correspond au type de connaissances et sélectionnent un type d'ancrage configuré pour ancrer ladite unité de connaissances dans le modèle de représentation. Les systèmes ancrent ensuite l'unité de connaissances dans le modèle de représentation selon le type d'ancrage.