MULTI-MODAL MIXTURE OF EXPERTS NEURAL NETWORKS
Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for performing a multi-modal machine learning task using a neural network. In one aspect, a method comprises, receiving a request to perform a machine learning task on an input tuple comprising a first...
Saved in:
Main Authors | , , , , |
---|---|
Format | Patent |
Language | English French |
Published |
23.11.2023
|
Subjects | |
Online Access | Get full text |
Cover
Loading…
Abstract | Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for performing a multi-modal machine learning task using a neural network. In one aspect, a method comprises, receiving a request to perform a machine learning task on an input tuple comprising a first network input in a first modality and a second network input in a second modality; processing the first network input to generate a first embedded sequence; processing the second network input to generate a second embedded sequence; processing the first embedded sequence and the second embedded sequence using an attention neural network to generate an updated first embedded sequence and an updated second embedded sequence; and processing the updated first embedded sequence and the updated second embedded sequence to generate a final representation for the first network input and a final representation for the second network input.
La présente invention concerne des procédés, des systèmes et un appareil, incluant des programmes informatiques codés sur un support de stockage informatique, pour réaliser une tâche d'apprentissage automatique multimodale à l'aide d'un réseau neuronal. Selon un aspect, un procédé comprend la réception d'une demande de réalisation d'une tâche d'apprentissage automatique sur un uplet d'entrée comprenant une première entrée de réseau selon une première modalité et une seconde entrée de réseau selon une seconde modalité; le traitement de la première entrée de réseau pour générer une première séquence intégrée; le traitement d'une seconde entrée de réseau pour générer une seconde séquence intégrée; le traitement de la première séquence intégrée et de la seconde séquence intégrée à l'aide d'un réseau neuronal d'attention pour générer une première séquence intégrée mise à jour et une seconde séquence intégrée mise à jour; et le traitement de la première séquence intégrée mise à jour et de la seconde séquence intégrée mise à jour pour générer une représentation finale pour la première entrée de réseau et une représentation finale pour la seconde entrée de réseau. |
---|---|
AbstractList | Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for performing a multi-modal machine learning task using a neural network. In one aspect, a method comprises, receiving a request to perform a machine learning task on an input tuple comprising a first network input in a first modality and a second network input in a second modality; processing the first network input to generate a first embedded sequence; processing the second network input to generate a second embedded sequence; processing the first embedded sequence and the second embedded sequence using an attention neural network to generate an updated first embedded sequence and an updated second embedded sequence; and processing the updated first embedded sequence and the updated second embedded sequence to generate a final representation for the first network input and a final representation for the second network input.
La présente invention concerne des procédés, des systèmes et un appareil, incluant des programmes informatiques codés sur un support de stockage informatique, pour réaliser une tâche d'apprentissage automatique multimodale à l'aide d'un réseau neuronal. Selon un aspect, un procédé comprend la réception d'une demande de réalisation d'une tâche d'apprentissage automatique sur un uplet d'entrée comprenant une première entrée de réseau selon une première modalité et une seconde entrée de réseau selon une seconde modalité; le traitement de la première entrée de réseau pour générer une première séquence intégrée; le traitement d'une seconde entrée de réseau pour générer une seconde séquence intégrée; le traitement de la première séquence intégrée et de la seconde séquence intégrée à l'aide d'un réseau neuronal d'attention pour générer une première séquence intégrée mise à jour et une seconde séquence intégrée mise à jour; et le traitement de la première séquence intégrée mise à jour et de la seconde séquence intégrée mise à jour pour générer une représentation finale pour la première entrée de réseau et une représentation finale pour la seconde entrée de réseau. |
Author | PUIGCERVER I PEREZ, Joan RIQUELME RUIZ, Carlos HOULSBY, Neil Matthew Tinmouth MUSTAFA, Basil JENATTON, Rodolphe |
Author_xml | – fullname: HOULSBY, Neil Matthew Tinmouth – fullname: MUSTAFA, Basil – fullname: PUIGCERVER I PEREZ, Joan – fullname: RIQUELME RUIZ, Carlos – fullname: JENATTON, Rodolphe |
BookMark | eNrjYmDJy89L5WTQ8w31CfHU9fV3cfRR8PWMCAkNclXwd1NwjQhwDQoJVvBzDQ0Cyvi5hoT7B3kH8zCwpiXmFKfyQmluBmU31xBnD93Ugvz41OKCxOTUvNSS-HB_IwMjYyMjU2MTC0dDY-JUAQCXWii4 |
ContentType | Patent |
DBID | EVB |
DatabaseName | esp@cenet |
DatabaseTitleList | |
Database_xml | – sequence: 1 dbid: EVB name: esp@cenet url: http://worldwide.espacenet.com/singleLineSearch?locale=en_EP sourceTypes: Open Access Repository |
DeliveryMethod | fulltext_linktorsrc |
Discipline | Medicine Chemistry Sciences Physics |
DocumentTitleAlternate | MÉLANGE MULTIMODAL DE RÉSEAUX NEURONAUX EXPERTS |
ExternalDocumentID | WO2023225348A1 |
GroupedDBID | EVB |
ID | FETCH-epo_espacenet_WO2023225348A13 |
IEDL.DBID | EVB |
IngestDate | Fri Jul 19 13:15:09 EDT 2024 |
IsOpenAccess | true |
IsPeerReviewed | false |
IsScholarly | false |
Language | English French |
LinkModel | DirectLink |
MergedId | FETCHMERGED-epo_espacenet_WO2023225348A13 |
Notes | Application Number: WO2023US22977 |
OpenAccessLink | https://worldwide.espacenet.com/publicationDetails/biblio?FT=D&date=20231123&DB=EPODOC&CC=WO&NR=2023225348A1 |
ParticipantIDs | epo_espacenet_WO2023225348A1 |
PublicationCentury | 2000 |
PublicationDate | 20231123 |
PublicationDateYYYYMMDD | 2023-11-23 |
PublicationDate_xml | – month: 11 year: 2023 text: 20231123 day: 23 |
PublicationDecade | 2020 |
PublicationYear | 2023 |
RelatedCompanies | GOOGLE LLC |
RelatedCompanies_xml | – name: GOOGLE LLC |
Score | 3.5133977 |
Snippet | Methods, systems, and apparatus, including computer programs encoded on a computer storage medium, for performing a multi-modal machine learning task using a... |
SourceID | epo |
SourceType | Open Access Repository |
SubjectTerms | CALCULATING COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS COMPUTING COUNTING PHYSICS |
Title | MULTI-MODAL MIXTURE OF EXPERTS NEURAL NETWORKS |
URI | https://worldwide.espacenet.com/publicationDetails/biblio?FT=D&date=20231123&DB=EPODOC&locale=&CC=WO&NR=2023225348A1 |
hasFullText | 1 |
inHoldings | 1 |
isFullTextHit | |
isPrint | |
link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwfR1dT8Iw8ELw801R4weaJZq9TWXtYHsgBrYuoGwjY8jeCOtKYmIGkRn_vtcGlCcee5dcrk3vq_dRgAeTWi0us7rcJtSgTSFkEQA3nBYaC5qjRZ7J5uQgbPbG9DW10gp8bnph1JzQHzUcESWKo7yXSl8v_x-xPFVbuXrKPhC0ePGTtqevo2N0VlAT6163zYaRF7m662LcpoexwuHVJdTuYKy0Jx1pOWmfvXdlX8py26j4J7A_RHpFeQoVUdTgyN38vVaDw2Cd8q7BgarR5CsEruVwdQaPwXiQ9I0g8joDLeinsnZBi3yNpUMWJyMtZOMYMSFLJlH8NjqHe58lbs9AFqZ_O55Oom1-yQVUi0UhLkFzhOnYlIpGxgmd57lDnnlO8qY1R1jD5ldQ30Xpejf6Bo7lUrbamaQO1fLrW9yizS2zO3VUv6lLfxI |
link.rule.ids | 230,309,786,891,25594,76906 |
linkProvider | European Patent Office |
linkToHtml | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwfV1JT8JAFH4huOBNUeOC2kTTW1WYAdoDMdAlIF1IKdJbY6dDYmIKsTX-fd9MQDlxfV8yeTOZt81bBuChRdtdJrK6TCdUox3ORREA04wuGguaoUV-F83Jnt8Zzuhr3I4r8LnphZFzQn_kcESUKIbyXkp9vfp_xLJkbWXxlH4gafniRD1LXUfH6KygJlatQc-eBFZgqqaJcZvqhxLDq0uo3sdYaa8r5vMK5-ltIPpSVttGxTmG_Qmul5cnUOF5HWrm5u-1Ohx665R3HQ5kjSYrkLiWw-IUHr2ZG400L7D6ruKNYlG7oASOYscTO4ymim_PQkR8O5oH4Xh6BveOHZlDDVlI_naczINtfsk5VPNlzi9AMXjL0CnlzZQRusgygzyzjGSd9gJpTZ1dQmPXSle74TuoDSPPTdyRP76GIwGJtrsWaUC1_PrmN2h_y_RWHtsvwyuB_w |
openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Apatent&rft.title=MULTI-MODAL+MIXTURE+OF+EXPERTS+NEURAL+NETWORKS&rft.inventor=HOULSBY%2C+Neil+Matthew+Tinmouth&rft.inventor=MUSTAFA%2C+Basil&rft.inventor=PUIGCERVER+I+PEREZ%2C+Joan&rft.inventor=RIQUELME+RUIZ%2C+Carlos&rft.inventor=JENATTON%2C+Rodolphe&rft.date=2023-11-23&rft.externalDBID=A1&rft.externalDocID=WO2023225348A1 |