AUTOMATICALLY AND EFFICIENTLY GENERATING SEARCH SPACES FOR NEURAL NETWORK

• Main Authors: LIAN, Xiaochen, JIN, Xiaojie, ZHOU, Daquan, YANG, Linjie, FENG, Jiashi
• Format: Patent
• Language: English; French
• Published: 12.01.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

A super-network comprising a plurality of layers may be generated. Each layer may comprise cells with different structures. A predetermined number of cells from each layer may be selected. A plurality of cells may be generated based on selected cells using a local mutation model, wherein the local mutation model comprises a mutation window for removing redundant edges from each selected cell. Performance of the plurality of cells may be evaluated using a differentiable fitness scoring function. The operations of the generating a plurality of cells using the local mutation model, the evaluating performance of the plurality of cells using the differentiable fitness scoring function and the selecting the subset of cells based on the evaluation results may be iteratively performed until the super-network converges. A search space for each layer may be generated based on a predetermined top number of cells with largest fitness scores after the super-network converges. L'invention concerne un super-réseau comprenant une pluralité de couches. Chaque couche peut comprendre des cellules ayant différentes structures. Un nombre prédéterminé de cellules provenant de chaque couche peut être sélectionné. Une pluralité de cellules peut être générée sur la base de cellules sélectionnées à l'aide d'un modèle de mutation local, le modèle de mutation local comprenant une fenêtre de mutation pour éliminer les bords redondants de chaque cellule sélectionnée. Les performances de la pluralité de cellules peuvent être évaluées à l'aide d'une fonction de notation d'adéquation différenciable. Les opérations de la génération d'une pluralité de cellules à l'aide du modèle de mutation local, les performances d'évaluation de la pluralité de cellules à l'aide de la fonction de notation d'adéquation différenciable et la sélection du sous-ensemble de cellules sur la base des résultats d'évaluation peuvent être réalisées de manière itérative jusqu'à ce que le super-réseau converge. Un espace de recherche pour chaque couche peut être généré sur la base d'un nombre supérieur prédéterminé de cellules ayant les scores d'adéquation e les plus élevés après que le super-réseau converge.