METHOD AND SYSTEM FOR MULTIMODAL BASED IMAGE SEARCHING AND SYNTHESIS

• Main Authors: ZOU, Changqing, ARORA, Himanshu, WANG, Mingxue
• Format: Patent
• Language: English; French
• Published: 28.09.2023
• Subjects: CALCULATING; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

Method, system and computer program product for processing an input image of a scene including a plurality of objects including at least one sketch object, including generating, based on an input image, respective object level-representations for each of the plurality of objects; generating, based on the object level-representations, a set of constrained-correlated representations, each constrained-correlated representation representing a respective object of the plurality of objects, the constrained-correlated representation for each object including information about an appearance of the object and positional relationships between the object and other objects of the plurality of objects; and generating, based on the constrained-correlated representations and positional information derived from the input image, a set of respective freely-correlated object representations, each freely-correlated representation representing a respective object of the plurality of objects, the freely correlated representation for each object including information about a location of the object within the input image. L'invention concerne un procédé, un système et un produit programme d'ordinateur pour traiter une image d'entrée d'une scène comprenant une pluralité d'objets comprenant au moins un objet de croquis, le procédé consistant à générer, sur la base d'une image d'entrée, des représentations de niveau d'objet respectives pour chacun de la pluralité d'objets ; générer, sur la base des représentations de niveau d'objet, un ensemble de représentations corrélées par contrainte, chaque représentation corrélée par contrainte représentant un objet respectif de la pluralité d'objets, la représentation corrélée par contrainte pour chaque objet comprenant des informations concernant un aspect de l'objet et des relations de position entre l'objet et d'autres objets de la pluralité d'objets ; et générer, sur la base des représentations corrélées par contrainte et des informations de position dérivées de l'image d'entrée, un ensemble de représentations d'objet librement corrélées respectives, chaque représentation librement corrélée représentant un objet respectif de la pluralité d'objets, la représentation librement corrélée pour chaque objet comprenant des informations concernant un emplacement de l'objet à l'intérieur de l'image d'entrée.