THEME CLASSIFICATION METHOD BASED ON MULTIMODALITY DEVICE APPARATUS AND STORAGE MEDIUM

• Main Authors: FENG ZHIFAN, CHAI CHUNGUANG, ZHU YONG, WANG QI, LIU ZHIJIE
• Format: Patent
• Language: English; Korean
• Published: 25.08.2021
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

An embodiment of the present invention relates to a method, device, apparatus, and storage medium for classifying subjects based on multimodality, and relates to the field of knowledge graph. The method includes the steps of: obtaining textual and non-textual information of the object, wherein the non-text information includes at least one of visual information and audio information; determining a set of entities in text information based on a pre-established knowledge base, and extracting text features of the object based on the text information and the entity set; and determining an object classification of the object based on textual and non-text characteristics of the object. The embodiment of the present invention introduces entity links based on the knowledge base in a subject classification process of the object based on multi-modality information, and the linked entity is considered when extracting text features. Accordingly, the embodiments of the present invention better understand the content of the object to be classified, and more accurate subject classification results are obtained. 본 발명의 실시예는 멀티 모달리티를 기반으로 하는 주제 분류 방법, 장치, 기기 및 저장 매체에 관한 것으로, 지식 그래프 분야에 관한 것이다. 방법은, 대상의 텍스트 정보와 비 텍스트 정보를 획득하는 단계 - 비 텍스트 정보는 시각 정보와 오디오 정보 중의 적어도 하나를 포함함 - ; 미리 구축된 지식 베이스를 기반으로, 텍스트 정보 중의 엔티티 집합을 결정하고, 텍스트 정보와 엔티티 집합을 기반으로 대상의 텍스트 특징을 추출하는 단계; 및 대상의 텍스트 특징과 비 텍스트 특징을 기반으로 대상의 주제 분류를 결정하는 단계; 를 포함한다. 본 발명의 실시예는 멀티 모달리티 정보를 기반으로 하는 대상 주제 분류 과정에서, 지식 베이스를 기반으로 하는 엔티티 링크를 도입하고, 텍스트 특징을 추출할 경우, 링크된 엔티티를 고려한다. 따라서, 본 발명의 실시예는 분류할 대상의 내용을 더 잘 이해할 수 있고, 더 정확한 주제 분류 결과를 획득한다.