지식 그래프 임베딩을 활용한 외부지식 기반 VQA

• Published in: 정보과학회 컴퓨팅의 실제 논문지 Vol. 30; no. 1; pp. 1 - 7
• Main Authors: 김민준(Minjun Kim), 송승우(Seungwoo Song), 신동재(Dongjae Shin), 김은경(Eunkyung Kim), 임경태(Kyungtae Lim)
• Format: Journal Article
• Language: Korean
• Published: Korean Institute of Information Scientists and Engineers 2024; 한국정보과학회
• Subjects: 컴퓨터학; 시각 기반 질의응답; knowledge base; 지식 베이스; 지식 기반 질의응답; 지식 그래프; knowledge graph embedding; 지식 그래프 임베딩; knowledge-based visual question answering; visual question answering; knowledge graph
• ISSN: 2383-6318; 2383-6326
• DOI: 10.5626/KTCP.2024.30.1.1

본 연구에서는 지식 그래프 임베딩을 활용한 한국어 외부 지식기반 시각정보 질의응답 시스템을 제안한다. 외부 지식기반 시각정보 질의응답은 외부 지식의 표현방법 및 외부 지식을 활용하는 방법에 따라 성능차이가 발생한다. 본 연구에서는 (1) ConvKB를 통해 지식 그래프의 임베딩 사전학습 방법을 소개하고 (2) 지식 그래프 임베딩을 통해 효율적으로 시각 질의응답 모델에 외부 지식과 질의응답을 합성하여 질의응답 성능을 향상시키는 방법을 제안한다. In this study, we propose a Korean Visual Question Answering (VQA) system based on external knowledge using knowledge graph embeddings. The performance of VQA grounded on external knowledge varies depending on the representation and utilization of the external knowledge. Specifically, our research introduces (1) a pre-training method for knowledge graph embeddings using ConvKB, and (2) an effective approach that synthesizes external knowledge with the VQA model through knowledge graph embeddings, aiming to enhance the overall VQA performance. KCI Citation Count: 0