생성형 AI를 이용한 인물화 기반의 다양한 도슨트 AI 생성

• Published in: 디지털콘텐츠학회논문지, 26(2) pp. 287 - 295
• Main Authors: 이혜진, 김태훈
• Format: Journal Article
• Language: Korean
• Published: 한국디지털콘텐츠학회 01.02.2025
• Subjects: 컴퓨터학
• ISSN: 1598-2009; 2287-738X

본 연구의 목표는 생성형 AI를 이용하여 인물화에서 연상되는 다양한 인격을 만들어, 다양한 관점에서 그림을 해석하는 도슨트 및 평가자를 만드는 것이다. 작품의 설명을 잘 생성해내는, 인격을 형성할 인물화의 핵심 인격 단어를 잘 뽑아내는 LMM 모델을 선별하기 위해 Rouge, METEOR, BERTScore, Human Evaluation에 기반하여 성능을 비교했다. 비교 결과 Llama-3.2와 Molmo 중에서 상대적으로 내용을 더 풍부하게 생성하고, 그림을 잘 인식하는 Molmo를 LMM 모델로 선정했다. Molmo 모델의 결과를 사용하여 LLM Llama-3.1를 통해, 역할 부여 프롬프트 엔지니어링으로 인격을 조정하고 그림을 설명하게 했다. 해당 구조로 만들어진 페르소나 모델은 앞으로 전시를 구경하러 올 관람객에게는 도슨트가 되어줄 것을, 창작자에게는 평가자의 역할을 할 수 있기를 기대한다. The goal of this study is to use generative AI to create diverse personalities inspired by portraits paintings and develop AI-based docents and evaluators who interpret artworks from multiple perspectives. To select an LMM(Large Multimodal Model) capable of generating detailed artwork descriptions and extracting key personality traits from portraits, a performance comparison was conducted using Rouge, METEOR, BERTScore, and Human Evaluation. Among the models tested-Llama-3.2 and Molmo-Molmo was selected as the optimal LMM model due to its ability to generates richer content and accurately recognize visual elements in paintings. Based on the Molmo’s outputs, we refined personality traits and employed role assignment prompt engineering using LLM Llama-3.1 to enhance interpretative capabilities. This persona-based AI model is expected to serve as a docent for exhibition visitors and as an evaluator for artists, providing meaningful insights into their work. KCI Citation Count: 0