빅데이터 플랫폼 기반 동명이인 판별 기법 설계

• Published in: 한국콘텐츠학회 논문지, 24(1) Vol. 24; no. 1; pp. 1 - 10
• Main Authors: 김재우(Jae-Woo Kim), 박진우(Jinu Park), 김도우(Do-Woo Kim), 안진수(Jin-Soo Ahn), 유재수(Jae-Soo Yoo), 최도진(Do-Jin Choi)
• Format: Journal Article
• Language: Korean
• Published: 한국콘텐츠학회 2024
• Subjects: 학제간연구; 그래프 합성곱 신경망; Distributed Processing; GCN; 분산 처리; Name Disambiguation; Big Data; 계층적 군집 분석; HAC; 이름 모호성; 빅데이터
• ISSN: 1598-4877; 2508-6723
• DOI: 10.5392/JKCA.2024.24.01.001

현재 논문 및 특허 검색 사이트에서는 단순히 발간된 논문이나 특허를 열람하거나 이름 별로 등록된 연구 성과물을 모으는 기능만을 제공하고 있다. 하지만 동명이인 구분이 되지 않으면 연구 성과를 판단하는데 다소 번거로움이 따르게 된다. 따라서 이름 모호성 해결을 위한 다양한 연구가 진행되고 있다. 본 논문에서는 논문과 특허 데이터 바탕의 연구 성과물 동명이인 판별 기법을 설계 및 제안한다. 제안하는 기법은 대용량 데이터를 처리하기 위해서 빅데이터 처리 플랫폼인 Spark를 활용한다. 기존의 기법들과는 달리 실시간 수집 시스템을 구축하여 새로운 데이터를 수집 및 저장한다는 점에서, 새로 추가된 연구 성과물들을 반영할 수 있다. 그리고 동명이인 기법에 자주 활용되는 GCN과 HAC를 활용한다. 제안하는 기법은 논문과 특허 데이터 총 7,104,000건을 GCN 알고리즘에 학습하였을 경우, 단일 서버 환경 보다 분산 환경에서 약 1.21배 빠른 성능을 보이는 것으로 나타났다. 데이터 수가 많아질수록 Spark 클러스터를 통한 분산 처리의 효용성이 부각되었다. Currently, papers and patents search sites simply provide the function of browsing published papers and patents, or collecting research results registered by name. However, if the names of the same name are not distinguished, it becomes somewhat cumbersome to judge the research results. So, various studies are being conducted to resolve the ambiguity of the name called a name disambiguation. In this paper, we design and propose a name disambiguation scheme based on research results such as the papers and patents. The proposed scheme utilizes Spark that is a big data processing platform to process large amounts of data. Unlike existing schemes, it has the advantage of reflecting newly added research results in that new data are collected and stored by real-time collecting system. And we utilize GCN and HAC, which are populary used in existing name disambiguation studies. The proposed scheme shows that when a total of 7,104,000 papers and patents data are learned by the GCN algorithm, it performs about 1.21 times faster in a distributed environment than in a single server environment. As the number of data increased, the effectiveness of distributed processing through Spark clusters becomes more prominent. KCI Citation Count: 0