이커머스 도메인에서의 동일 태그 교체 데이터 증강 기법을 활용한 개체명 인식

• Published in: 디지털콘텐츠학회논문지 Vol. 25; no. 5; pp. 1159 - 1166
• Main Authors: 장동호(Dong-Ho Jang), 부석준(Seok-Jun Buu), 서영건(Yeong Geon Seo)
• Format: Journal Article
• Language: Korean
• Published: 한국디지털콘텐츠학회 01.05.2024
• Subjects: 컴퓨터학; 동일테그교체; 데이터 증강; 자연어 처리; Data Augmentation; Random Word Replacement; Natural Language Processing; NER; 단어 무작위 교체; Same-Tag Replacement
• ISSN: 1598-2009; 2287-738X
• DOI: 10.9728/dcs.2024.25.5.1159

데이터 증강은 한국어 NER 분야에서 도메인 특화 데이터 부족으로 발생하는 어려움을 해결하기 위한 중요한 전략이다. 본 연구에서는 이커머스 도메인에서 한국어 개체명 인식 모델을 향상시키기 위한 데이터 증강 방법으로 ‘음절 단위 문장 BIO 태깅 및 동일 태그 교체(Same-Tag Replacement)’ 알고리즘을 제안하고 실험하였다. 이 방법은 한국어 NER 데이터셋에서 문장을 음절 단위로 분리하고 BIO 태그를 부착한 뒤, 동일한 개체 유형에 속하는 단어를 무작위로 교체하여 데이터를 증강한다. 실험 결과, 작은 데이터셋(N=500)의 데이터를 증강했을 때 weighted-average f1-score가 최대 50%까지 개선된 것을 확인하였다. 이는 이커머스 도메인에서 자연어 처리 모델 성능 향상을 위한 실용적이고 효과적인 전략으로 주목받을 것으로 기대된다. Data augmentation is an effective strategy to address the challenge of insufficient domain-specific data in the field of Korean named entity recognition(NER). In this study, we developed a method for improving the Korean NER model in the e-commerce domain using character-level begin inside outside(BIO) sentence tagging and a same-tag replacement algorithm. This method involves splitting sentences into character units and then attaching BIO tags. Subsequently, words belonging to the same entity type are randomly replaced to augment the data. Experimental results revealed that the weighted-average F1-score improved by up to 50% when small datasets(N=500) were augmented. This method is expected to be recognized as a practical and effective strategy for enhancing the performance of language processing models in the e-commerce domain. KCI Citation Count: 0