통계적 문맥의존 철자오류 교정 기법의 향상을 위한 지역적 문서 정보의 활용

• Published in: 정보과학회 컴퓨팅의 실제 논문지 Vol. 23; no. 7; pp. 446 - 451
• Main Authors: 이정훈(Jung-Hun Lee), 김민호(Minho Kim), 권혁철(Hyuk-Chul Kwon)
• Format: Journal Article
• Language: Korean
• Published: Korean Institute of Information Scientists and Engineers 2017; 한국정보과학회
• Subjects: 컴퓨터학; 확률언어모형; statistical language model; natural language processing; 문맥의존 철자오류 교정; context-sensitive spelling error correction; local document frequency; 자연언어처리; 지역적 문서 빈도; text mining; 텍스트 마이닝
• ISSN: 2383-6318; 2383-6326
• DOI: 10.5626/KTCP.2017.23.7.446

The statistical context-sensitive spelling correction technique in this thesis is based upon Shannon's noisy channel model. The interpolation method is used for the improvement of the correction method proposed in the paper, and the general interpolation method is to fill the middle value of the probability by (N-1)-gram and (N-2)-gram. This method is based upon the same statistical corpus. In the proposed method, interpolation is performed using the frequency information between the statistical corpus and the correction document. The advantages of using frequency of correction documents are twofold. First, the probability of the coined word existing only in the correction document can be obtained. Second, even if there are two correction candidates with ambiguous probability values, the ambiguity is solved by correcting them by referring to the correction document. The method proposed in this thesis showed better precision and recall than the existing correction model. 본 논문에서의 문맥의존 철자오류(Context-Sensitive Spelling Error) 교정 기법은 샤논(Shannon)의 노이지 채널 모형(noisy channel model)을 기반으로 한다. 논문에서 제안하는 교정 기법의 향상에는 보간(interpolation)을 사용하며, 일반적인 보간 방법은 확률의 중간 값을 채우는 방식으로 N-gram에 존재하지 않는 빈도를 (N-1)-gram과 (N-2)-gram 등에서 얻는다. 이와 같은 방식은 동일 통계 말뭉치를 기반으로 계산하는데 제안하는 방식에서는 통계 말뭉치와 교정 문서간의 빈도 정보를 이용하여 보간 한다. 교정 문서의 빈도를 이용하였을 때 이점은 다음과 같다. 첫째 통계 말뭉치에 존재하지 않고 교정 문서에서만 나타나는 신조어의 확률을 얻을 수 있다. 둘째 확률 값이 모호한 두 교정 후보가 있더라도 교정 문서를 참고로 교정하게 되어 모호성을 해소한다. 제안한 방법은 기존 교정 모형보다 정밀도와 재현율의 성능향상을 보였다.