DATA PROCESSING METHOD FOR DECODING TEXT DATA AND DATA PROCESSING APPARATUS THEREOF
Provided are a method, a device, and a program for processing text data used for text mining. According to one embodiment of the present invention, the method may comprise the steps of: determining a pair of bites by combining bites included in encoded text data; generating attribute data based on t...
Saved in:
Main Author | |
---|---|
Format | Patent |
Language | English Korean |
Published |
02.10.2019
|
Subjects | |
Online Access | Get full text |
Cover
Loading…
Summary: | Provided are a method, a device, and a program for processing text data used for text mining. According to one embodiment of the present invention, the method may comprise the steps of: determining a pair of bites by combining bites included in encoded text data; generating attribute data based on the pair of bites; inputting the attribute data to an encoding method prediction model to output an encoding method for the text data; and encoding the text data according to the encoding method.
텍스트 마이닝 등에 이용되는 텍스트 데이터를 처리하는 방법, 장치 및 프로그램이 제공 된다. 본 발명의 일 실시예에 따른 텍스트 데이터 처리 방법은, 부호화된 텍스트 데이터에 포함된 바이트를 조합하여 바이트 쌍을 결정하는 단계와, 상기 바이트 쌍에 기초하여 특성 데이터를 생성하는 단계와, 상기 특성 데이터를 부호화 방식 예측 모델에 입력하여 상기 텍스트 데이터에 대한 부호화 방식을 출력하는 단계 및 상기 부호화 방식에 따라 상기 텍스트 데이터를 복호화하는 단계를 포함할 수 있다. |
---|---|
Bibliography: | Application Number: KR20180034041 |