DEVICE AND METHOD THAT COVERT SIGN LANGUAGE INTO A VOICE SIGNAL

• Main Author: KWAK WON JUN
• Format: Patent
• Language: English; Korean
• Published: 03.05.2024
• Subjects: ACOUSTICS; ADVERTISING; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND,DEAF OR MUTE; CALCULATING; COMPUTING; COUNTING; CRYPTOGRAPHY; DATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FORADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORYOR FORECASTING PURPOSES; DIAGRAMS; DISPLAY; EDUCATION; EDUCATIONAL OR DEMONSTRATION APPLIANCES; GLOBES; MUSICAL INSTRUMENTS; PHYSICS; PLANETARIA; SEALS; SPEECH ANALYSIS OR SYNTHESIS; SPEECH OR AUDIO CODING OR DECODING; SPEECH OR VOICE PROCESSING; SPEECH RECOGNITION; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE,COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTINGPURPOSES, NOT OTHERWISE PROVIDED FOR

수어를 음성 신호로 변환하는 장치가 개시된다. 수어를 음성 신호로 변환하는 장치는 수어 영상을 획득하여 상기 수어 영상에서 수지 영역 및 비수지 영역을 추출하는 획득부, 상기 추출된 수지 영역에서 포인트 좌표를 가지는 복수의 수지 특징점 추출하는 제1 특징점 추출부, 상기 추출된 비수지 영역에서 포인트 좌표를 가지는 복수의 비수지 특징점을 추출하는 제2 특징점 추출부, 상기 수지 특징점을 제1 뉴럴 네트워크에 입력하여 텍스트 데이터를 생성하는 텍스트 생성부, 상기 비수지 특징점을 제2 뉴럴 네트워크에 입력하여 음성 신호 정보를 생성하는 변환 정보 생성부 및 상기 음성 신호 정보를 기반으로 상기 생성된 텍스트를 음성으로 변환하는 음성 변환부를 포함할 수 있다.