딥러닝을 이용한 청각장애인 위험방지 및 STT 서비스의 통합 플랫폼 구현

• Published in: 디지털콘텐츠학회논문지 Vol. 23; no. 8; pp. 1459 - 1467
• Main Authors: 정예진(Yae-Jin Jeong), 정윤아(Yun-A Jung), 김세하(Sae-Ha Kim), 김동회(Dong-Hoi Kim)
• Format: Journal Article
• Language: Korean
• Published: 한국디지털콘텐츠학회 01.08.2022
• Subjects: 컴퓨터학; Sound classification; Artificial Intelligence; 음성-텍스트 변환; 딥러닝; 웹 프레임워크; Convolution Neural Network; Web Framework; 인공지능; Deep Learning; 웹 크롤링; 파이썬; 소리 분류; Web Crawling; 합성곱 신경망; Python; Speech-To-Text
• ISSN: 1598-2009; 2287-738X
• DOI: 10.9728/dcs.2022.23.8.1459

청각장애인은 사이렌 소리가 발생하거나 자동차 경적소리가 울려도 해당 소리의 발생을 감지하기 어렵다. 본 논문에서는 일상 생활 속 발생하는 위험 소리를 학습시킨 FCN 모델을 기반으로 청각장애인을 위한 통합 웹 플랫폼을 제시한다. 첫째, 제안하는 플랫폼을 통해 사용자의 주변에서 특정 소리가 발생했음을 파악한다면, 이전보다 사고에 신속하게 대처할 수 있다. 둘째, 플랫폼에서 제공되는음성-텍스트 변환 서비스를 바탕으로 수화를 알지 못하는 상대방과 원활한 의사소통이 가능하다. 마지막으로, 웹 크롤링을 통해 청각장애인을 위한 최신 이슈와 구직 정보 등 뉴스를 알려주는 서비스로 청각장애인이 무분별한 뉴스를 보기보다 필요한 정보를 추출하여 제공하므로 편리하게 정보를 얻을 수 있는 플랫폼을 제안한다. 실험 결과, MFCC를 추출하여 딥러닝으로 구현한 소리분류는 약 91.07%의 정확도를 보였다. It is difficult for hearing impaired people to detect the occurrence of the sound even if a siren sound or a car horn is sounded. In this paper, we present an integrated web platform for the deaf based on the FCN model that learns dangerous sounds occurring in everyday life. First, if it is determined that a specific sound has occurred around the user through the proposed platform, it is possible to cope with the accident more quickly than before. Second, based on Speech-To-Text services provided on the platform, it is possible to communicate smoothly with others who do not know sign language. Finally, through web crawling, it is a service that informs news such as the latest issues for the deaf and job search information, and it presents a platform that allows hearing-impaired people to conveniently obtain information because it extracts and provides necessary information rather than watching reckless news. The experimental result of sound classification which was implemented as deep learning by extracting MFCC, showed an accuracy of about 91.07%. KCI Citation Count: 0