A Design and Implementation of Speech Recognition and Synthetic Application for Hearing-Impairment

• Published in: 韓國컴퓨터情報學會論文誌 Vol. 26; no. 12; pp. 105 - 110
• Main Authors: Kim, Woo-Lin, Ham, Hye-Won, Yun, Sang-Un, Lee, Won Joo
• Format: Journal Article
• Language: Korean
• Published: 한국컴퓨터정보학회 2021
• Subjects: 컴퓨터학; Accelerometer sensor; 구글 클라우드 플랫폼; STT(Speech-to-Text); TTS(Text-to-Speech); Google Cloud Platform; 가속도 센서
• ISSN: 1598-849X; 2383-9945
• DOI: 10.9708/jksci.2021.26.12.105

In this paper, we design and implement an Android mobile application that helps hearing impaired people communicate based on STT(Speech-to-Text) and TTS(Text-to-Speech) APIs and accelerometer sensor of a smartphone. This application provides the ability to record what the hearing-Impairment person's interlocutor is saying with a microphone, convert it to text using the STT API, and display it to the hearing-Impairment person. In addition. In addition, when a hearing-impaired person inputs a text using the TTS API, it is converted into voice and told to the interlocutor. When a hearing-impaired person shakes their smartphone, an accelerometer based background service function is provided to run the application. The application implemented in this paper provides a function that allows hearing impaired people to communicate easily with other people when communicating with others without using sign language as a video call. 본 논문에서는 STT(Speech-to-Text), TTS(Text-to-Speech) API와 가속도 센서 기반의 청각 장애인의 의사소통을 도와주는 안드로이드 모바일 애플리케이션을 설계하고 구현한다. 이 애플리케이션은 청각 장애인의 대화 상대가 말하는 것을 마이크로 녹음하고 STT API를 이용하여 텍스트로 변환하여 청각 장애인에게 보여주는 기능을 제공한다. 또한, TTS API를 이용하여 청각 장애인이 문자를 입력하면 음성으로 변환하여 대화 상대에게 들려준다. 청각 장애인이 스마트폰을 흔들면 이 애플리케이션이 실행하도록 가속도 센서 기반의 백그라운드 서비스 기능을 제공한다. 본 논문에서 구현한 애플리케이션은 청각 장애인들이 다른 사람과 의사소통을 할 때 영상통화로 수화를 이용하지 않고 쉽게 대화할 수 있는 기능을 제공한다.