Wearable device for providing multi-modality and operating method thereof

• Main Authors: KIM HAK JUNG, LEE DANIEL DONGYUEL, LEE DONG SEOP
• Format: Patent
• Language: English; Korean
• Published: 26.04.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; PHYSICS

The present disclosure relates to a wearable device for providing a multi-modality, and an operating method thereof. The operating method of the wearable device according to an embodiment of the present disclosure comprises the steps of: obtaining source data including at least one of image data, text data, and sound data; determining whether the image data, the text data, and the sound data are included in the source data; if at least one of the image data, the text data, and the sound data is not included in the source data, generating the image data, the text data, and the sound data, which are not included in the source data, using a generator of a generative adversarial network (GAN), which receives the source data as an input; generating a pulse-width modulation (PWM) signal based on the sound data; and outputting multi-modality based on the image data, the text data, the sound data, and the PWM signal. 본 개시는 멀티 모달리티를 제공하는 웨어러블 디바이스 및 이의 동작 방법에 관한 것이다. 본 개시의 실시 예에 따른 웨어러블 디바이스의 동작 방법은, 이미지 데이터, 텍스트 데이터, 및 음성 데이터 중 적어도 하나를 포함하는 소스 데이터를 획득하고, 소스 데이터에 이미지 데이터, 텍스트 데이터, 및 음성 데이터가 포함되는지 여부를 결정하고, 소스 데이터에 이미지 데이터, 텍스트 데이터, 및 음성 데이터 중 적어도 하나가 포함되지 않은 경우, 소스 데이터를 입력으로 하는 GAN의 생성기를 이용하여, 소스 데이터에 포함되지 않은 이미지 데이터, 텍스트 데이터, 및 음성 데이터를 생성하고, 음성 데이터에 기초하여 PWM 신호를 생성하고, 이미지 데이터, 텍스트 데이터, 음성 데이터, 및 PWM 신호에 기초하여 멀티 모달리티를 출력한다.