SYSTEM AND METHOD FOR GENERATING SIGNAL IMAGES USING MULTIMODAL SENSING SIGNAL

• Main Authors: JUNG JAE YOUNG, KIM YOU JIN, CHOI WON KYU
• Format: Patent
• Language: English; Korean
• Published: 31.05.2023
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; PHYSICS

Provided is a signal image generation system using a multimodal sensing signal. The system comprises: a multimodal combining portion receiving a plurality of heterogeneous sensing signals through a multimodal sensor, mixing the sensing signals, and slicing the mixed signals based on a preset threshold and adaptive time interval; a signal image generating portion converting the sliced signals into a predefined type to generate each signal image, and inputting the generated signal images into a synthesizer to reassemble or reconstruct the same; and a data set generating portion receiving and forming the signal images from the signal image generating portion as a ground truth dataset through logical memory connection with input metadata. Accordingly, ease of performing machine learning and learning accuracy can be significantly increased. 멀티모달 센싱 신호를 이용한 신호 이미지 생성 시스템이 제공된다. 상기 시스템은 멀티모달 센서를 통한 복수의 이종 센싱 신호를 수신하고, 상기 센싱 신호를 믹싱하고, 상기 믹싱된 신호를 기 설정된 임계치 및 적응적 시간 간격 기준으로 슬라이싱하는 멀티모달 결합부, 상기 슬라이싱된 신호들을 기 정의된 타입으로 변환하여 각 신호 이미지를 생성하고, 상기 생성된 신호 이미지들을 합성기에 입력하여 재조립 또는 재구성하는 신호 이미지 생성부 및 상기 신호 이미지 생성부로부터 신호 이미지들을 수신하여, 입력된 메타데이터와의 논리적 메모리 연결을 통해 진리 데이터 셋(Ground Truth Dataset)으로 구성하는 데이터 셋 생성부를 포함한다.