Apparatus and method for integrated managing user's fatigue

• Main Authors: OH, RYUM DUK, LEE, JAE HONG, AHN, YONG SEOK, LEE, EUN HEA, KIM, SIN KWON, PARK, JOON HOON
• Format: Patent
• Language: English; Korean
• Published: 16.03.2018
• Subjects: CALCULATING; COMPUTING; COUNTING; DATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FORADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORYOR FORECASTING PURPOSES; ELECTRIC COMMUNICATION TECHNIQUE; ELECTRICITY; HANDLING RECORD CARRIERS; PHYSICS; PICTORIAL COMMUNICATION, e.g. TELEVISION; PRESENTATION OF DATA; RECOGNITION OF DATA; RECORD CARRIERS; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE,COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTINGPURPOSES, NOT OTHERWISE PROVIDED FOR; WIRELESS COMMUNICATIONS NETWORKS

The present invention relates to an integrated user fatigue management apparatus and method, capable of not only detecting and guiding the degree of a user fatigue but also identifying and guiding a user fatigue inducing factor. The apparatus includes: an image capturing unit for capturing and acquiring a facial image of a user; an environmental information sensing unit for sensing environmental information of a place at which the user is located; and a fatigue management unit for calculating a user fatigue index by extracting and analyzing at least one of an eye blinking pattern, a pupil movement pattern, a number of yawns, and a head shaking pattern by detecting two eyes and a mouth from the facial image of the user and tracking a change pattern, identifying the fatigue inducing factor based on an environmental information sensing result if the user fatigue index is equal to or greater than a preset value and guiding an identified result to the user. 본 발명은 사용자 피로도 정도를 감지 및 안내할 뿐 만 아니라 사용자 피로도 유발 요인까지도 확인 및 안내할 수 있도록 하는 사용자 피로도 통합 관리 장치 및 방법에 관한 것으로, 상기 장치는 사용자 얼굴 영상을 촬영 및 획득하는 영상 촬영부; 사용자 위치 장소의 환경 정보를 센싱하는 환경 정보 센싱부; 및 상기 사용자 얼굴 영상에서 두 눈과 입을 검출하고 변화 패턴을 추적하여, 눈 깜빡임 패턴, 눈동자 이동 패턴, 하품 횟수, 및 고개 흔들림 패턴 중 적어도 하나를 추출 및 분석하여 사용자 피로도 지수를 산출하고, 상기 사용자 피로도 지수가 기 설정치 이상이면 상기 환경 정보 센싱 결과를 기반으로 피로도 유발 요인을 확인하여 사용자에게 안내하는 피로도 관리부를 포함할 수 있다.