METHOD AND DEVICE FOR IMPROVING FACIAL IMAGE

• Main Authors: KIM, Hyosong, KO, Kyunghwan, SHIN, Jaeseob, KIM, Hyeongduck, SON, Sehoon, RYOO, Sungul
• Format: Patent
• Language: English; French; Korean
• Published: 09.12.2021
• Subjects: CALCULATING; COMPUTING; COUNTING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

Provided in the present embodiment are a method and a device for restoring a facial image, the method and the device: detecting the positions of landmarks on the face in a bounding box detected from an input image; improving the image by using a learning model trained with a front facial image in a state of having performed warping, which aligns the front of the face so that same is positioned in the center or at a reference position on the basis of the landmarks; and performing inverse warping for rotating the improved image to the original direction or angle again, and then inserting same into the input image so that a more natural image can be obtained through restoration. In addition, provided in the present embodiment is a method and a device for restoring a facial image, the method and the device estimating the pose of the face in a bounding box detected from an input image, and improving an image by using a learning model trained with a side facial image corresponding to the pose estimation result. Dans le présent mode de réalisation, un procédé et un dispositif de restauration d'une image faciale sont décrits, le procédé et le dispositif : détectant les positions de points de repère sur le visage dans une zone de délimitation détectée à partir d'une image d'entrée ; améliorant l'image à l'aide d'un modèle d'apprentissage formé avec une image faciale avant dans un état consistant à avoir effectué un gauchissement, qui aligne l'avant du visage de telle sorte que ce dernier est positionné au centre ou à une position de référence sur la base des points de repère ; et effectuant un gauchissement inverse pour faire tourner l'image améliorée vers la direction ou l'angle d'origine ou à nouveau, puis l'insérant dans l'image d'entrée de telle sorte qu'une image plus naturelle peut être obtenue par restauration. De plus, dans le présent mode de réalisation, un procédé et un dispositif de restauration d'une image faciale sont décrits, le procédé et le dispositif estimant la pose du visage dans une zone de délimitation détectée à partir d'une image d'entrée, et améliorant une image à l'aide d'un modèle d'apprentissage formé avec une image faciale latérale correspondant au résultat d'estimation de pose. 본 실시예는 입력 이미지로부터 검출된 바운딩 박스 내의 얼굴의 랜드마크의 위치를 검출하고, 랜드마크를 기반으로 정면 얼굴이 중앙 혹은 기준 위치에 위치하도록 정렬하는 와핑을 수행한 상태에서 정면 얼굴 영상으로 학습한 학습 모델을 이용하여 영상을 개선시키고, 개선된 영상을 다시 원래의 방향이나 각도로 회전시키는 인버스 와핑을 수행한 후 입력 이미지 내에 삽입하여 보다 자연스러운 영상을 복원이 가능하도록 하는 얼굴 이미지 복원 방법 및 장치를 제공한다. 또한, 본 실시예는 입력 이미지로부터 검출된 바운딩 박스 내의 얼굴에 대한 포즈 추정을 수행하고, 포즈 추정 결과에 대응하는 측면 얼굴 영상으로 학습한 학습 모델을 이용하여 영상을 개선시키는 얼굴 이미지 복원 방법 및 장치를 제공한다.