3DentAI: U-Nets for 3D Oral Structure Reconstruction from Panoramic X-rays

• Published in: 정보처리학회 논문지 (KTSDE) Vol. 13; no. 7; pp. 326 - 334
• Main Authors: Anusree P. Sunilkumar, 문성용, Seong Yong Moon, 유원상, Wonsang You
• Format: Journal Article
• Language: Korean
• Published: 한국정보처리학회 31.07.2024
• Subjects: 3D Reconstruction; 3D-복원; Attention U-Net; CBCT; Focal Trough; Panoramic X-ray; 초점 영역; 파노라마 엑스레이
• ISSN: 2287-5905

파노라마 X-ray (PX) 및 Cone Beam Computed Tomography (CBCT)와 같은 구강 영상 기술은 영상 촬영 시 환자의 편의성과 전체 치아정보를 시각화할 수 있는 능력으로 인해 치과 진료소에서 가장 선호되는 영상 기법이다. PX는 일상적인 임상 치료에 선호되고, CBCT는 복잡한 수술 및 임플란트 치료에 선호된다. 그러나 PX는 3차원 공간정보가 부족하다는 한계가 있는 반면 CBCT는 환자에게 높은 방사선 노출을 초래한다. PX가 이미 사용 가능한 경우 PX로부터 3D강 구강구조를 복원함으로써 추가 비용을 줄이고 방사선량을 피할 수 있다. 본 논문에서는 PX 이미지로부터 구강구조의 3차원 복원을 위한 U-Net 기반 딥러닝 프레임워크인 3DentAI를 제안한다. 제안된 프레임워크는 PX 이미지에서 깊이를 추정하기 위한 Attention U-Net 기반 재구성 모듈, 사전 정의된 초점 골 및 광선 데이터를 사용하여 예측된 편평 볼륨을 턱 모양에 정렬하기 위한 재정렬 모듈과, 구강의 원활한 표현을 얻기 위해 누락된 정보를 보간하는 3D U-Net 기반 개선 모듈의 세 가지 모듈로 구성된다. 네트워크를 훈련하기 위해, 쌍을 이루는 PX 및 CBCT 데이터셋 대신에 광선 추적 및 렌더링을 통해 CBCT로 부터 합성한 PX 데이터를 사용하였다. 600명의 환자로 구성된 다양한 데이터셋으로 모델을 훈련한 결과, 낮은 계산 복잡도에도 GAN 기반 모델에 비해 우수한 성능을 보였다. Extra-oral imaging techniques such as Panoramic X-rays (PXs) and Cone Beam Computed Tomography (CBCT) are the most preferred imaging modalities in dental clinics owing to its patient convenience during imaging as well as their ability to visualize entire teeth information. PXs are preferred for routine clinical treatments and CBCTs for complex surgeries and implant treatments. However, PXs are limited by the lack of third dimensional spatial information whereas CBCTs inflict high radiation exposure to patient. When a PX is already available, it is beneficial to reconstruct the 3D oral structure from the PX to avoid further expenses and radiation dose. In this paper, we propose 3DentAI - an U-Net based deep learning framework for 3D reconstruction of oral structure from a PX image. Our framework consists of three module - a reconstruction module based on attention U-Net for estimating depth from a PX image, a realignment module for aligning the predicted flattened volume to the shape of jaw using a predefined focal trough and ray data, and lastly a refinement module based on 3D U-Net for interpolating the missing information to obtain a smooth representation of oral cavity. Synthetic PXs obtained from CBCT by ray tracing and rendering were used to train the networks without the need of paired PX and CBCT datasets. Our method, trained and tested on a diverse datasets of 600 patients, achieved superior performance to GAN-based models even with low computational complexity.