분자 그래프 자기지도학습 심층분석: 공정 비교 및 한계

• Published in: 정보과학회 컴퓨팅의 실제 논문지 Vol. 30; no. 11; pp. 594 - 599
• Main Authors: 허경영(Gyoungyoung Heo), 손연경(Yeongyeong Son), 권선영(Sunyoung Kwon)
• Format: Journal Article
• Language: Korean
• Published: Korean Institute of Information Scientists and Engineers 01.11.2024; 한국정보과학회
• Subjects: 컴퓨터학; 분자 그래프; 그래프 뉴럴 네트워크; 분자 특성 예측; molecular graph; molecular property prediction; self-supervised learning; graph neural network; 자기지도학습
• ISSN: 2383-6318; 2383-6326
• DOI: 10.5626/KTCP.2024.30.11.594

분자 특성 예측은 부족한 분자 데이터 레이블로 인해 어려움이 있다. 이를 극복하기 위해 자기지도학습을 활용하는데 레이블이 없는 데이터를 활용하여 모델을 사전학습 시킨다. 사전학습 모델은 다운스트림 작업과 미세조정을 통해 다양한 작업에 적용된다. 그러나 분자 그래프에서 자기지도학습 모델은 몇 가지 이슈가 있다. 첫째 다운스트림 디코더가 표준화되지 않고 미세조정으로 사전학습 파라미터 조정이 되어 모델의 표현 능력을 공정하게 비교하기 어렵다. 둘째 사전학습 작업과 다운스트림 작업 간의 격차로 인해 사전학습 모델이 다운스트림 작업에서 유용한 표현을 생성하고 있는지에 대한 의문이 있다. 셋째 사전학습과 다운스트림의 데이터 셋이 달라 사전학습 모델이 다운스트림 작업에 있어 좋은 표현을 학습하는지에 대한 의문점이 있다. 이에 본 논문에서는 모델 간 공정한 비교 실험과 모델이 표현을 제대로 학습하였는지 확인하는 연구를 진행하였다. 실험 결과, 사전 학습된 모델과 사전 학습을 고정한 모델 간에는 성능 차이가 매우 컸다. 또한, 사전 학습된 모델과 사전 학습하지 않은 모델을 비교했을 때 비슷한 성능을 보였다. 이는 분자 그래프 자기 지도 학습 모델이 다운스트림 작업에 유용한 특징을 추출하지 못하는 것으로 보인다. 키워드:분자 그래프, 자기지도학습, 그래프 뉴럴 네트워크, 분자 특성 예측 It is generally difficult to predict molecular properties due to the scarcity of labeled molecular data. Self-supervised learning is often used to overcome these difficulties by leveraging unlabeled data to pre-train models. These pre-trained models are then applied to various tasks through downstream tasks and fine-tuning. However, using self-supervised learning in models for molecular graphs involves several issues: First, the downstream decoder is not standardized, and the adjustments made to the pre-training parameters through fine-tuning makes it difficult to make fair comparisons of models in terms of their expressive power. Second, the gap between pre-training tasks and downstream tasks raises doubts about whether the pre-trained models are generating useful representations for downstream tasks. Third, the discrepancy between the datasets used for pre-training and downstream tasks raises questions about whether the pre-trained models are learning good representations for downstream tasks. In this context, the present paper conducts experiments aiming to achieve a fair comparison between models from existing research to verify whether the models have properly learned representations. The experimental result showed substantial performance differences when the pre-trained and pre-training models were frozen. Moreover, similar performance was shown when comparing the pre-trained model with the non-pre-trained model. These results show that the molecular graph self-supervised learning model does not seem to have the ability to extract valuable features downstream. KCI Citation Count: 0