VROFed: 부분 분산 감소를 이용한 최적화된 공정한 연합학습

• Published in: 한국정보통신학회논문지, 29(1) pp. 34 - 44
• Main Authors: 나경민, 김도형, 이영호
• Format: Journal Article
• Language: Korean
• Published: 한국정보통신학회 01.01.2025
• Subjects: 전자/정보통신공학
• ISSN: 2234-4772; 2288-4165

현재 연합학습에서 데이터 이질성 문제를 해결하기 위해 클라이언트와 서버 모델을 정렬하거나 제어 변수를 사용하여 클라이언트 모델 드리프트를 수정했지만, 딥 신경망과 같은 과도하게 매개변수화된 모델에서는 한계가 명확하다. 본 논문에서는 연합 학습이 심층 신경망의 특징 추출 계층을 효율적으로 업데이트하는 반면, 클라이언트 간 최종 분류 계층의 다양성은 성능에 부정적인 영향을 미친다는 것을 관찰했다. 이를 해결하기 위해 우리는 최종 계층에서 특히 분산을 줄이는 새로운 접근 방식인 VROFed(partial Variance Reduced Optimization Fair Federated Learning)를 제안한다. 모델 드리프트를 수정하면 non-IID(non-independent and identically distributed) 데이터에서도 클라이언트 전체에서 모델 성능이 보다 일관되게 유지된다. 우리의 방법은 정확성을 유지하면서 통신 효율성을 크게 향상시켰다. CIFAR-10 및 CIFAR-100과 같은 벤치마크 데이터 세트에 대한 실험 결과는 VROFed가 속도와 공정성 모두에서 기존 방법보다 성능이 뛰어나 연합 학습 환경을 위한 강력한 솔루션임을 보여준다. Current federated learning approaches to address data heterogeneity issues include aligning client and server models or using control variables to correct client model drift, but their limitations are clear for heavily parameterized models such as deep neural networks. In this paper, we observe that while federated learning efficiently updates the feature extraction layer of deep neural networks, the diversity of the final classification layer across clients negatively affects the performance. To address this, we propose a novel approach, Partial Variance Reduced Optimization Fair Federated Learning (VROFed), which specifically reduces variance in the final layer. By correcting model drift, model performance across clients is more consistent even on non-IID (non-independent and identically distributed) data. Our method significantly improves communication efficiency while maintaining accuracy. Experimental results on benchmark datasets such as CIFAR-10 and CIFAR-100 demonstrate that VROFed outperforms existing methods in both speed and fairness, making it a powerful solution for federated learning environments. KCI Citation Count: 0