이선우 연구실

본 연구는 강한 비IID 연합학습 환경에서 편향된 그래디언트 추정기를 활용한 다중 메트릭 편향 개념을 제안합니다. 로컬 손실과 그래디언트 노름을 기반으로 클라이언트를 선택하는 방법으로, 균등 무작위 샘플링 대비 12.7%, 기존 방법 대비 2.5% 높은 정확도를 달성합니다.

본 연구는 기계학습을 이용하여 강자성 페로브스카이트 산화물 La₀.₇Sr₀.₃MnO₃(LSMO) 박막의 표면 형태를 특성화하고 전자기 및 자기 특성을 분석합니다. 앙상블 기계학습 방법으로 표면 형태와 물리적 특성 간의 비선형 상관관계를 모델링하여 LSMO 박막을 5가지 대표 유형으로 분류하였으며, 표면 형태 분석이 강자성 산화물의 상관 물질 특성을 이해하는 효율적인 방법임을 제시합니다.

본 논문은 SAM(Sharpness-Aware Minimization)의 높은 계산 비용을 해결하기 위해 계층별 그래디언트 노름 페널티 방법을 제안합니다. 소수의 중요 계층만 페널티를 적용하여 전체 모델의 그래디언트 노름을 효과적으로 억제하면서 SAM의 우수한 일반화 성능을 유지합니다. 이론적으로 부분 모델 섭동이 수렴 속도를 해치지 않음을 보이며, 컴퓨터 비전 및 언어 모델링 벤치마크에서 기존 SAM 대비 효율성을 입증합니다.

연합학습에서 주기적 모델 평균화(FedAvg)로 인한 모델 불일치 문제를 해결하기 위해 부분 모델 평균화 프레임워크를 제안합니다. 이 방법은 로컬 모델들이 매개변수 공간에서 서로 가깝게 유지되도록 하여 전역 손실을 더 효과적으로 최소화합니다. 128개의 많은 워커 환경에서 고정된 반복 횟수 내에 부분 평균화는 주기적 전체 평균화 대비 최대 2.2% 높은 검증 정확도를 달성합니다.