김건희 연구실

3D 가우시안 스플래팅(3DGS)의 알파 블렌딩 방식을 개선하는 연구입니다. 기존 방식은 줌인 시 흐림 현상과 줌아웃 시 계단 현상을 야기합니다. 본 논문은 알파와 투과율을 픽셀 영역의 공간적 분포로 처리하는 가우시안 블렌딩을 제안하여, 실시간 렌더링 속도를 유지하면서 훈련 중 미경험한 샘플링 레이트에서 세부 정보를 효과적으로 포착합니다.

본 논문은 시각 질문 답변에서 멀티모달 출처 귀속을 평가하는 첫 번째 벤치마크인 MAVIS를 제시합니다. 157K개의 시각 QA 인스턴스로 구성된 데이터셋에서 각 답변은 멀티모달 문서를 참조하는 사실 수준의 인용으로 주석 처리되었습니다. 연구 결과 멀티모달 RAG를 사용한 대규모 시각 언어 모델은 더 유익하고 유창한 답변을 생성하지만, 이미지 문서에 대한 근거성이 약하다는 것을 발견했습니다.

본 논문은 시각 질문에 대한 장문형 답변에서 출처를 인용하는 멀티모달 소스 귀속을 평가하는 첫 번째 벤치마크인 MAVIS를 제시합니다. 157K개의 시각 QA 인스턴스로 구성된 데이터셋에서 각 답변은 멀티모달 문서를 참조하는 사실 수준의 인용으로 주석 처리되었습니다. 연구 결과 LVLMs의 멀티모달 RAG는 단일모달 RAG보다 정보성과 유창성이 우수하지만, 이미지 문서에 대한 근거성이 텍스트 문서보다 약함을 보여줍니다.

본 연구는 Chain-of-Thought(CoT) 설명이 투명성을 제공하면서도 확증편향을 유발할 수 있는 이중성을 조사합니다. 시각언어모델의 추론 오류를 체계적으로 조작하여 사용자 신뢰도와 오류 감지 능력을 분석한 결과, 사용자들이 신뢰를 결과 동의와 동일시하며 자신감 있는 톤이 오류 감지를 억제하면서도 의존성을 유지함을 발견했습니다.

본 논문은 연합학습에서 제한된 비독립동일분포 데이터로 인한 과적합과 모델 발산 문제를 해결하기 위해 메타-변분 드롭아웃(MetaVD)을 제안합니다. MetaVD는 공유 하이퍼네트워크를 통해 클라이언트별 드롭아웃 비율을 학습하여 모델 개인화를 실현합니다. 실험 결과 MetaVD는 우수한 분류 정확도와 불확실성 보정 성능을 보였으며, 특히 분포 외 클라이언트에서 뛰어난 성능을 나타냈고 통신 비용을 감소시켰습니다.