주한별 연구실

본 연구는 오디오 신호를 실시간으로 사실적인 3D 얼굴 아바타로 변환하는 시스템을 제시합니다. 온라인 트랜스포머와 증류 파이프라인을 통해 15ms 이하의 GPU 시간으로 실시간 성능을 달성하며, 기존 방식 대비 100~1000배 빠른 추론 속도를 보입니다. VR 환경에서의 다중모달 응용과 다국어 음성 등 다양한 시나리오에서 검증되었습니다.

본 논문은 참조 이미지에서 대상 초상화로 속성을 전이하는 초상화 애니메이션 생성 방법인 Durian을 제시합니다. 같은 영상의 두 프레임을 의사 쌍으로 활용하는 자기재구성 학습을 통해 명시적 쌍 데이터 없이 속성 전이를 학습합니다. 이중 참조 네트워크와 보완적 마스킹을 통해 각 참조가 정체성 또는 속성 정보를 담당하도록 하며, 마스크 확장 전략으로 교차 정체성 속성 전이를 실현합니다.

본 논문은 단일 초상화로부터 개인화된 3D 생성 아바타를 구축하는 PERSE 방법을 제시합니다. 얼굴 표정, 시점 변화, 특정 얼굴 속성 변화를 포함한 대규모 합성 2D 비디오 데이터셋을 생성한 후, 3D 가우시안 스플래팅 기반으로 연속적이고 분리된 잠재 공간을 학습하여 개인의 정체성을 보존하면서 얼굴 속성 편집을 가능하게 합니다.

본 연구는 일상적인 인간-물체 상호작용을 3D로 모델링하기 위해 ParaHome 시스템을 제안합니다. 70개의 동기화된 RGB 카메라와 IMU 기반 모션 캡처 장비를 활용하여 486분의 시퀀스(207회, 38명 참가자)를 수집했습니다. 이 데이터셋은 신체 동작, 손 조작, 다중 물체 상호작용, 순차적 조작, 텍스트 설명, 3D 파라미터화된 관절 물체를 포함합니다.

본 논문은 사전학습된 비디오 확산 모델을 활용하여 3D 객체의 동적 어포던스를 학습하는 DAViD 프레임워크를 제시합니다. 합성 4D 인간-객체 상호작용 샘플로부터 학습하며, 인간 동작 확산 모델(LoRA 모듈 포함)과 객체 포즈 확산 모델의 두 가지 핵심 요소로 구성됩니다. DAViD는 기존 방법들보다 인간-객체 상호작용 동작 합성에서 우수한 성능을 보입니다.