유영재 연구실

본 연구는 음성 상징성이 다중모달 대형언어모델(MLLM)의 청각 정보 해석 방식을 탐구할 수 있는 프로브임을 제시합니다. 영어, 프랑스어, 일본어, 한국어의 8,052개 의성의태어와 2,930개 의도적으로 구성된 의사단어로 이루어진 LEX-ICON 데이터셋을 활용하여, 텍스트 및 음성 입력 형태에서 25개 의미 차원에 걸친 음운 상징성에 대한 모델의 성능을 조사합니다. 결과적으로 MLLM이 기존 언어학 연구와 일치하는 음운 직관을 보이며, 상징적 음소에 집중하는 음운의미론적 주의 패턴을 나타냅니다.

본 연구는 믹서 트럭 슈트에서의 자연 유출 흐름을 단일 카메라로 분석하여 실시간 콘크리트 슬럼프를 자동 예측하는 AI 기반 비전 시스템 SlumpGuard를 제시합니다. 6000개 이상의 비디오 클립으로 구성된 현장 재현 데이터셋을 통해 슈트 위치 파악, 타설 감지, 슬럼프 분류의 신뢰성을 입증하며, 전문가 연구에서 인간의 시각적 추정에 상당한 불일치가 있음을 확인합니다.

본 논문은 이미지 패치 위치로 정의된 격자에서 균일 스패닝 트리의 순회 순서를 활용하는 STAR(Spanning Tree Autoregressive) 모델링을 제시합니다. 너비 우선 탐색을 통해 구성된 스패닝 트리는 연결된 부분 관찰이 시퀀스의 접두사로 나타나도록 보장하여, 무작위 순열 방식과 달리 성능 저하 없이 추론 시 이미지 편집의 유연성을 제공합니다.

본 연구는 신체 언어 등 비언어적 단서(NVC)를 통해 타인의 정신 상태를 해석하는 기계의 마음 이론(ToM) 능력을 평가하기 위해 Motion2Mind 프레임워크를 제시합니다. 222가지 비언어적 단서와 397가지 정신 상태를 포함한 세밀한 주석이 달린 비디오 데이터셋을 구축했으며, 현재 AI 시스템은 비언어적 단서 해석에서 상당한 성능 격차를 보입니다.

본 연구는 웹 UI 코드 생성 LLM을 웹 접근성 지침(WCAG)에 맞추기 위해 A11yn 방법을 제안합니다. 위반 심각도를 반영한 보상 함수를 최적화하며, 6,800개의 UI 생성 지시문 데이터셋과 300개의 실제 웹 UI 요청 벤치마크를 구축했습니다. 결과적으로 기본 모델 대비 접근성 미준수율을 60% 감소시키면서 생성된 UI의 의미론적 충실도와 시각적 품질을 유지했습니다.