Do Language Models Associate Sound with Meaning? A Multimodal Study of Sound Symbolism
Proceedings of the AAAI Conference on Artificial IntelligenceConference
인용 0부분 검증
본 연구는 음성 상징성이 다중모달 대형언어모델(MLLM)의 청각 정보 해석 방식을 탐구할 수 있는 프로브임을 제시합니다. 영어, 프랑스어, 일본어, 한국어의 8,052개 의성의태어와 2,930개 의도적으로 구성된 의사단어로 이루어진 LEX-ICON 데이터셋을 활용하여, 텍스트 및 음성 입력 형태에서 25개 의미 차원에 걸친 음운 상징성에 대한 모델의 성능을 조사합니다. 결과적으로 MLLM이 기존 언어학 연구와 일치하는 음운 직관을 보이며, 상징적 음소에 집중하는 음운의미론적 주의 패턴을 나타냅니다.
AI 생성원문 보기