황승원 연구실

본 논문은 리스트와이즈 리랭커 로그로부터 문서 그래프를 암묵적으로 유도하는 L2G 프레임워크를 제안합니다. L2G는 명시적 그래프 계산 오버헤드 없이 그래프 기반 검색의 확장성을 실현하며, TREC-DL과 BEIR 부분집합에서 오라클 기반 그래프 방법의 성능을 달성하면서 추가 LLM 호출을 발생시키지 않습니다.

본 연구는 이벤트 간의 시간 관계를 정확히 이해하기 위해 Timeline Reasoning Network(TRN)을 제안합니다. TRN은 이벤트의 시간 범위를 예측하는 모듈을 통해 두 단계의 귀납적 추론 과정을 수행하며, TORQUE와 TB-dense 데이터셋에서 기존 방법을 능가하는 성능을 달성합니다.

본 연구는 정보 검색에서 Chain-of-Thought 프롬프팅의 과도한 사고 문제를 해결하기 위해 State Machine Reasoning(SMR)을 제안합니다. SMR은 Refine, Rerank, Stop의 이산 행동으로 구성된 전이 기반 추론 프레임워크로, BEIR과 BRIGHT 벤치마크에서 nDCG@10을 3.4% 향상시키면서 토큰 사용량을 74.4% 감소시킵니다.

본 논문은 지식 그래프 통합을 위한 비지도 엔티티 정렬 방법 HLMEA를 제안합니다. HLMEA는 소형 언어 모델(SLM)과 대형 언어 모델(LLM)을 결합하여 엔티티 정렬 작업을 필터링 및 선택 문제로 공식화합니다. SLM이 텍스트 표현 기반으로 후보 엔티티를 필터링하고 LLM이 의미적으로 정렬된 엔티티를 식별하며, 반복적 자기학습 메커니즘을 통해 협력적으로 성능을 향상시킵니다. 벤치마크 데이터셋 실험 결과 HLMEA는 비지도 및 지도 기반 기존 방법들을 능가하는 성능을 보입니다.

본 연구는 대규모 언어모델(LLM)의 대화형 코드 생성 평가를 위해 CONVCODEWORLD 벤치마크를 제시합니다. 이는 컴파일 피드백, 실행 피드백, GPT-4o 생성 언어 피드백 3가지를 결합한 9가지 시나리오를 시뮬레이션하며, 정적 버전인 CONVCODEBENCH는 CONVCODEWORLD와 0.82~0.99의 높은 상관관계를 유지합니다. 평가 결과 LLM 성능은 피드백 품질에 크게 영향을 받으며, 약한 LM도 충분한 피드백으로 최고 성능 모델을 능가할 수 있음을 보여줍니다.