Gated side adapters with memory-efficient fine tuning for RGB-T tracking
본 연구는 RGB-T 추적을 위해 기초 모델의 역전파를 제거하는 게이트 사이드 어댑터를 제안합니다. 모달리티 융합 모듈을 통해 기초 모델과 사이드 모델을 적응적으로 통합하여 도메인 갭을 극복합니다. 제안 방법은 전체 미세조정 대비 훈련 시간을 29.2%, 메모리 사용량을 51.7% 감소시킵니다.
Seung-Hwan Bae
인하대학교 컴퓨터공학과
컴퓨터공학
shbae@inha.ac.kr
Vision & Learning Laboratory at Inha University, Incheon, South Korea. Research interests include multiobject tracking, object detection, deep learning, dimensionality reduction, medical image analysis, and generative adversarial networks.
Accurate detection of these light sources is crucial for recognizing objects, predicting behaviors, and understanding the environment, particularly in the context of autonomous driving and surveillance systems.
On-Board AI refers to performing AI computations directly on the device, enabling real-time processing. Jetson and Hailo-8 are platforms ideal for high-performance tasks like robotics and autonomous driving.
Data-Free Quantization is a model compression technique that reduces the precision of neural network weights and activations without requiring access to the original training data.
Multi-Modal Tracking is the process of simultaneously using and integrating information from multiple sensor modalities—such as RGB images, thermal cameras, depth sensors, or LiDAR—to robustly track objects over time.
3D Object Detection is a computer vision task that involves identifying, localizing, and estimating the size and orientation of objects in three-dimensional space using images, LiDAR point clouds, or RGB-D information.
The goal of multi-object tracking is to estimate the states of multiple objects, such as locations, velocities, and sizes, while conserving their identifications using confidence-based tracking and deep learning.
대학중점연구소지원사업
인간처럼 회상이 가능한 인공 신경망 지속학습 플랫폼
대규모 확장 가능한 On-Vision AI를 위한 E3-AI 네트워크와 협업 학습 연구
BK21플러스 4단계 최종 사업
인공지능융합혁신인재양성 사업 (인공지능융합연구센터 후속 사업)
출처: 연구실 홈페이지
수집 중
본 연구는 RGB-T 추적을 위해 기초 모델의 역전파를 제거하는 게이트 사이드 어댑터를 제안합니다. 모달리티 융합 모듈을 통해 기초 모델과 사이드 모델을 적응적으로 통합하여 도메인 갭을 극복합니다. 제안 방법은 전체 미세조정 대비 훈련 시간을 29.2%, 메모리 사용량을 51.7% 감소시킵니다.
본 연구는 NGBoost의 기본 학습기를 경량 신경망으로 대체하고 부스팅 절차에 자연 기울기 추정을 도입한 Neural-NGBoost 프레임워크를 제안합니다. 자연 기울기 부스팅을 기반으로 신경망 학습기를 반복적으로 업데이트하며, 실험 결과 다양한 데이터셋에서 다른 부스팅 방법들보다 우수한 성능을 달성합니다.
본 연구는 단안 카메라 기반 3D 객체 검출기를 위한 영역 인식 지식 증류 방법을 제안합니다. 객체 특징을 스케일과 피라미드 레벨로 정렬하고 확률 분포를 통해 영역 중요도를 가중치화합니다. KITTI와 Waymo 데이터셋에서 MonoRCNN++과 MonoDETR에 적용한 결과, 경량 백본으로도 강력한 성능을 달성하며 기존 지식 증류 방법 대비 효율성과 효과성에서 우수합니다.
본 논문은 이질적 아키텍처를 가진 심층 모델 간의 다층 지식 증류 문제를 해결합니다. 트랜스포머 기반 다층 상관관계 지식 증류(TMC-KD) 방법을 제안하여 지역 및 전역 특성 상관관계를 최소화함으로써 교사-학생 모델 간의 지식 격차를 좁힙니다. CIFAR-100과 ImageNet에서 일관된 정확도 향상을 달성하며, Rip current 데이터셋에서도 우수한 탐지 성능을 보입니다.
본 논문은 객체의 기하학적 변형에 대응하는 변형 가능한 부분 영역(DPR) 학습과 특징 집계 트리(FAT) 표현을 제안합니다. DPR은 추가 감독 없이 부분 모델 손실을 통해 객체의 기하학적 변형에 따라 적응하는 다중 부분 모델을 학습하며, FAT는 하향식 트리 구조로 판별력 있는 RoI 특징을 학습합니다. 제안된 방법은 Swin-L 백본으로 MSCOCO 데이터셋에서 57.9 box AP를 달성합니다.