SPipe: Hybrid GPU and CPU Pipeline for Training LLMs under Memory Pressure
본 논문은 제한된 GPU 메모리 환경에서 대규모 언어모델(LLM) 학습을 위해 GPU 파이프라인과 GPU-CPU 파이프라인으로 구성된 하이브리드 파이프라인 메커니즘 SPipe를 제시합니다. SPipe는 기존 파이프라인 병렬화의 버블을 감소시키고 데이터 전송 오버헤드를 완화하며, 다양한 크기의 LLM 학습에서 기존 방법 대비 1.26배 성능 향상을 달성합니다.