발표자 : 고려대학교 DSBA 연구실 석사과정 성시열 (siyul_sung@korea.ac.kr)
1. 논문 제목 : DisCo-CLIP: A Distributed Contrastive Loss for Memory Efficient CLIP Training (Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.)
2. 원문 링크 : arxiv.org/abs/...
3. 인용 수 : 7회 (~2024.08.20)
4. 요약
- 메모리를 효율적으로 사용하는 Distributed Contrastive (DisCo) Loss 제안
* 기존 CLIP Loss 연산 분해 → intra-GPU (Gradients), inter-GPU (Gradients) → 불필요한 연산 제거
* 각 GPU는 intra-GPU Gradients만 계산
* Inter-GPU Gradients를 모으기 위해 All-Reduce 활용
- 메모리 사용량 감소, 학습 시간 단축
* 동일 GPU Resource 내에서 더 큰 Batch Size 구현 가능 → 성능 향상
Негізгі бет [Paper Review] DisCo-CLIP: A Distributed Contrastive Loss for Memory Efficient CLIP Training
Пікірлер