07.AI
LLM - 성능 - 최적화 - 배치 (Batch)
Mr. Slumber
2025. 5. 16. 11:04
728x90
반응형
모델 이동에 걸리는 시간과 연산에 걸리는 시간을 통해 본 최적의 배치 크기를 목표로 메모리 바운드, 연산 바운드를 설명하고 GPU를 더 효율적으로 활용하기 위한 최대 배치 크기가 최적의 배치 크기에 가까워질 수 있는 방법을 찾아야 한다.
728x90