728x90
반응형
모델 이동에 걸리는 시간과 연산에 걸리는 시간을 통해 본 최적의 배치 크기를 목표로 메모리 바운드, 연산 바운드를 설명하고 GPU를 더 효율적으로 활용하기 위한 최대 배치 크기가 최적의 배치 크기에 가까워질 수 있는 방법을 찾아야 한다.
728x90
'07.AI' 카테고리의 다른 글
| 인공지능 (4) | 2025.05.16 |
|---|---|
| LLM - 성능 - 모델 최적화 - '테스트 타임 스케일링(test-time scaling)' 기법 (0) | 2025.05.16 |
| 인공지능 - 법/규제 - 중국 (1) | 2025.04.19 |
| LLM - 성능 - 평가 지표, BERTScore, Perplexity, BLEU, ROUGE (0) | 2025.04.19 |
| 인공지능 - 법/규제 - OECD AI 원칙 (0) | 2025.04.19 |
