728x90
반응형
모델 이동에 걸리는 시간과 연산에 걸리는 시간을 통해 본 최적의 배치 크기를 목표로 메모리 바운드, 연산 바운드를 설명하고 GPU를 더 효율적으로 활용하기 위한 최대 배치 크기가 최적의 배치 크기에 가까워질 수 있는 방법을 찾아야 한다.
728x90
'07.AI' 카테고리의 다른 글
| 인공지능 (4) | 2025.05.16 |
|---|---|
| LLM - 성능 - 모델 최적화 - '테스트 타임 스케일링(test-time scaling)' 기법 (0) | 2025.05.16 |
| 인공지능 - 위험 관리 (0) | 2025.04.27 |
| 인공지능 - 위험 관리 - 프레임워크 'AI RMF 1.0'(AI Risk Management Framework-AI RMF 1.0) (0) | 2025.04.24 |
| 인공지능 - 법/규제 - 중국 (1) | 2025.04.19 |
