728x90
반응형
모델 이동에 걸리는 시간과 연산에 걸리는 시간을 통해 본 최적의 배치 크기를 목표로 메모리 바운드, 연산 바운드를 설명하고 GPU를 더 효율적으로 활용하기 위한 최대 배치 크기가 최적의 배치 크기에 가까워질 수 있는 방법을 찾아야 한다.
728x90
'07.AI' 카테고리의 다른 글
| 생성형 AI - 추론 ‘inference’ 비용 (0) | 2025.05.16 |
|---|---|
| 인공지능 - 인공지능 에이전트 (Agent) - 에이전틱 AI (Agentic AI) (1) | 2025.05.16 |
| LLM - 성능 - 벤치마크, 빅젠(BIGGEN) 벤치마크 (0) | 2025.05.08 |
| LLM - 성능 - 벤치마크, MMMU, GPQA, SWE, HLE (0) | 2025.05.08 |
| 인공지능 - 인공지능 에이전트 (Agent) (7) | 2025.05.08 |
