728x90
반응형
모델 이동에 걸리는 시간과 연산에 걸리는 시간을 통해 본 최적의 배치 크기를 목표로 메모리 바운드, 연산 바운드를 설명하고 GPU를 더 효율적으로 활용하기 위한 최대 배치 크기가 최적의 배치 크기에 가까워질 수 있는 방법을 찾아야 한다.
728x90
'07.AI' 카테고리의 다른 글
| 인공지능 (4) | 2025.05.16 |
|---|---|
| LLM - 성능 - 모델 최적화 - '테스트 타임 스케일링(test-time scaling)' 기법 (0) | 2025.05.16 |
| LLM - 성능 - 평가 지표, BERTScore, Perplexity, BLEU, ROUGE (0) | 2025.04.19 |
| 머신러닝 - 군집 - DBSCAN - HDBSCAN(Hierarchical Density-Based Spatial Clustering of Applications with Noise) (0) | 2025.04.13 |
| 빅데이터 - 분석기술 - 텍스트 마이닝 - 토픽 모델링 - LDA (선형판별분석) (0) | 2025.04.13 |
