728x90
반응형

NVIDIA가 Ampere 아키텍처(A100)부터 지원하는 기능으로, 물리적으로 하나인 GPU를 최대 7개의 독립된 인스턴스로 분할하는 기술입니다.

각 인스턴스는 자신만의 전용 메모리, 캐시, 컴퓨트 코어(SM)를 가지므로 서로 완전히 격리됩니다. 하나의 큰 GPU를 여러 사용자나 워크로드가 나눠 쓸 때, 특정 작업이 다른 작업의 성능이나 메모리에 영향을 주지 않도록 보장하는 게 핵심 목적입니다.

주로 멀티테넌트 환경, 추론(inference) 서빙, 클라우드 GPU 자원 분할 등에 쓰입니다.

728x90
Posted by Mr. Slumber
,