AI 에이전트 - OpenAI, 할라페뇨 MLA kernel 을 위한 컴파일러 2.0: 확률적 최적화 도구로서의 AI

https://x.com/cdleary/article/2094878051238887834

2026.9.2
[Compilers 2.0: AI as stochastic optimizer]

이 자료는 오픈AI의 하드웨어 팀 엔지니어가 작성한 글로, 인공지능을 스토캐스틱 최적화 도구로 활용하여 하드웨어 커널을 자동으로 생성하는 컴파일러 2.0 시대를 설명하고 있습니다. 기존의 컴파일러가 고정된 규칙에 따라 코드를 변환했다면, 새로운 방식은 AI의 추론 능력을 빌려 인간 전문가처럼 창의적이고 복합적인 최적화 경로를 탐색하여 전문가 수준을 뛰어넘는 성능을 달성합니다. 비록 기계가 생성한 저수준 코드를 사람이 한 줄씩 이해할 수는 없지만, 수학적 검증을 통해 프로그램의 의미적 동일성을 보장함으로써 신뢰성을 확보합니다. 결과적으로 이 글은 복잡한 하드웨어 가속기 프로그래밍이 AI를 통한 자율적 최적화와 프로그램 합성의 영역으로 진화하고 있음을 시사합니다.

 

이전에 사용했던 XLA 컴파일러에서는 이러한 NumPy 연산을 블록으로 병합한 다음 "이미터"라는 메타프로그래밍 도구를 사용하여 이를 루프, 명령어 및 하위 수준 기본 요소로 축소했습니다.

 

 

XLA 컴파일러/이미터 프로그램이 이렇게 할 때, 출력 어셈블리 코드가 무엇인지는 신경 쓸 필요가 없습니다. 저희의 무작위 최적화 도구는 개념적으로 AI가 이미터 메타 프로그램을 대체합니다. AI는 축소와 최적화를 모두 수행하며, 최적화 한계에 도달할 때까지 추가 최적화를 요청할 수 있습니다.

 

LLM = proposal generator / search policy
Compiler + runtime + verifier = acceptance mechanism

 

Compiler optimization의 핵심은 “더 좋은 코드”가 아니라 “동일 의미의 더 좋은 코드”

이 부분은 원문을 이해할 때 한 단계 더 명확하게 할 필요가 있습니다.

컴파일러 최적화에서 가장 중요한 invariant는

입니다.

따라서 단순히 benchmark score가 좋아졌다는 것만으로는 optimization이라고 할 수 없습니다.

이 문제 때문에 compiler research에서는 correctness와 optimization을 분리해서 다루는 경우가 많습니다.

특히 synthesis-based optimization에서는 correctness constraint와 performance objective를 동시에 만족하는 search problem으로 formulation할 수 있습니다. STOKE가 대표적인 사례입니다.

 

Optimization과 Optimality

컴파일러가 프로그램을 최적화한다고 했을 때, “최적”이란 정확히 무엇인가?

 

Superoptimization

여기서 등장하는 개념이 superoptimization입니다.

주어진 프로그램과 동일한 semantic behavior를 가지면서 가장 좋은 프로그램을 직접 찾는 문제입니다.

이를 추상화하면

subject to

입니다.

 

LLM을 stochastic optimizer로 바꾼다면 Random proposal → Learned proposal 이런 구조로,

이를 수식으로 표현하면 더 명확합니다.

기존 stochastic search는

에서

가 비교적 무작위적인 proposal distribution이라고 볼 수 있습니다.

LLM 기반 optimizer에서는

처럼 생각할 수 있습니다.

 

 : 현재 프로그램

 

 : compiler/performance feedback

 

 : LLM이 만들어내는 proposal policy

 

 

좋은 performance engineer는 단순히 규칙만 적용하지 않고 현재 코드를 보고 탐색적 판단을 수행합니다. 전문가의 능력은 모든 최적화 규칙을 암기한 것이 아니라 어떤 transformation을 시도할 가치가 있는지 판단하는 것에 가깝습니다.

 

Formal verification

가능한 입력 공간 전체에 대해

를 증명하려고 합니다.

 

2026년 AccelSync 연구는 accelerator pipeline의 synchronization correctness를 별도의 formal semantics로 모델링하고, LLM-generated kernel에서도 synchronization defect를 검출하는 사례를 제시했습니다.

“semantic equivalence를 검증할 수 있다”는 문장은 kernel의 종류와 contract에 따라 조건부로 이해해야 합니다.