LLM 추론 최적화 - Metis: 메모리 기반 모델

https://arxiv.org/pdf/2607.26760

Code: https://github.com/MemTensor/Metis
Model: https://huggingface.co/collections/IAAR-Shanghai/metis

2026.8.4
[ Metis: Memory Foundation Model]

본 소스는 인공지능 에이전트의 핵심 기능인 메모리를 외부 모듈이 아닌 모델 내부에 직접 통합하는 메모리 파운데이션 모델(Memory Foundation Model)과 그 첫 번째 프로토타입인 Metis(메티스)를 소개하고 있습니다. 기존의 외부 검색 방식(RAG)이 가진 지연 시간과 최적화의 한계를 극복하기 위해, 연구진은 모델의 매개변수 자체가 과거의 상호작용 정보를 압축하여 저장하는 원천 메모리 상태(Native Memory State)와 이를 자율적으로 갱신하고 활용하는 원천 메모리 절차(Native Memory Procedure)를 정의하였습니다. Metis는 이러한 이론적 배경을 바탕으로 고안된 새로운 아키텍처로서, 효율적인 메모리 어텐션 메커니즘을 통해 정보의 기억, 수정, 망각을 수행하며 추론 시 추가적인 학습 없이도 지속적이고 동적인 정보 유지가 가능하도록 설계되었습니다. 또한, 연구진은 모델이 복잡한 대화 상황에서도 높은 신뢰도를 유지할 수 있도록 대규모의 메모리 특화 데이터를 구축하여 성능을 검증하고 관련 프로젝트를 공개함으로써 미래의 지능형 에이전트 연구를 위한 중요한 이정표를 제시하고 있습니다.

 

최근 인공지능 에이전트의 발전은 기본 모델에 네이티브 기능을 점차 내재화하여 멀티모달 기반 모델과 대규모 추론 모델을 탄생시켰습니다. 그러나 에이전트 메모리는 여전히 주로 외부 모듈을 통해 구현되고 있어 네이티브 메모리 기능은 제대로 활용되지 못하고 있습니다.

 

본 논문에서는 이러한 방향으로 나아가기 위한 첫걸음으로, 기반 모델에 네이티브 메모리 기능을 부여하는 메모리 기반 모델을 제안합니다. 우리는 네이티브 메모리를 두 가지 관점에서 정형화합니다. 첫째는 백본 내부에 존재하는 지속적이고 동적으로 진화하는 메모리 상태이고, 둘째는 모델 연산을 통해 정보를 자율적으로 저장하고 활용하는 네이티브 메모리 절차입니다. 네이티브 메모리가 아키텍처, 엔드투엔드 최적화 및 효율성 측면에서 이점을 제공함을 보여줍니다. 이러한 정형화를 바탕으로 메모리 기반 모델의 첫 번째 프로토타입인 Metis를 제안합니다.

 

Metis는 기반 모델에 네이티브 메모리 상태를 탑재하는 새로운 아키텍처를 도입하여, 과거 정보를 모델에 압축하고 메모리 어텐션을 통해 접근할 수 있도록 합니다. 우리는 대규모 메모리 특화 학습 데이터를 구축하고, 학습 중간에 이러한 네이티브 메모리 절차를 획득하기 위해 여러 최적화 목표를 도입합니다. Metis의 온라인 메모리 유지 관리는 기울기 계산이 필요 없으며, 메모리 업데이트는 순방향 패스만으로 완료됩니다. 추론 시, 학습된 모델의 모든 가중치는 고정된 상태로 유지되는 반면, 네이티브 메모리 상태는 표준 순방향 연산을 통해 자율적으로 변환됩니다. 광범위한 실험을 통해 Metis가 네이티브 메모리 기능을 갖추고 있음을 보여주고, 그 강점, 한계 및 동작 방식에 대한 자세한 분석을 제공합니다. 향후 메모리 기반 모델 연구를 지원하기 위해 프로젝트 및 모델 체크포인트를 공개합니다.