언어 추론 모델 (LRM; Language Reasoning Model)

(개념) 다단계의 논리적 추론(Multi-Step Logical Reasoning), 복잡한 문제 해결(Complex Problem-Solving), 구조화된 사고(Structured Thinking)에 최적화된 고급 AI 시스템

 

(아이디) 내부적으로 먼저 CoT(Chain-of-Thought) 형태의 추론 경로(Reasoning Trace)를 생성한 다음, 그 내부 연산에 근거해서 최종적인 답을 생성하는 구조

 

(특징)

추론 시점 스케일링(Test-Time Scaling), 

강화 학습 기반의 후속 학습(Reinforcement Learning Post-Training), 

CoT 추론(Chain-of-Thought Reasoning), 

도구 사용(Tool Use), 

외부 메모리(External Memory),

강력한 수학 및 코드 처리 능력(Math and Code Capabilities),

보다 모듈화된 설계(Modular Design) 

 

Fig. 1: Summary of the contributions made by this paper. The x1 framework can be found at https://github.com/spcl/x1.

 

Fig. 2: The history of RLMs. This class of models has been the result of the development of three lines of works: (1) reinforcement learning based models such as AlphaZero [138], (2) LLM and Transformer based models such as GPT-4o [119], and (3) the continuous growth of compute power and data processing capabilities of supercomputers and high performance systems.

 

 

Fig. 3: Hierarchy of language models (right) and the three pillars of RLMs (left)

 

Fig. 4: Overview of a general RLM design and core concepts. We provide a high-level overview (the top-left part), a more detailed medium-level overview (the top-right part), and a very detailed diagram showing the inference and training pipelines (the bottom part). A detailed specification of the inference pipeline can be found in Appendix C.1 and in Algorithm 1. Details on the pipelines for different training phases and paradigms can be found in Appendices C.2 and C.3 as well as in Algorithms 2–7. The data generation pipeline is detailed in Appendix D.

 

 

 

 

 

 

 

 

1) 추론 시점 스케일링 (Inference-Time Scaling)

- 추론(Reasoning) 과정 자체가 추론 시점(Inference Stage)으로 이동했고, 모델은 스스로 생성한 ‘아이디어’(중간 추론 결과)를 활용해서 결과를 도출합니다. 말하자면, 초안 작성이나 계산 메모처럼 중간 단계를 보여주는 방식

 

2) 강화 학습 기반 후속 학습 (Post-Training with Reinforcement Learning, RL)

- SFT는 사람 또는 신뢰할 수 있는 모델이 제공한 정답(Ground Truth Output)을 기준으로 토큰 수준의 손실(Token-Level Loss) - 예: 교차 엔트로피, Cross-Entropy - 을 최소화하면서 결정론적이고 통제 가능한 방식으로 바람직한 행동을 흉내내도록 훈련합니다. 반면에, RL은 탐색(Exploration)을 허용하고, 학습 데이터에 존재하지 않더라도 도움이 되는 추론 방식이나 안전성 같은 추상적 목표(Abstract Goal)를 최적화할 수 있게 해 줍니다.

이렇게 검증 가능한 보상을 기반으로 한 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR) 전략은, RLM이 유용한 추론 전략을 탐색하면서 능력을 확장하는 데 있어서 가장 강력한 무기입니다.

다양한 강화 학습 알고리즘들이 RLM에 사용되는데요:

• PPO (Proximal Policy Optimization; 근접 정책 최적화)
• GRPO (Group Relative Policy Optimization; 그룹 상대 정책 최적화)
• RAFT 방식의 거절 샘플링(RAFT-Style Rejection Sampling)
• 다중 계층 GRPO(Multi-Layer GRPO)
• EM 정책 그래디언트(EM Policy Gradient)

등입니다.

이런 기법으로 다단계 추론(Multi-Step Reasoning) 작업이 원하는 결과를 만들어내게끔 정렬(Alignment)시키고, 복잡한 작업에서도 신뢰성과 일관성을 높입니다.

이 기법들을 시간에 따른 발전 흐름으로 이해를 해 보면:

• PPO와 거절 샘플링(예: RAFT)에서
• 자기 교정(Self-Correction)이 가능한 GRPO 및 MGRPO(Multy-Layer GRPO)로,
• 그리고 EM 정책 그래디언트 같은 최신의 프레임웍으로 진화 중입니다.

각 단계의 접근법들은, 구조화된 추론(Structured Reasoning), 중간 단계 검증(Intermediate Verification), 그리고 효율적인 경로 최적화(Efficient Trajectory Optimization)에 중점을 둡니다.

 

3) 다중 샘플링 (Multi-Sampling)

- 여러 개의 CoT(Chain-of-Thought)나 후보 정답을 동시에 샘플링한 뒤에, 다수결(Majority Voting) 또는 보상 모델(Reward Model) 기반으로 최종적인 정답을 선택합니다.

이런 방식은 ‘한 번의 시도로는 부족하다’는 철학에서 출발하는 거고, 여러 해결 경로를 병렬적으로 생성하고 집단적인 결론에 도달하는 게 더 높은 성능과 더 나은 추론 결과로 이어진다고 봅니다.

전통적인 LLM은 정적이고 일회성(One-Shot) 생성 방식에 의존하지만, RLM은 추론 구조를 연쇄(Chains), 트리(Trees), 그래프(Graphs) 형식으로 만들고, 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS), 빔 탐색(Beam Search), 최상위 선택(Best-of-N) 같은 전략들을 사용합니다.

 

4) 정책 모델과 가치 모델 (Policy Model & Value Model)

RLM이 추론 경로를 탐색할 때, 서로 다른 역할을 가진 두 모델이 함께 작동합니다:

• 정책 모델(Policy Model): 다음 추론 단계를 제안하는, 아이디어 생성기(Idea Generator) 역할
• 가치 모델(Value Model): 특정한 추론 단계나 경로가 얼마나 좋은지를 평가하는 평가자(Evaluator) 역할

 

한계점: Overthinking(과도한 사고) 및 기타 문제들

대형 추론 모델)이 긴 추론 체인을 생성하도록 유도되다 보니, 때로는 같은 내용을 반복하거나, 답변의 정확도 향상에 도움이 되지 않는 불필요한 단계를 만들어내기도 합니다. 이런 현상은 연산 자원을 낭비하게 될 뿐만 아니라 심지어는 정확도를 떨어뜨릴 수도 있습니다.

이런 상황은, 모델이 언제 멈춰야 할지를 스스로 판단하지 못한다는 점을 극명하게 보여주는 사례죠. 아이러니하게도, 이런 순간에는 더 단순한 대형 언어 모델이 더 나은 결과를 줄 수도 있습니다.

 

또 다른 문제는, 추론 모델(Reasoner)이 생성하는 내부 추론 체인이 사람이 읽기 어려운 형식으로 표현될 수 있다는 점입니다. 가끔은 이게 기호로 된 코드(Symbolic Code)처럼 보이기도 하죠.

이게, 모델이 효율성을 높이기 위해서 스스로 만들어 낸 구조화된 표현 방식일 수도 있지만, 반대로 이런 문제가 자연어 정렬(Natural Language Alignment)을 항상 유지하도록 훈련된 전형적인 LLM에서는 발생하지 않습니다.

 

하나 더 언급하자면, 추론 언어 모델이 모든 작업에 대해서 적용할 수 있는 범용의 추론기(Universal Reasoner)는 아니라는 점이죠. 추론 언어 모델은 주로 수학, 논리, 코딩 같은 과제에서 뛰어난 성과를 보이지만, 창의적인 작업이나 개방형 문제를 해결하는 데 있어서는 상대적으로 뒤처지는 경우가 많습니다.

 

 

https://turingpost.co.kr/p/topic-44-reasoning-models

https://arxiv.org/abs/2501.11223