LLM - 성능 - Meta, COCONUT (Chain of Continuous Thought)

 

구분	Chain of Thought (CoT)	Tree of Thought (ToT)
개념	문제를 단계별로 해결하며 사고를 전개하는 방식	사고 과정을 트리 구조로 확장하여 다양한 가능성을 탐색
특징	- 선형적인 사고 전개 - 단계별로 결론 도출	- 비선형적 사고 전개 - 여러 경로를 탐색하며 최적의 결론 도출
장점	- 과정이 명확하고 직관적 - 단계별로 논리를 검증 가능	- 복잡한 문제 해결 가능 - 유연한 사고 경로 제공
적용분야	- 수학 문제 풀이 - 논리적 추론 - 단계적 설명이 필요한 문제	- 창의적 문제 해결 - 다단계 선택지 탐색 - 복잡한 의사결정
예시	- 수학 문제: 계산 과정을 단계별로 기술	- 퍼즐 문제: 여러 선택지를 시뮬레이션하여 최적 경로 선택
제한점	- 복잡한 문제에서는 한정된 사고 경로만 탐색	- 계산 비용이 높음 - 결과가 복잡해질 수 있음

 

 

Meta의 연구 논문 "Training Large Language Models to Reason in a Continuous Latent Space"는 새로운 방식인 **COCONUT (Chain of Continuous Thought)**를 제안

 

(정의)  메타(Meta)에서 개발한 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위한 새로운 방식

- 언어 모드와 잠재 사고(latent thought) 모드를 번갈아 사용하여 복잡한 문제를 해결

 

(주요 특징)

• 연속적 사고 연결: 기존 Chain-of-Thought 방식보다 더 높은 정확도로 문제를 해결하며, 예컨대 수학 문제 해결에서 99.8%의 정확도를 달성.
• 잠재 공간 추론: BFS(Breadth-First Search)와 유사한 패턴을 사용하여 복잡한 논리적 추론 작업에 효과적.
• 다양한 적용 가능성: 계획 수정과 역추적이 필요한 작업 등 다양한 분야에서 활용 가능.

(연구 결과)

• 수학 단어 문제(GSM8k)에서 기존 방식 대비 개선된 34.1%의 정확도를 기록.
• 복잡한 문제를 해결하는 데 있어 보다 효과적인 접근 방식을 제공.

(의의)
COCONUT은 대규모 언어 모델의 추론 능력을 강화하며, 복잡한 논리적 문제 해결과 AI 시스템의 자연스러운 사고 능력 발전에 기여할 수 있는 혁신적인 기술

 

 

https://www.itfind.or.kr/publication/regular/weeklytrend/weekly/list.do

LLM Reasoning with Chain of Continuous Thought by Meta AI

https://www.marktechpost.com/2024/12/12/meta-ai-introduces-coconut-a-new-paradigm-transforming-machine-reasoning-with-continuous-latent-thoughts-and-advanced-planning-capabilities/