LLM - Kanana LLM

카나나 언어모델(Kanana LLM: Kanana Nano, Essence, Flag)

 

서비스 최적화와 효율성을 목표로 개발된 세 가지 크기의 모델로 구성되어 있습니다:

1. Kanana Nano: 모바일 디바이스에서도 활용 가능한 초경량 모델로, 경량화된 구조를 통해 다양한 환경에서의 활용성을 높였습니다.
2. Kanana Essence: 서비스에 최적화된 중형 사이즈의 모델로, 유사한 크기의 글로벌 최신 모델들과 비교하여 동등한 수준의 영어 성능과 우수한 한국어 성능을 보입니다.
3. Kakao Tech
4. Kanana Flag: 가장 큰 사이즈의 고성능 초거대 언어모델로, 복잡한 작업과 대규모 데이터 처리를 위한 높은 성능을 제공합니다.
5. 네이버 블로그

 

이러한 모델들은 카카오의 다양한 서비스에 적용되어 사용자에게 최적화된 AI 경험을 제공하고 있습니다.

 

 

1. Post-training 이란?

Post-training은 사후 학습, 즉 Pre-training 이후에 사용자의 명령을 따르도록 학습하는 일련의 과정을 의미합니다. LLM은 다양한 유형의 명령어, 지시문 등의 데이터를 학습하는 Post-training 과정을 통해 특정 문맥에서 바람직한 응답을 선택하고 적절히 추론하는 능력을 키우게 됩니다.

 

표 1. 유사 크기의 오픈소스 모델들과의 Kanana Essence Instruct 모델 성능비교. 위부터 llama-3.1[1], qwen2[11], phi-3[12], mistral[13].

 

 

https://www.youtube.com/watch?v=xdPhq10Ngi4

 

 

 

https://tech.kakao.com/posts/662

밑바닥부터 Kanana LLM 개발하기: Post-training - tech.kakao.com