생성형 AI - 미스트랄 AI - 미스트랄 스몰 3.1

미스트랄 스몰 3.1( Mistral-Small-3.1-24B-Instruct-2503 의 공개

(개념)  'GPT-4o 미니'를 능가하는 성능을 가지고 있으며, 240억 개의 매개변수(parameter)를 갖춘 멀티모달 모델

- 지시사항 미세 조정 모델
- 이 모델은 이미지 이해 기능을 추가하고 최대 128k 토큰의 긴 컨텍스트 기능을 향상시켰습니다.
- 텍스트 및 비전 작업 모두에서 최고 수준의 성능을 제공하며, vLLM 라이브러리를 사용하여 배포하는 것이 권장됩니다.
- 오픈소스 라이선스(Apache 2.0)로 배포되어 상업적 및 비상업적 용도로 사용 및 수정이 가능합니다.
- GPU를 사용한 추론에는 약 55GB의 GPU RAM이 필요합니다.

 

주요 특징

• 멀티모달 능력: Mistral Small 3.1은 텍스트 입력 뿐만 아니라 이미지를 읽고 분석할 수 있는 기능을 갖추고 있어 다양한 적용 가능성을 보여줍니다.
• 길어진 컨텍스트 윈도우: 이 모델은 128k 토큰까지의 길이를 지원하여, 더 긴 텍스트를 한 번에 처리할 수 있습니다.
• 경량화: RTX 4090 또는 32GB RAM을 가진 MacBook에서도 실행할 수 있도록 최적화되어 있습니다. 이는 사용자가 로컬 환경에서 진행할 수 있는 다양한 작업을 수용할 수 있게 해줍니다.
• 다국어 지원: 영어, 프랑스어, 독일어 등 다양한 언어를 지원하여, 글로벌 사용자와의 상호작용이 가능합니다.

이 모델은 인스트럭션 기반의 작업에 적합하며, 다양한 AI 응용 프로그램에서 사용될 수 있습니다125.

활용 방안

Mistral Small 3.1-24B Instruct는 조언 제공, 이미지 이해, 질의응답 시스템 등 다양한 분야에서 사용할 수 있으며, 특히 사무자동화나 고객 지원 등에 활용될 수 있습니다. 이를 통해 사용자들은 보다 정교하고 작동이 빠른 AI 기술의 혜택을 누릴 수 있습니다.

---

Mistral Small 3.1-24B Instruct 모델은 텍스트 기반 질문에 대한 빠르고 정확한 답변을 제공할 수 있도록 최적화되어 있으며, 특히 프로그래밍 및 수학적 추론에서도 강력한 성능을 나타냅니다.

또한, 이 AI 모델은 자가 학습 및 전문가에 의해 세밀하게 조정된 기능으로, 사용자가 도구를 호출하거나 JSON 형식으로 결과를 출력할 수 있는 함수 호출 능력이 뛰어납니다. 이는 API 통합이나 특정 애플리케이션 개발에 있어 유용합니다.

예를 들어, Mistral Small 3.1-24B Instruct는 긴 문서 이해, 비주얼 분석 및 기능 호출 작업에서 탁월한 성능을 보여주며, 이를 통해 사용자가 복잡한 데이터 세트에 대해 보다 심층적인 인사이트를 얻을 수 있도록 돕습니다123.

 

 

Mistral Small 3는 Llama 3 70B 또는 Qwen 32B와 같은 더 큰 모델과 경쟁할 수 있으며, GPT4o-mini와 같은 독점 모델에 대한 공개 대체 모델로 Mistral Small 3는 동일한 하드웨어에서 3배 이상 빠르면서도 Llama 3 70B instruct와 동등한 성능을 보인다.(출처:미스트랄AI)

 

인간 평가자 선호도 / 백분율 (Human rater preferences / percentage), 미스트랄AI는 1,000개 이상의 독점 코딩 및 일반 프롬프트 세트에 대해 외부 업체와 함께 나란히 평가를 수행했다. 평가자들은 Mistral Small 3와 다른 모델에서 생성된 익명의 결과물 중에서 선호하는 모델 응답을 선택하도록 요청받았다. 미스트랄AI는 인간 판단에 대한 벤치마크가 공개적으로 이용 가능한 벤치마크와 극명하게 다른 경우가 있다는 것을 알고 있지만, 공정한 평가를 검증하기 위해 각별한 주의를 기울였다.

 

 

 

mistralai/Mistral-Small-3.1-24B-Instruct-2503 · Hugging Face

mistralai/Mistral-Small-3.1-24B-Instruct-2503 · Hugging Face