LLM - 시각-추론 모델 QVQ (Qwen, QVQ-72B-Preview)

(개념) 텍스트와 이미지를 동시에 처리하여 시각적 추론 능력을 대폭 강화한 혁신적인 모델

 

 

QVQ의 주요 특징

1. 시각적 추론 강화
   QVQ는 텍스트와 이미지를 통합하여 복잡한 문제를 해결하는 데 중점을 두고 설계되었습니다.
   • 이미지 인식, 데이터 분석, 문서 처리 등 다양한 작업에서 뛰어난 성능을 발휘합니다.
2. 오픈 소스 제공
   알리바바는 QVQ를 오픈 소스로 공개하여, 전 세계 개발자들이 이 모델을 활용하고 발전시킬 기회를 제공합니다.
   이는 AI 생태계의 활성화와 기술 발전에 크게 기여할 것으로 보입니다.
3. 고성능 벤치마크 결과
   • MMMU 벤치마크: 대학 수준의 시각적 이해 평가에서 70.3점을 기록.
   • MathVista: 수학 문제 해결 벤치마크에서 71.4점으로 최고 성능 달성.
   • 이는 기존 모델 'Qwen2-VL' 대비 큰 발전을 보여줍니다.
4. 계층적 구조 및 정렬 메커니즘
   QVQ는 고급 트랜스포머 아키텍처를 기반으로 텍스트와 이미지 데이터를 정확히 정렬하며 문맥을 유지합니다.
   • 다단계 시각 추론에서도 효율적인 결과를 제공합니다.
5. 다양한 응용 분야
   QVQ는 다음과 같은 분야에서 활용 가능성이 큽니다.
   • 문서 분석 및 요약
   • 데이터 시각화 및 설명
   • 산업 현장에서의 시각적 문제 해결

모델의 한계와 발전 가능성

• QVQ는 일부 테스트에서 여전히 오픈AI 'o1'(77.3점) 및 앤트로픽 '클로드 3.5 소네트'(70.4점)에 비해 성능이 낮은 점수를 기록했습니다.
• 연구팀은 특정 상황에서의 혼합 언어 문제와 환각 현상 가능성을 개선해야 한다고 밝혔습니다.

 

M2 64GB 랩톱에서 QVQ-72B-Preview-4bit 모델을 실행하여 이미지를 분석하는 방법을 설명함

uv run --with 'numpy<2.0' --with mlx-vlm python -m mlx_vlm.generate --model mlx-community/QVQ-72B-Preview-4bit --max-tokens 10000 --temp 0.0 --prompt "describe this" --image pelicans-on-bicycles-veo2.jpg 명령어를 사용함

 

결과:https://simonwillison.net/2024/Dec/24/qvq/#with-mlx-vlm

출처: https://news.hada.io/topic?id=18441

 

 

 

https://qwenlm.github.io/blog/qwen2.5-coder-family/

Qwen2.5-Coder Series: Powerful, Diverse, Practical.

 

https://qwenlm.github.io/blog/qvq-72b-preview/

QVQ: To See the World with Wisdom