생성형 AI - LLaMa - Ollama

• Llama 2, Mistral 등의 LLM을 로컬에서 실행하기 쉽게 만들어주는 오픈소스
  • 맥/리눅스를 지원하며, 윈도우즈는 곧 WSL2에서 실행가능
  • 이제 윈도우 환경에서도 LLM을 가져와서 실행하고 생성할 수 있음
    OpenAPI 호환되는 Ollama API와 하드웨어 가속도 되며, 전체 모델 라이브러리 접근 가능
    NVIDIA GPU와 AVX/AVX2 등의 최신 CPU 명령셋을 이용
    
    Llama를 사용하면 필요에 따라 언어 모델을 쉽게 사용자 정의하고 생성할 수 있습니다. 개발자이든 연구원이든, Llama를 사용하면 클라우드 기반 플랫폼에 의존하지 않고 AI의 힘을 활용할 수 있습니다. MacOS, Windows 및 Linux에서 다운로드할 수 있으며, Llama는 언어 모델을 실행하기 위한 효율적이고 편리한 솔루션을 제공합니다. 자신의 AI 모델에 대한 더 큰 제어와 개인 정보 보호를 선호하는 사람들에게 이상적입니다. 
    
    

    

    모델 가중치, 구성 및 데이터를 Modelfile로 정의된 단일 패키지

• Ollama의 Python 및 JavaScript 초기 버전 라이브러리가 출시되어, 몇 줄의 코드로 새로운 앱과 기존 앱을 Ollama와 통합 가능
  • Ollama REST API의 기능과 느낌을 그대로 이용 가능

시작하기

• Python에서는 pip install ollama를 통해 설치하고, import ollama 후 ollama.chat 함수를 사용하여 대화를 시작할 수 있음.
• JavaScript에서는 npm install ollama를 통해 설치하고, import ollama from 'ollama' 후 ollama.chat 함수를 사용하여 대화를 시작할 수 있음.

사용 사례

• 두 라이브러리 모두 Ollama의 전체 기능 세트를 지원함.
• Python 예제로는 스트리밍, 멀티모달, 텍스트 완성, 사용자 정의 모델 생성, 사용자 정의 클라이언트 설정 등이 있음.

새로운 GitHub 핸들

• 이 라이브러리와 Ollama의 주요 저장소는 이제 새로운 GitHub 조직인 ollama에서 관리됨.
• Dart, Swift, C#, Java, PHP, Rust 등 다양한 프로그래밍 언어로 Ollama와 상호 작용하는 라이브러리를 유지 관리하는 커뮤니티 멤버들에게 감사의 말을 전함.

https://github.com/ollama/ollama

GitHub - ollama/ollama: Get up and running with Llama 2, Mistral, and other large language models locally.

https://ollama.ai/blog/python-javascript-libraries

Python & JavaScript Libraries · Ollama Blog

https://medium.aiplanet.com/implementing-rag-using-langchain-ollama-and-chainlit-on-windows-using-wsl-92d14472f15d

Implementing RAG using Langchain Ollama and Chainlit on Windows using WSL

https://ollama.com/blog/windows-preview

Windows preview · Ollama Blog