LLM - SLM - HuggingFace 파이-3(phi-3)

마이크로소프트의 SLM(Small Language Model) 파이-3(phi-3) 시리즈에 파이-3.5(phi-3.5) 모델이 추가되었습니다. 지난 4월에 파이-3 시리즈, 6월에 미니 인스트럭트(mini-instruct) 모델이 출시된 이후 두 달 만의 업데이트인데요. 이번에는 '미니 인스트럭트'와 MoE(Mixture of Experts) 기법이 사용된 'MoE 인스트럭트', 그리고 이미지 인식 기능이 추가된 '비전 인스트럭트(vision-instruct)'의 세 가지 모델이 추가되었습니다. 

마이크로소프트는 파이 시리즈를 개발하면서 모델 크기 대비 성능을 항상 강조해 왔는데요. 미니 인스트럭트 모델은 3.8B의 크기로도 7B~12B 모델과 비슷한 성능을 보였습니다. MoE 모델은 전체 크기가 42B지만 한번에 활성화되는 파라미터는 6.6B 정도로, GPT-4o 미니를 제외한 다른 SLM보다 벤치마크 테스트에서 높은 점수를 기록했다고 하네요.

 

 

https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

Phi-3 - a microsoft Collection