SW 개발 방법론 - LLMOps (Large Language Model Operations)

(개념) LLM의 배포, 관리, 모니터링을 위한 운영 기법과 도구들

(최적화 분야) 모델 학습, 튜닝, 버전 관리, 성능 모니터링, 응답 속도 관리, 데이터 보안 및 비용 등 다양한 요소를 최적화

 

LLMOps 구성요소, https://spotintelligence.com/2024/01/08/llmops/

 

 

https://sreent.medium.com/llmops-operationalizing-large-language-models-llms-e87e10cfcea7

 

LLMOps 워크플로우, https://markovate.com/blog/llmops/

 

그림1. 물어보새 아키텍처, AI 데이터 분석가 ‘물어보새’ , https://techblog.woowahan.com/18144/

 

 

https://docs.databricks.com/aws/en/machine-learning/mlops/llmops

 

 

 

https://www.youtube.com/watch?v=wtUbUIQIsAA

 

 

https://www.youtube.com/watch?v=bq-XHAB62eM

 

 

 

https://www.databricks.com/kr/glossary/llmops

https://techblog.woowahan.com/18144/