자연어처리 (NLP) - GPT-4

인간 수준의 AI 개발 노력의 이정표 ‘GPT-4’

 

(개념) 오픈AI는 챗GPT(GPT-3.5) 출시 불과 4개월 만에 후속 버전인 GPT-4를 공개

출처: 소프트웨어정책연구소, ‘GPT-4 개요 및 특징’, 2023

 

(특징) GPT-4는 인식과 추론 능력이 향상되었으며 이미지도 인식할 수 있는 멀티모달 AI로 그림을 입력하고 그림 내용을 바탕으로 대화와 해석 가능 

 

https://discuss.pytorch.kr/t/2023-11-13-11-19-ml-top-ml-papers-of-the-week/2883?utm_source=geeknews

소개

이번 주에는 LLM(Large Language Models), 즉 대형 언어 모델들을 개선하고 확장하는 연구들이 주를 이루었습니다. 특히 LLM의 가성비 좋은 작동, 과학적 발견을 위한 활용, 그리고 실용적인 코드 생성을 위한 언어 모델들에 대한 논문들이 포함되어 있네요. 뿐만 아니라 해당 모델들의 사실성을 높이기 위한 연구도 이루어지고 있는 추세로 보입니다.

언어 모델, 특히 LLM들은 자연어 처리(NLP) 분야에서 각광받고 있습니다. 이는 모델들이 더욱더 인간처럼 복잡하고 다양한 언어적 작업을 처리할 수 있게 되었기 때문일 것입니다. 이러한 모델들은 체계적인 사고를 모방하거나(Contrastive CoT Prompting), 코드 개발에 있어서의 자동화 향상(A Survey on Language Models for Code) 등 다양한 영역에서 응용될 수 있습니다. 또한 LLM을 더욱 진화시키기 위한 방법들, 예를 들어 정확한 맥락 필터링을 통한 정보 검색 강화(Learning to Filter Context for RAG)나 사용자를 속이지 않는 방향의 연구(LLMs can Deceive Users) 역시 중요한 연구 동향입니다.

이처럼 LLM의 발전은 텍스트 기반의 AI 시스템들이 더욱 향상된 판단력, 문맥 이해력 및 문제 해결 능력을 갖추도록 돕고 있습니다. 또한 이는 AI가 인간의 작업을 보조하거나, 때로는 대체할 수 있는 가능성을 열어주고 있습니다. 앞서 언급된 JARVIS-1 같은 모델들은 여러 산업 분야에서의 응용 연구를 크게 뒷받침하고, LLM을 이용한 신축적이고 효율적인 문제 해결 방식을 모색하는 연구들이 점점 활발해짐을 시사합니다.

(적용분야)

 

(한계점)

전문가들은 여전히 윤리문제, 사회적 편견, 환각(Hallucination), 악의적인 프롬프트에 대해 한계점을 보유하고 있는 것으로 평가

 

- 기존 챗GPT 대비 입력값의 다양화(음성, 이미지 등) 및 성능 향상이 있으나, 미흡한 추론 및 부정확한(최신 정보 결여) 답변 생성

- GPT-4는 2021년 9월까지의 데이터를 학습했기 때문에 그 이후 사실관계 변화는 알지 못한다고 밝히며 추론의 오류를 범하거나 사용자의 명백한 거짓 진술을 쉽게 받아들이는 것도 한계

 

오픈AI는 챗GPT플러스 고객에게 GPT-4를 우선 공개했는데 폭발적인 인기로 서버 과열 등 문제가 발생하면서 현재 GPT-4에 질문을 3시간 당 25개로 제한

 

 

-> 2023.11.7

오픈AI(OpenAI)가 현지시간 6일, 개발자를 위한 첫 컨퍼런스인 '데브 데이(Dev Day)'를 열고 최신 정보로 무장한 챗봇 ‘GPT-4 터보(GPT-4 Turbo)’를 공개하고 개발자가 챗GPT(ChatGPT)의 사용자 정의 버전을 만들 수 있는 기능을 포함하여 새로운 인공지능 툴과 일련의 업데이트를 공개했다.

특히, 이날 새로 공개한 'GPT-4 터보(미리보기)'는 2021년 이후에 일어난 일에 대해서는 답할 수 없었던 이전 버전과 달리, 지난 4월까지 일어난 최신 정보가 반영돼있으며, 최대 128,000개의 토큰지원으로 단일 프롬프트에 300페이지 이상의 텍스트에 해당하는 내용을 넣을 수 있다. 이는 이전 버전 8,000천 토큰보다 훨씬 더 긴 대화와 복잡한 작업을 수행할 수 있다.

'GPT-4 터보'는 텍스트 생성 모델에서 JSON 모드 및 재현 가능한 출력이 가능해졌다. 특정 형식 생성(예 "항상 XML로 응답")과 같이 지침을 주의 깊게 따라야 하는 작업에서 이전 모델보다 더 나은 성능을 발휘한다. 또한 모델이 유효한 JSON으로 응답하도록 보장하는 새로운 JSON(JavaScript Object Notation) 모드도 지원하며, 비전과 텍스트-투-스피치와 같은 새로운 모달리티가 포함되어 이미지를 이해하고 자연스러운 소리를 내는 오디오를 생성할 수 있다.

새로운 API 매개변수를 '응답-형식(response_format)'으로 사용하면 모델이 구문적으로 올바른 JSON 개체를 생성하도록 출력을 제한할 수 있다. JSON 모드는 함수 호출 외부에서 Chat Completions API에서 JSON을 생성하는 개발자에게 유용하다.

 

 

(동향)

 

 

 

 

 

https://zdnet.co.kr/view/?no=20230315063606 

오픈AI 초거대 멀티모달 ‘GPT-4' 공개..."오류·편향성 줄였다"

 

https://zdnet.co.kr/view/?no=20230314155418 

[방은주의 AI 이야기] 마침내 발표된 GPT4···어떤 '물건'인가

https://zdnet.co.kr/view/?no=20230411113218 

[영상] GPT-4 출시, 인류 문화 바꿀 기술되나

https://www.aitimes.kr/news/articleView.html?idxno=29310

오픈 AI, 챗GPT의 진화!...최신 정보로 무장한 'GPT-4 터보' 출시 - 인공지능신문