자연어처리 (NLP) - BERT

자연 언어 처리(NLP)를 위한 종래의 방법을 넘은 성능을 발휘한다. BERT는 자연언어 처리 태스크를 교사 없이 양방향으로 사전학습하는 첫 시스템이다.

 

지난해 11월, 구글이 공개한 인공지능(AI) 언어모델 ‘BERT(이하 버트, Bidirectional Encoder Representations from Transformers)’는 일부 성능 평가에서 인간보다 더 높은 정확도를 보이며 2018년 말 현재, 자연 언어 처리(NLP) AI의 최첨단 딥러닝 모델이다. 

또한 BERT는 언어표현 사전학습의 새로운 방법으로 그 의미는 '큰 텍스트 코퍼스(Wikipedia와 같은)'를 이용하여 범용목적의 '언어 이해'(language understanding)' 모델을 훈련시키는 것과 그 모델에 관심 있는 실제의 자연 언어 처리 태스크(질문·응답 등)에 적용하는 것이다.

BERT는 양방향이며 OpenAI GPT는 단방향이며 ELMo는 양방향이다(논문 캡처)

 

http://www.aitimes.kr/news/articleView.html?idxno=13117

인공지능(AI) 언어모델 ‘BERT(버트)'는 무엇인가 - 인공지능신문