728x90
반응형
방대한 텍스트 데이터를 (사전) 훈련받은 대규모 언어 모델이 다양한 NLU 과제에서 최고의 성능을 낼 수 있음을 최초로 증명했습니다. ELMo는 양방향 LSTM 아키텍처를 이용해 주어진 단어 시퀀스(sequence)[7] 다음에 오는 단어(순방향) 또는 앞에 오는 단어(역방향)를 예측합니다. 그 결과, ELMo는 6가지 주요 NLU 벤치마크에서 모두 최고의 성능을 갱신하는 데 성공합니다.
728x90
'07.AI' 카테고리의 다른 글
| 자연어처리 (NLP) - RoBERTa (1) | 2023.05.15 |
|---|---|
| 자연어처리 (NLP) - NPML (0) | 2023.05.15 |
| 자연어처리 (NLP) - XLNet (0) | 2023.05.15 |
| 자연어처리 (NLP) - GloVe (0) | 2023.05.15 |
| 머신러닝 - 파이프라인 (0) | 2023.05.10 |
