자연어처리 (NLP) - RoBERTa

[개념]  기존의 BERT 모델에서 Next Sentence Prediction 제거하고 Dynamic Masking과 Whole Word Masking을 사용하도록 수정한 RoBERTa 모델

A Robustly Optimized BERT Pre-training Approach

 

• NSP(Next Sentence Prediction) 제거 

- BERT 모델의 학습에 NSP의 효용성에 의문을 제기하며 NSP Loss 제거 

- 하나 이상의 문서를 이용하여 최대 토큰 길이에 가깝게 구성하는 FULL-SENTENCES 

 

• Dynamic Masking 

- 기존 고정된 마스크 위치를 학습하는 BERT와 달리 마스크의 위치를 동적으로 결정 

 

• Whole Word Masking 

- Google AI에서 word piece 단위의 마스킹을 개선한 방법 제안 

- 한 단어가 여러 word piece로 구성 될 경우, 한 단어에 해당하는 word piece를 모두 마스킹하여 성능 향상

 

 

민진우, 나승훈, 신종훈, 김영길. (2019). RoBERTa를 이용한 한국어 자연어처리: 개체명 인식, 감성분석, 의존파싱. 한국정보과학회 학술발표논문집, (), 407-409.

ksc2019_roberta_nlp.pdf

0.54MB

최윤수, 이혜우, 김태형, 장두성, 이영훈, 나승훈. (2019). RoBERTa를 이용한 한국어 기계독해. 한국정보과학회 학술발표논문집, (), 353-355.