목록deep daiv. project_paper (1)

OK ROCK

[NLP] BART : Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

Abstract BART : Bidirectional Auto-Regressive Transformer seq2seq모델의 사전학습 태스크에 쓰이는 노이즈 제거 오토인코더 (denoising autoencoder) noise가 첨가된 텍스트로 , 원래의 텍스트를 복원하는 것을 학습한다. BERT와 GPT를 하나로 합친 형태로, 기존 Seq2seq 트랜스포머 모델을 새로운 pre-training objective을 통해 학습하여 하나로 합친 모델 Introduction Self-supervised learning(자기지도학습)은 NLP에서 주목할만한 성과를 보여주고 있음 MAE(Masked Auto-Encoder)는 문장 내에서 존재하는 단어를 마스킹하여 가려진 텍스트를 다시 재복원(reconstructi..
대외활동/Deep daiv. project 2024. 3. 10. 20:15
이전 Prev 1 Next 다음