Upstage AI Lab 2기 [Day102] NLP - Encoder - Decoder Model(BART) (이론)

Upstage AI Lab 2기
2024년 5월 9일 (목) Day_102

 

오늘의 todo

[ o ] 이론강의 수강
    -  [ o ] NLP Advanced
          -  [ o ] Next Encoder Model
          -  [ o ] BERT 이후의 모델 이해하기
          -  [ o ] 대회 안내
               -  [ o ] 대회 소개
               -  [ o ] 베이스라인 코드 소개
[ ] 수강한 이론강의 내용 정리하기
    -  [ ] Encoder - Decoder Model
    -  [ ] Next Encoder Model
[ ] Transformer 논문 정리

CH5. Encoder - Decoder Model(BART)

Encoder : source 문장의 정보 압축. e.g. BERT(MLM, bidirectional)

Decoder : target 문장 생성. e.g. GPT(CLM, unidirectional)

 

Encoder-Decoder : source sequence → target sequence (Sequence-to-Sequence에 특화) e.g. BART

 

BART(Bidirectional and Auto-Regressive Transformers)

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

https://arxiv.org/pdf/1910.13461

 

Transformer 구조 + Noise(added to input)

 

Input에 대하셔 5개 유형의 Noise를 추가

1. Token Masking

2. Token Deletion

3. Text Infilling

4. Sentence Permutation

5. Document Rotation

 

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension (Lewis et al., ACL 2020)

 

Tasks

1. Sequence Classification

2. Token Classification

3. Sequence Generation

4. Machine Translation (note. Randomly Initialized Encoder)

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension (Lewis et al., ACL 2020)

 

→ Sequence Generation, Text Infilling 이 가장 효과적