- attention is all you need
- 구현 및 attention 시각화
- 논문 읽고 수식의 이해
- Attention ⇒ Global , Band, Random 구현
- Band Attention → BLEU Score , Exact match
- Global → BLEU Score , Exact match
- Random → BLEU Score , Exact match
- Band + Global + Random → BLEU Score , Exact match
- Encoder layer 마다 Attention 다르게 비교 → 성능차이
- Cost 계산식 코딩 (Big bird 참고)
- BLEU Score , Exact match 성능비교
- 실험 설계
- Translation
- Dataset : Multi30k
- Full Attention
- BLEU, Exact match
- Classification
- Dataset : IMDb
- Full Attention
- BLEU, Exact match
- Translation
'인공지능 공부 > NLP 연구' 카테고리의 다른 글
| (NLP 연구) The Long-Document Transformer 03.10 (0) | 2022.03.24 |
|---|---|
| (NLP 연구) The Long-Document Transformer 03.08 (0) | 2022.03.24 |
| (NLP 연구) The Long-Document Transformer 03.03 (0) | 2022.03.24 |
| (NLP 연구) The Long-Document Transformer 03.02 (0) | 2022.03.24 |
| (NLP 연구) The Long-Document Transformer 03.01 (0) | 2022.03.24 |