인공지능 공부/NLP 연구

(NLP 연구) The Long-Document Transformer 03.18

앨런튜링_ 2022. 3. 29. 18:29
  • Full attention
    • 테스트 데이터 25000개의 정답률：0.8719
  • 다시 Window attention 실험 (epoch 20)
    • 실험 (window)
      • window_size 4 : 테스트 데이터 25000개의 정답률：0.8461
      • window_size 8 : 테스트 데이터 25000개의 정답률：0.8544 (영어문장 단어의평균수)
      • window_size 16 : 테스트 데이터 25000개의 정답률：0.8454(영어문장 단어의평균수)
      • window_size 32 : 테스트 데이터 25000개의 정답률：0.8299
    • 실험 (window16 + global)
      • window16 + global 16 : 테스트 데이터 25000개의 정답률：0.8643

epoch 100번 기준 (20정도 적당)

저작자표시 (새창열림)