Luong Attention 논문 정리
Effective Approaches to Attention-based Neural Machine Translation Author : Minh-Thang Luong (lmthang@stanford.edu) 1. Introduction NMT task 가 어필이 되는 이유 : 1. 도메인 지식이 minimal 필요 2. 컨셉적으로 simple 함. 2015년 Luong의 모델은 모든 소스 워드들을 를 만날 때까지 인코딩하고, 한 번에 하나씩 타겟 단어들을 출력하는 모델임. (Figure 1 ) NMT 는 작은 메모리를 가지고 있기 때문에, 매우 큰 문장 테이블이나 랭귀지 모델은 저장할 수 없음. 최근 인기있는 'Attention'은 모델들이 다른 modality 들 사이에 alignments를 허용하고 ..
Study
2019. 10. 18. 01:37