文献

J-GLOBAL ID：201802223021604693   整理番号：18A0598247

二値符号予測と誤り訂正を用いたニューラル翻訳モデル

Neural Machine Ttanslation Models using Binarized Prediction and Error Correction

著者 (8件)： 小田悠介 (奈良先端科学技術大学院大) ,  小田悠介 (情報通信研究機構) ,  ARTHUR Philip (奈良先端科学技術大学院大) ,  NEUBIG Graham (奈良先端科学技術大学院大) ,  NEUBIG Graham (カーネギーメロン大) ,  吉野幸一郎 (奈良先端科学技術大学院大) ,  吉野幸一郎 (科学技術振興機構) ,  中村哲 (奈良先端科学技術大学院大)
資料名： 自然言語処理  (Journal of Natural Language Processing)
巻： 25  号： 2  ページ： 167-199  発行年： 2018年03月15日 
JST資料番号： L3934A  ISSN： 1340-7619  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本論文では,ニューラル翻訳モデルで問題となる出力層の時間・空間計算量を,二値符号を用いた予測法により大幅に削減する手法を提案する。提案手法では従来のソフトマックスのように各単語のスコアを直接求めるのではなく,各単語に対応付けられたビット列を予測することにより,間接的に出力単語の確率を求める。これにより,最も効率的な場合で従来法の対数程度まで出力層の計算量を削減可能である。このようなモデルはソフトマックスよりも推定が難しく,単体で適用した場合には翻訳精度の低下を招く。このため,本研究では提案手法の性能を補償するために,従来法との混合モデル,および二値符号に対する誤り訂正手法の適用という2点の改良も提案する。日英・英日翻訳タスクを用いた評価実験により,提案法が従来法と比較して同等程度のBLEUを達成可能であるとともに,出力層に要するメモリを数十分の1に削減し,CPUでの実行速度を5倍から10倍程度に向上可能であることを示す。(著者抄録)

シソーラス用語： *言語モデル ,  *機械翻訳 ,  ニューラルネットワーク ,  二値論理 ,  計算量 ,  *誤り訂正 ,  確率モデル ,  *予測技法 ,  評価試験 ,  単語 ,  誤り訂正符号 ,  予測モデル ,  損失関数 ,  確率分布 ,  数学モデル ,  モデル
準シソーラス用語： ニューラル翻訳 ,  翻訳モデル ,  二値符号予測 ,  ソフトマックスモデル

分類 (1件)： 自然語処理  (JE06000L)

引用文献 (41件)：

• Bahdanau, D., Cho, K., and Bengio, Y. (2014). “Neural Machine Translation by Jointly Learning to Align and Translate.” arXiv preprint arXiv:1409.0473.
• Brown, P. F., Desouza, P. V., Mercer, R. L., Pietra, V. J. D., and Lai, J. C. (1992). “Class-based N-gram Models of Natural Language.” Computational Linguistics, 18 (4), pp. 467-479.
• Chen, W., Grangier, D., and Auli, M. (2016a). “Strategies for Training Large Vocabulary Neural Language Models.” In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1975-1985, Berlin, Germany. Association for Computational Linguistics.
• Chen, Y., Mou, L., Xu, Y., Li, G., and Jin, Z. (2016b). “Compressing Neural Language Models by Sparse Word Representations.” In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 226-235, Berlin, Germany. Association for Computational Linguistics.
• Chitnis, R. and DeNero, J. (2015). “Variable-Length Word Encodings for Neural Translation Models.” In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2088-2093, Lisbon, Portugal. Association for Computational Linguistics.

タイトルに関連する用語 (4件)： 二値符号 ,  予測 ,  誤り訂正 ,  翻訳モデル