文献

J-GLOBAL ID：202002211767079671   整理番号：20A2241042

機械翻訳におけるRNNの簡略化とその性能評価

Simplification of RNN and Its Performance Evaluation in Machine Translation

著者 (4件)： FUJITA Tomohiro (Kobe Univ., Hyogo, JPN) ,  LUO Zhiwei (Kobe Univ., Hyogo, JPN) ,  QUAN Changqin (Kobe Univ., Hyogo, JPN) ,  MORI Kohei (Kobe Univ., Hyogo, JPN)
資料名： システム制御情報学会論文誌  (Transactions of the Institute of Systems, Control and Information Engineers)
巻： 33  号： 10  ページ： 267-274  発行年： 2020年10月 
JST資料番号： L0070A  ISSN： 1342-5668  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 英語 (EN)

抄録/ポイント： 本論文では,筆者等はRNNの簡略化について研究し,学習パラメータの数を減らしながらパフォーマンスを向上させるために,より高速な学習を可能にする新しい構造を提案した。新しいゲート構造を持つ4種類のRNNを構築し,これらの新しいRNNを「SGR(シンプルゲートRNN)」と呼ぶ。SGRは2つまたは1つのゲートを有し,入力用の重みを持つもの又は重みを持たないものからなる。筆者らの提案の有効性を検証するため,比較研究を行った。LSTMおよびGRUと比較し,比較的小さなコーパスで行った機械翻訳の結果,提案のSGHはLSTM及びGRUよりも高いスコアを実現できた。さらに,SGRはGRUの約1.7倍の高速学習を実現できた。ただし,学習レイヤーと入力の重みの増加に伴い,SGRの学習スコアは予想したほど増加していないようであり,これについては,今後の作業で検討する必要がある。より大きなデータセットでのパフォーマンスと,多層化によるパフォーマンスの違い,入力の重み,およびゲートの数をより詳細に分析する必要がある。(翻訳著者抄録)

シソーラス用語： *機械翻訳 ,  ニューラルネットワーク ,  *簡素化 ,  改良 ,  性能評価 ,  *高速化 ,  パラメータ ,  研究 ,  集合 ,  多層構造 ,  評価 ,  データセット ,  *改変
準シソーラス用語： LSTM ,  *簡略化 ,  性能向上 ,  多層化構造 ,  比較研究 ,  有効性評価

分類 (2件)： 自然語処理  (JE06000L) ,  情報サービス  (AC08000K)

引用文献 (17件)：

• [1] Y. Tsuboi: shizengengoshoriniokerudeipuraninguno hatten (Development of deep learning in natural language processing); April issue of Operations Research,Vol. 60,No. 4,pp. 205-211 (2015)
• [2] F. J. Pineda: Generalization of back-propagation to recurrent neural networks; Physical Review Letters, Vol. 59, pp. 2229-2232 (1987)
• [3] S. Hochreiter and J. Schmidhuber: Long short-term memory; Neural Computation, Vol. 9, No. 8, pp. 1735-1780 (1997)
• [4] F. A. Gers, J. Schmidhuber and F. Cumminsm: Learning to forget; Continual prediction with LSTM;Neural Computation, Vol. 12, No. 10, pp. 2451-2471 (2000)
• [5] K. Cho, B. V. Merrienboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk and Y. Bengio: Learning phrase representations using rnn encoder-decoder for statistical machine translation; Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734 (2014)

タイトルに関連する用語 (4件)： 機械翻訳 ,  RNN ,  簡略化 ,  性能評価