文献

J-GLOBAL ID：201602216591983504   整理番号：16A0267510

「ニューラルネットワーク研究のフロンティア」ニューラルネットワークによる構造学習の発展

著者 (1件)： 渡辺太郎 (グーグル)
資料名： 人工知能  (人工知能学会誌)
巻： 31  号： 2  ページ： 202-209  発行年： 2016年03月01日 
JST資料番号： X0330A  ISSN： 2188-2266  資料種別： 逐次刊行物 (A)
記事区分： 解説  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 自然言語処理における入力文は非常に疎で,かつ可変長のシンボル系列のために経験的に様々な素性関数が導入されてきた。本論文では,素性関数自体をデータから自動的に学習できるニューラルネットワークに基づく深層学習を解説し,その自然言語処理応用について述べた。まず,1)回帰型ニューラルネットワーク,2)再帰型ニューラルネットワーク,3)スタック型ニューラルネットワークといったモデルの構文解析及び機械翻訳への応用を説明した。特に,3)は1)を拡張して任意の過去の隠れ層からの遷移を可能にし,既存の遷移に基づく構文解析アルゴリズムを変更することなく,ニューラルネットワークが適用できる。一方,エンコーダ・デコーダモデルではニューラルネットワークの隠れ層をそのまま用いてモデルから直接出力を生成できるが,デコードが進むに連れてその影響が小さくなるので,エンコードされたすべての隠れ層を重みを付けて足す注意モデルが導入された。また,その機械翻訳モデルでは大規模な語彙に対応するために頻度の高い語彙集合以外の単語をシンボルに置換し,すべての語彙を学習できるようにした。さらに,デコード時には注意モデルの単語アライメントの信頼度を利用して信頼度の高い原言語の単語と共起する頻度の高い目的言語の単語に制限し,従来以上の高い性能を達成した。

シソーラス用語： *ニューラルネットワーク ,  *機械学習 ,  *自然言語処理 ,  構文分析 ,  機械翻訳 ,  移動 ,  符号器 ,  復号器 ,  重みづけ ,  *語彙 ,  単語 ,  アラインメント ,  信頼度 ,  数学的関係
準シソーラス用語： 共起関係 ,  構造学習 ,  構文解析 ,  高頻度 ,  状態遷移 ,  *畳込みニューラルネットワーク ,  *深層学習

分類 (4件)： ニューロコンピュータ  (JC06010Q) ,  人工知能  (JE08000Z) ,  自然語処理  (JE06000L) ,  情報加工一般  (AC05010A)

引用文献 (56件)：

• [Andreas 15] Andreas, J. and Klein, D.: When and why are log-linear models self-normalizing?, NAACL-HLT2015, pp. 244-249, Denver, Colorado (2015)
• [Auli 13] Auli, M., Galley, M., Quirk, C. and Zweig, G.: Joint language and translation modeling with recurrent neural networks, EMNLP 2013, pp. 1044-1054, Seattle, Washington, USA (2013)
• [Auli 14] Auli, M. and Gao, J.: Decoder Integration and Expected BLEU training for recurrent neural network language models, ACL 2014, pp. 136-142, Baltimore, Maryland (2014)
• [Bandanau 15] Bandanau, D., Cho, K. and Bengio,Y.: Neural machine translation by jointly learning to align and translate, ICLR 2015 (2015)
• [Ballesteros 15] Ballesteros, M., Dyer, C. and Smith, N. A.: Improved transition-based parsing by modeling characters instead of words with LSTMs, EMNLP 2015, pp. 349-359, Lisbon, Portugal (2015)

タイトルに関連する用語 (4件)： ニューラルネットワーク ,  研究 ,  構造学習 ,  発展