文献

J-GLOBAL ID：202002279697012615   整理番号：20A0573982

ニューラルシーケンス生成のための同期双方向推論【JST・京大機械翻訳】

Synchronous bidirectional inference for neural sequence generation

著者 (9件)： Zhang Jiajun (National Laboratory of Pattern Recognition, CASIA, Beijing, China) ,  Zhang Jiajun (University of Chinese Academy of Sciences, Beijing, China) ,  Zhou Long (National Laboratory of Pattern Recognition, CASIA, Beijing, China) ,  Zhou Long (University of Chinese Academy of Sciences, Beijing, China) ,  Zhao Yang (National Laboratory of Pattern Recognition, CASIA, Beijing, China) ,  Zhao Yang (University of Chinese Academy of Sciences, Beijing, China) ,  Zong Chengqing (National Laboratory of Pattern Recognition, CASIA, Beijing, China) ,  Zong Chengqing (University of Chinese Academy of Sciences, Beijing, China) ,  Zong Chengqing (CAS Center for Excellence in Brain Science and Intelligence Technology, Beijing, China)
資料名： Artificial Intelligence  (Artificial Intelligence)
巻： 281  ページ： Null  発行年： 2020年 
JST資料番号： E0180C  ISSN： 0004-3702  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： シーケンス生成タスク(例えば機械翻訳と抽象化要約)において,推論は一般的に左から右の方法で実行されて,トークンによってトークンされる結果を生み出す。LSTMや自己注意ネットワークのようなニューラルアプローチは,推論中の左側から予測されたすべての履歴仮説を完全に利用できるが,将来の(右側)情報にアクセスできず,通常,不平衡出力(例えば,中国語-英語翻訳における正しい部分よりもはるかに正確である)を生成する。本研究において,著者らは,同時に,左右の両方の復号化を同時に使用することを用いて出力を生成するための同期双方向推論モデルを提案した。最初に,同期双方向復号化を容易にする新しいビーム探索アルゴリズムを導入した。次に,左から左右への復号化を可能にするコアアプローチを提案し,推論中に同時に履歴と将来の予測の両方を利用するために,互いに相互作用するようにした。提案したモデルをLSTMと自己注意ネットワークの両方に適用した。さらに,簡単な2パス戦略に加えて,新しい微調整ベースのパラメータ最適化アルゴリズムを提案した。機械翻訳と抽象的要約に関する広範囲の実験は,著者らの同期双方向推論モデルが強いベースラインに関して著しい改良を達成することができることを実証した。Copyright 2020 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 学習 ,  *復号化 ,  ネットワーク ,  相互作用 ,  トークン ,  中国語 ,  英語 ,  基準線 ,  機械翻訳
準シソーラス用語： 最適アルゴリズム ,  探索アルゴリズム , 【Automatic Indexing@JST】

著者キーワード (5件)： シーケンス学習へのシーケンス ,  双方向推論 ,  ビーム探索 ,  機械翻訳 ,  要約

分類 (2件)： 人工知能  (JE08000Z) ,  システム・制御理論一般  (IA02010H)

タイトルに関連する用語 (2件)： 双方向 ,  推論