ディープエンコーダ,浅い復号器:非自己回帰機械翻訳の再評価【JST・京大機械翻訳】

Kasai Jungo; Pappas Nikolaos; Peng Hao; Cross James; Smith Noah A.

プレプリント

J-GLOBAL ID：202202220391337440 整理番号：21P0036136

ディープエンコーダ,浅い復号器:非自己回帰機械翻訳の再評価【JST・京大機械翻訳】

Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年06月18日プレプリントサーバーでの情報更新日： 2021年06月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

多くの最近の努力は,非自己回帰神経機械翻訳に投資され,最新のGPU上の最先端の自己回帰機械翻訳に対する効率的な代替であるように見える。生成が逐次的である後者とは対照的に,前者はターゲットトークン位置にわたって並列化することを可能にする。最新の非自己回帰モデルのいくつかは,自己回帰ベースラインと比較して,印象的な翻訳品質-速度トレードオフを達成した。本研究では,このトレードオフを再検討し,自己回帰基準線が,精度の損失なしに実質的にスペープできると主張した。特に,様々な深さの符号器と復号器を有する自己回帰モデルを研究した。この広範な実験は,十分に深い符号器を与えられた場合,単層自己回帰復号器が,同等の推論速度を有する強い非自己回帰モデルを実質的に凌駕できることを示した。非自己回帰法に比べて自己回帰ベースラインに対する速度不利は,3つの観点で過大評価された:最適以下の層割当,不十分な速度測定,および知識蒸留の欠如。著者らの結果は,高速,正確な機械翻訳に向けた将来の研究のための新しいプロトコルを確立した。このコードはhttps://github.com/jungokasai/deep shallowで利用可能である。【JST・京大機械翻訳】

, , , , , , ,
, 【Automatic Indexing@JST】

信号理論 , 生体計測 , システム同定

, , ,

前のページに戻る