カテゴリー再パラメタリゼーショントリックを用いたバックトランスレーションのためのエンドツーエンド訓練【JST機械翻訳】

Heo DongNyeong; Choi Heeyoul

プレプリント

J-GLOBAL ID：202202200046472393 整理番号：22P0291077

カテゴリー再パラメタリゼーショントリックを用いたバックトランスレーションのためのエンドツーエンド訓練【JST機械翻訳】

End-to-End Training for Back-Translation with Categorical Reparameterization Trick

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年02月17日プレプリントサーバーでの情報更新日： 2024年06月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

逆翻訳(BT)は,ニューラル機械翻訳(NMT)における効果的な半教師つき学習フレームワークである。事前訓練されたNMTモデルは,単言語文を翻訳し,他のNMTモデルの訓練のための合成バイリンガル文ペアを作成し,その逆も真である。2つのNMTモデルを推論および生成モデルとしてそれぞれ理解し,変分自動符号器(VAE)の訓練法を,生成モデルの主流フレームワークである以前の研究に適用した。しかしながら,翻訳文章の離散特性は,2つのNMTモデル間の流れからの勾配情報を防止する。本論文では,VAEの訓練フレームワークがエンドツーエンドのやり方で機能できるように,NMTモデルを微分可能文を生成するカテゴリー再パラメタリゼーショントリック(CRT)を提案した。WMTベンチマークデータセット上で実施されたBT実験により,カテゴリー変数に対するポピュラーな再パラメタリゼーション手法であるGumbel-softmaxトリックと比較して提案CRTの優越性を示した。さらに,複数のWMTベンチマークデータセット上で実施された実験により,ここで提案したエンドツーエンド訓練フレームワークは,エンドツーエンド方式で訓練されていないその対応物ベースラインと比較してだけでなく,その他の以前のBT研究との比較においてもBLEUスコアの意味で有効であることを示した。このコードはWebで利用可能である。【JST機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

自然語処理 , 人工知能

, , ,

前のページに戻る