抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
注意機構における最近の進歩は,機械翻訳タスクのための再帰ニューラルネットワークとその変異体を置換している。注意機構を用いた変圧器は,シーケンスモデリングにおいて最先端の結果のみを達成した。注意機構に基づくニューラルマシン翻訳は並列化可能であり,リカレントニューラルネットワークよりも効果的に文章中の単語間の長距離依存性を扱う問題を扱う。注意における重要概念の一つは,3つのマトリックス,質問,鍵,および価値を学ぶことであり,そこでは,単語間のグローバル依存性を,これらのマトリックスを通して単語埋込みを線形投影することによって学習する。多重クエリ,鍵,値行列を,変換器におけるマルチヘッドと呼ばれる組込み次元の異なる部分空間に焦点を合わせて同時に学習できる。単語間の特定の依存性が,単語語依存性を直接モデリングするよりも,中間文脈を通してより良く学習できると主張した。これは,マルチヘッド自己注意を用いて大域的にモデル化するのを困難にする,ある依存性の性質またはパターンの欠如により起こる。本研究では,畳み込みを用いたマルチヘッドの文脈を通して,依存を学習する新しい方法を提案した。伝統的形式に沿ったこの新形式のマルチヘッド注意は,WMT2014英語-Germanと英語-French翻訳タスクにおける変換器より良い結果を達成した。また,WMT 2014英語-Germanと44.6 BLEUで,WMT2014英語-Germanと44.6BLEUで,既存の最良よりも,WMT2014英語-Germanと44.6 BLEUで,既存の最良よりも,さらに,WMT2014英語-Germanと44.6BLEUで,既存の最良よりも,より良い結果を得る,符号器の訓練中のPOSタグ付けとNER情報を学習するフレームワークを導入する。この変換器++と呼ぶ。【JST・京大機械翻訳】
