文法誤り訂正のための大規模シーケンスタガーのエンセンブリングと知識蒸留【JST・京大機械翻訳】

Tarnavskyi Maksym; Chernodub Artem; Omelianchuk Kostiantyn

プレプリント

J-GLOBAL ID：202202212269169593 整理番号：22P0309714

文法誤り訂正のための大規模シーケンスタガーのエンセンブリングと知識蒸留【JST・京大機械翻訳】

Ensembling and Knowledge Distilling of Large Sequence Taggers for Grammatical Error Correction

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月24日プレプリントサーバーでの情報更新日： 2022年03月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本論文では,大規模構成における最近の切断エッジ変換器ベース符号器のアンサンブルに焦点を当てて,GECシーケンス標識アーキテクチャの改善を検討した。このアプローチがモデルアーキテクチャと語彙サイズに対して耐性であるので,スパンレベル編集に関する大多数投票によるアンサンブルモデルを奨励する。最良のアンサンブルは,合成データセットの事前訓練なしでも,BEA-2019(テスト)で76.05のF_0.5スコアを有する新しいSOTA結果を達成した。さらに,新しい合成訓練データセット「Troy-Blog」と「Troy-1BW」を生成するために,訓練されたアンサンブルによる知識蒸留を行った。公開利用可能な合成PIEデータセットと組み合わせた,生成されたTroyデータセット上で事前訓練された最良の単一シーケンス標識モデルは,近SOTA(著者らの知識の最良)を達成し,著者らの最良の単一モデルは,BEA-2019(テスト)で73.21のF_0.5スコアで,はるかに重いT5モデルの結果だけを与える。コード,データセットおよび訓練されたモデルは,公的に利用可能である。【JST・京大機械翻訳】

, , , , , , , ,
, 【Automatic Indexing@JST】

人工知能 , パターン認識

, , ,

前のページに戻る