METRO:モデル生成信号による大規模自動符号化言語モデルの効率的な雑音除去予訓練【JST・京大機械翻訳】

Bajaj Payal; Xiong Chenyan; Ke Guolin; Liu Xiaodong; He Di; Tiwary Saurabh; Liu Tie-Yan; Bennett Paul; Song Xia; Gao Jianfeng

プレプリント

J-GLOBAL ID：202202204413751402 整理番号：22P0331932

METRO:モデル生成信号による大規模自動符号化言語モデルの効率的な雑音除去予訓練【JST・京大機械翻訳】

METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (10件)： , , , , , , , , ,
資料名：
発行年： 2022年04月13日プレプリントサーバーでの情報更新日： 2022年04月16日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

補助モデルによって生成された訓練信号を用いて,大規模自動符号化言語モデルを予訓練する効率的方法を示した。ELECTRAにおいて,この訓練戦略は,数百百万のパラメータのスケールで,プレトレインモデルに対するサンプル効率を実証した。本研究では,包括的な経験的研究を実施し,モデルの有効性を損なうことなく,事前訓練された言語モデルをスピードアップし,安定化し,強化するために最近開発された最良のモデリング技術のいくつかを組込んだ「モデル生成dE Neting TRaining Analysis」(METRO)を提案した。得られたモデル,METRO-LMは,最大5.4億のパラメータから成り,GLUE,SuperGLUE,およびSQuADベンチマークに関する最新の最新技術を達成した。より重要なことに,METRO-LMは,それらが,かなり小さいモデルサイズと低い予訓練コストで,以前の大規模モデルよりも,しばしば優れているので,効率的である。【JST・京大機械翻訳】

, , , , , ,
, , 【Automatic Indexing@JST】

パターン認識

, , , , ,

前のページに戻る