ELE:新興データのための効率的な生涯予トレーニング【JST・京大機械翻訳】

Qin Yujia; Zhang Jiajie; Lin Yankai; Liu Zhiyuan; Li Peng; Sun Maosong; Zhou Jie

プレプリント

J-GLOBAL ID：202202216820765637 整理番号：22P0302961

ELE:新興データのための効率的な生涯予トレーニング【JST・京大機械翻訳】

ELLE: Efficient Lifelong Pre-training for Emerging Data

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月11日プレプリントサーバーでの情報更新日： 2022年07月11日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

現行の事前訓練言語モデル(PLM)は,典型的には静的データで訓練され,実世界シナリオでは,様々な情報源のストリーミングデータが連続的に成長する可能性がある。これは,PLMが生涯ですべての情報源から情報を統合する必要がある。この目標は,既存のすべてのデータで徹底的予訓練によって達成できるが,そのようなプロセスは計算的に高価であることが知られている。この目的のために,新しいデータのための効率的な寿命予訓練を狙って,ELLEを提案した。特に,ELLEは,(1)機能保存モデル拡張から成り,これは,知識獲得の効率を改善するために,既存のPLMの幅と深さを柔軟に拡張する。および(2)事前訓練ドメインは,事前訓練中に学習された多用途知識を解き,下流タスクに対する適切な知識を刺激する。BERTとGPT上の5つのドメインからのストリーミングデータによるELLEを実験した。結果は,事前訓練効率と下流性能の両方において,様々な寿命学習基準に対するELLEの優位性を示した。コードはhttps://github.com/thunlp/ELLEで公開されている。【JST・京大機械翻訳】

, , , , , ,
, 【Automatic Indexing@JST】

人工知能

前のページに戻る