デルタチューニング:事前訓練言語モデルのためのパラメータ効率的な方法の包括的研究【JST・京大機械翻訳】

Ding Ning; Qin Yujia; Yang Guang; Wei Fuchao; Yang Zonghan; Su Yusheng; Hu Shengding; Chen Yulin; Chan Chi-Min; Chen Weize; Yi Jing; Zhao Weilin; Wang Xiaozhi; Liu Zhiyuan; Zheng Hai-Tao; Chen Jianfei; Liu Yang; Tang Jie; Li Juanzi; Sun Maosong

プレプリント

J-GLOBAL ID：202202213637199593 整理番号：22P0303554

デルタチューニング:事前訓練言語モデルのためのパラメータ効率的な方法の包括的研究【JST・京大機械翻訳】

Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (20件)： , , , , , , , , , , , , , , , , , , ,
資料名：
発行年： 2022年03月14日プレプリントサーバーでの情報更新日： 2022年03月14日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

成功にもかかわらず,微調整大規模PLMのプロセスは,禁止的適応コストをもたらした。事実,共損失モデルの全てのパラメータを微調整し,異なるタスクに対する別々のインスタンスを保持することは実際に実行不可能であった。これは,本論文におけるデルタチューニングとして,PLMのパラメータ効率的適応に焦点を当てた研究の新しい分岐を必要とする。標準の微調整とは対照的に,デルタチューニングは,残りの未touを保っても,モデルパラメータの小さい部分を微調整するだけで,計算および貯蔵コストの両方を大幅に削減する。最近の研究では,明確なパラメータ選択による一連のデルタチューニング法が,全パラメータ微調整で性能を達成することができ,大規模PLMを刺激する新しい有望な方法を示唆した。本論文では,まずデルタチューニングの問題を形式的に記述し,次に最近のデルタチューニング手法を包括的にレビューした。また,既存のデルタチューニング法を3グループに分割する統一カテゴリ化基準を提案した:追加ベース,仕様ベース,および再パラメタリゼーションベース法。大規模モデルに対する効率的方法として最初に提案されたが,デルタ同調と共に発見されたいくつかの魅力的な証拠が,PLMと深いニューラルネットワークの機構をさらに明らかにするのに役立つと信じる。この目的のために,デルタチューニングの有効性の根底にある理論的原理を議論し,最適化と最適制御の展望からデルタ調整を解釈するフレームワークを提案した。さらに,100以上のNLPタスクに関する結果が,異なるアプローチの包括的な性能比較を示す,代表的な方法の全体的経験的研究を提供した。実験結果はまた,デルタ調整のコンビナトリアル,スケーリングおよび移動可能な特性の解析をカバーした。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

システム・制御理論一般 , パターン認識

, , , , ,

前のページに戻る