顕微鏡下のスケーリング則:小規模実験からの変圧器性能の予測【JST・京大機械翻訳】

Ivgi Maor; Carmon Yair; Berant Jonathan

プレプリント

J-GLOBAL ID：202202214236717792 整理番号：22P0288999

顕微鏡下のスケーリング則:小規模実験からの変圧器性能の予測【JST・京大機械翻訳】

Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年02月13日プレプリントサーバーでの情報更新日： 2022年10月18日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ニューラルスケーリング則は,べき乗則の形式で訓練後のモデルパラメータ数とその性能の間の予測可能な関係を定義する。しかし,今日までのほとんどの研究は,スケーリング則がモデル開発を加速するために使用できるかどうかを明確に調査しなかった。本研究では,数10Kのパラメータを持つモデルから出発して,広い範囲の言語理解タスクを横断して,そのような経験的調査を行い,9言語理解タスクを横断して下流性能を評価する。スケーリング則は,いくつかのNLPタスクにおいて微調整時間において現れ,また,それらが大規模モデルを訓練するとき,収束をデバッギングするために利用できることを見出した。さらに,スケーリング則が存在するタスクに対して,それらは,効果的なモデル選択を可能にする大きなモデルの性能を予測するために使用できる。しかし,スケーリング則を明らかにすることは,不確実性推定の目的で,注意深いハイパーパラメータチューニングと多重実行を必要とし,付加的オーバヘッドを発生し,計算上の利点を部分的に相殺する。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

パターン認識 , 自然語処理

, , , ,

前のページに戻る