モデルスープ:多重微調整モデルの平均化重みは推定時間増加なしで精度を改善する【JST・京大機械翻訳】

Wortsman Mitchell; Ilharco Gabriel; Gadre Samir Yitzhak; Roelofs Rebecca; Gontijo-Lopes Raphael; Morcos Ari S.; Namkoong Hongseok; Farhadi Ali; Carmon Yair; Kornblith Simon; Schmidt Ludwig

プレプリント

J-GLOBAL ID：202202212109298290 整理番号：22P0302132

モデルスープ:多重微調整モデルの平均化重みは推定時間増加なしで精度を改善する【JST・京大機械翻訳】

Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (11件)： , , , , , , , , , ,
資料名：
発行年： 2022年03月10日プレプリントサーバーでの情報更新日： 2022年07月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

モデル精度を最大化するための従来のレシピは,(1)様々なハイパーパラメータを持つ多重モデル列を訓練し,(2)保持検証セットで最良に機能する個々のモデルを選択し,残りを捨てることである。本論文では,微細調整モデルがしばしば単一低誤差流域にあるように見える微細同調大規模事前訓練モデルの文脈において,この手順の第二段階を再考した。異なるハイパーパラメータ構成で微調整した多重モデルの重みの平均化は,しばしば精度とロバスト性を改善することを示した。従来のアンサンブルとは異なり,追加の推論やメモリコストを繰り返すことなく多くのモデルを平均し,結果を「モデルスープ」と呼ぶ。CLIP,ALIGN,およびJFTで事前訓練されたViT-Gのような大きな事前訓練モデルを微調整するとき,著者らのスープレシピは,ImageNet上のハイパーパラメータスイープにおける最良モデルに対して,顕著な改善を提供する。得られたViT-Gモデルは,ImageNet上で90.94%のトップ-1精度を達成し,最先端技術を達成した。さらに,モデルスープアプローチが多重画像分類と自然言語処理タスクに拡張し,分散性能を改善し,新しい下流タスクにおけるゼロショット性能を改善することを示した。最後に,予測の喪失と信頼性の平坦性に対する重み平均化とロジットアンサンブルの性能類似性を解析的に関連づけ,この関係を経験的に検証した。コードはhttps://github.com/mlfoundations/model soupsで利用可能である。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

図形・画像処理一般

, , , , ,

前のページに戻る