トレーニング軌跡のマッチングによるデータセット蒸留【JST・京大機械翻訳】

Cazenavette George; Wang Tongzhou; Torralba Antonio; Efros Alexei A.; Zhu Jun-Yan

プレプリント

J-GLOBAL ID：202202211966096409 整理番号：22P0308582

トレーニング軌跡のマッチングによるデータセット蒸留【JST・京大機械翻訳】

Dataset Distillation by Matching Training Trajectories

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月22日プレプリントサーバーでの情報更新日： 2022年03月22日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

データセット蒸留は,合成セットで訓練されたモデルが,完全なデータセットで訓練されたモデルの試験精度に適合するように,小さなデータセットを合成するタスクである。本論文では,多くの訓練ステップで実際のデータで訓練されたものと類似の状態へのネットワークを導くために,著者らの蒸留データを最適化する新しい定式化を提案した。ネットワークを考えて,著者らは,著者らの蒸留データに関するいくつかの反復のためにそれを訓練して,合成訓練されたパラメータと実際のデータに関して訓練されたパラメータの間の距離に関して,蒸留データを最適化した。大規模データセットに対する初期およびターゲットネットワークパラメータを効率的に得るために,実際のデータセット上で訓練されたエキスパートネットワークの訓練軌跡を事前計算および保存する。提案手法は既存の手法よりも手作業的に優れており,高解像度視覚データを蒸留できる。【JST・京大機械翻訳】

, , , , , , ,
, , 【Automatic Indexing@JST】

人工知能 , ニューロコンピュータ

, , , ,

前のページに戻る