増分学習のための適応ランダム経路選択アプローチ【JST・京大機械翻訳】

Rajasegaran Jathushan; Hayat Munawar; Khan Salman; Khan Fahad Shahbaz; Shao Ling; Yang Ming-Hsuan

プレプリント

J-GLOBAL ID：202202217953314251 整理番号：22P0064594

増分学習のための適応ランダム経路選択アプローチ【JST・京大機械翻訳】

An Adaptive Random Path Selection Approach for Incremental Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2019年06月03日プレプリントサーバーでの情報更新日： 2020年01月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

従来の教師つき学習設定において,機械学習モデルは,推論段階で認識される望ましいすべてのオブジェクトクラスの例へのアクセスを持つ。これは,新しい学習タスクに適応する柔軟性を欠く固定モデルをもたらす。実際的設定において,学習タスクはしばしばシーケンスに到着し,モデルは以前に獲得された知識を増すために絶えず学習しなければならない。既存のインクリメンタル学習手法は,一度にすべての訓練クラスを使用する最先端の累積モデルより十分に低下する。本論文では,適応RPS-Netと呼ばれるランダム経路選択アルゴリズムを提案し,タスク間のパラメータ共有を奨励しながら,新しいタスクに対して最適経路を次第に選択する。既に使用されている資源が飽和するならば,自動的に経路を自動的に切り替えることができる新しいネットワーク容量測度を導入した。提案した経路再利用戦略は前方知識転送を確実にするので,提案アプローチは効率的であり,計算オーバヘッドがかなり少ない。追加された新規性として,提案モデルは,壊滅的忘却を克服するための経路選択戦略とともに,知識蒸留とレトロスペクティブを統合した。従来と新たに得られた知識の間の平衡を維持するために,モデル塑性を動的にバランスさせる簡単な制御装置を提案した。広範な実験を通して,適応RPS-Net法が,増分学習のための最先端の性能を凌駕し,並列計算を利用することによって,この方式は,従来の深層畳込みニューラルネットワークとほとんど同じ効率で,一定時間で実行できることを示した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

人工知能 , パターン認識

, , ,

前のページに戻る