連続学習のための共訓練によるルーティングネットワーク【JST・京大機械翻訳】

Collier Mark; Kokiopoulou Efi; Gesmundo Andrea; Berent Jesse

プレプリント

J-GLOBAL ID：202202212682712963 整理番号：22P0189364

連続学習のための共訓練によるルーティングネットワーク【JST・京大機械翻訳】

Routing Networks with Co-training for Continual Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年09月09日プレプリントサーバーでの情報更新日： 2020年09月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

継続的な学習によるコアチャレンジは,神経ネットワークが以前に学習されたタスクを急速に忘れるタスクのシーケンス上で訓練される現象である,破滅的忘却である。タスクが互いに異なるとき,破滅的忘却が最も厳しいことが観察された。継続的な学習のためのスパースルーティングネットワークの使用を提案した。各入力に対して,これらのネットワークアーキテクチャは,専門家のネットワークを通して異なる経路を活性化する。ルーティングネットワークが,専門家の重複集合と専門家の共同集合に対する異種タスクに類似のタスクを学習するのを学習することが示されている。継続的な学習状況において,この行動は,関連タスク間の正の転送を可能にしながら,異種タスク間の干渉を最小化するので望ましい。実際に,著者らは,新しいタスクが提示されるとき,あまり初期化されていないエキスパートを避ける共訓練と呼ぶ,ルーティングネットワークのための新しい訓練方法を開発する必要があることを見出した。小さなエピソードメモリ再生バッファと組み合わせたとき,共訓練によるスパースルーティングネットワークは,MNIST-PerutationsとMNIST-Rotationsベンチマーク上で,高密度に接続したネットワークを凌駕する。【JST・京大機械翻訳】

, , , , , , ,
, , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る