文献

J-GLOBAL ID：202202264270486665   整理番号：22A1104916

連続学習のためのモジュール関連性【JST・京大機械翻訳】

Modular-Relatedness for Continual Learning

著者 (3件)： Shaker Ammar (NEC Laboratories Europe GmbH, Heidelberg, Germany) ,  Alesiani Francesco (NEC Laboratories Europe GmbH, Heidelberg, Germany) ,  Yu Shujian (UiT The Arctic University of Norway, Tromso, Norway)
資料名： Lecture Notes in Computer Science  (Lecture Notes in Computer Science)
巻： 13205  ページ： 290-301  発行年： 2022年 
JST資料番号： H0078D  ISSN： 0302-9743  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： 深層ニューラルネットワーク(NN)アーキテクチャは,多くの場合,多くのアプリケーション領域で超人間性能を達成する。最近のモデルは,最大10億のパラメータ(例えば,自然言語処理のためのGPT2とGPT3)で作られ,大規模な訓練資源を必要とする。これらのモデルは,互いにマイナスに影響を及ぼさずにタスクのシーケンスで訓練できる。連続的学習(CL)法は,以前に学習されたタスクに関する性能を保持しながら,新しいタスクでNNモデルを漸増的に更新する問題に取り組む。本論文では,それらの保持精度を改善し,壊滅的忘却を減らすことにより,逐次タスク学習者にとって有益な連続学習(CL)手法を提案した。提案アプローチの主な目標は,ニューラルネットワーク(NN)のモジュール部品の自動抽出であり,次に,これらのモジュール成分を与えるタスク間の関連性を推定することである。この技法は,反復記憶を必要とする,リハサールベース(例えば,勾配Episodicメモリ)アプローチのCLファミリーに適用可能である。経験的結果は,特にメモリ予算が非常に制限されるとき,著者らの技術に基づくGEMのような方法のための顕著な性能利得(忘却に対するロバスト性に関して)を示した。Copyright The Author(s), under exclusive license to Springer Nature Switzerland AG 2022 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 記憶装置 ,  *学習 ,  ニューラルネットワーク ,  精度 ,  自然言語処理 ,  ヒューマンパフォーマンス ,  応用プログラム ,  モデル ,  利得 ,  パラメータ ,  計算機アーキテクチャ ,  ロバスト性
準シソーラス用語： 自動抽出 ,  学習者 ,  ディープニューラルネットワーク , 【Automatic Indexing@JST】

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (3件)： 学習 ,  モジュール ,  関連性