文献

J-GLOBAL ID：202202282361580254   整理番号：22A0945050

時系列回帰タスクにおける深いモデル圧縮のための対照的敵対知識蒸留【JST・京大機械翻訳】

Contrastive adversarial knowledge distillation for deep model compression in time-series regression tasks

著者 (6件)： Xu Qing (Machine Intellection Department, Institute for Infocomm Research, A*STAR, Singapore) ,  Chen Zhenghua (Machine Intellection Department, Institute for Infocomm Research, A*STAR, Singapore) ,  Ragab Mohamed (School of Computer Science and Engineering, Nanyang Technological University, Singapore) ,  Wang Chao (School of Computer Science, University of Science and Technology of China, Hefei, China) ,  Wu Min (Machine Intellection Department, Institute for Infocomm Research, A*STAR, Singapore) ,  Li Xiaoli (Machine Intellection Department, Institute for Infocomm Research, A*STAR, Singapore)
資料名： Neurocomputing  (Neurocomputing)
巻： 485  ページ： 242-251  発行年： 2022年 
JST資料番号： W0360A  ISSN： 0925-2312  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 知識蒸留(KD)は,学生が教師のアウトプットを模倣することにより浅い学生モデルに深い教師モデルを圧縮することを試みた。しかし,従来のKD手法は以下の欠点を持つ。第1に,既存のKD手法は,教師と学生モデルの間のグローバル分布を整列させ,微細粒の特徴を見落としている。第2に,既存のアプローチの大部分は分類タスクに焦点を当て,教師と学生モデルのアーキテクチャを類似にする必要がある。これらの限界に取り組むために,学生と教師が異なったアーキテクチャを使用する時系列回帰タスクのためのCAKDと呼ばれる対比的敵対的知識蒸留を提案する。具体的には,まず,学生と教師ネットワークの間の特徴分布を自動的に調整するための敵対的適応を提案した。しかし,敵対的適応は,細粒特徴を考慮せずに大域的特徴分布のみを整列させることができる。この課題を緩和するために,学生と教師間のインスタンスワイズアラインメントのための新しいコントラスト損失を採用した。特に,同じサンプルから生じる教師と学生の特徴の間の類似性を最大化する。最後に,KD損失を用いて,教師と学生が2つの異なるアーキテクチャを持つ知識蒸留を行った。モデル性能を評価するために4つのサブデータセットから成るターボファンエンジンデータセットを使用した。結果は,提案したCAKD法が,2つの異なる計量に関して,最先端の方法よりも一貫して優れていることを示した。Copyright 2022 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： コントラスト ,  学習 ,  ネットワーク ,  分類 ,  *蒸留 ,  時系列 ,  *モデル ,  ターボファン ,  類似性 ,  計算機アーキテクチャ
準シソーラス用語： 学生モデル , 【Automatic Indexing@JST】

著者キーワード (4件)： 知識蒸留 ,  対照的学習 ,  敵対的学習 ,  時系列回帰

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (6件)： 時系列 ,  タスク ,  モデル ,  対照 ,  敵対 ,  知識蒸留