文献

J-GLOBAL ID：202202262245948714   整理番号：22A1175368

データフリーモデル圧縮のための二重弁別器敵対蒸留【JST・京大機械翻訳】

Dual discriminator adversarial distillation for data-free model compression

著者 (7件)： Zhao Haoran (College of Information Science and Engineering, Ocean University of China, Qingdao, People’s Republic of China) ,  Sun Xin (College of Information Science and Engineering, Ocean University of China, Qingdao, People’s Republic of China) ,  Sun Xin (Department of Aerospace and Geodesy, Technical University of Munich, Munich, Germany) ,  Dong Junyu (College of Information Science and Engineering, Ocean University of China, Qingdao, People’s Republic of China) ,  Manic Milos (College of Engineering, Virginia Commonwealth University, Richmond, USA) ,  Zhou Huiyu (School of Informatics, University of Leicester, Leicester, UK) ,  Yu Hui (School of Creative Technologies, University of Portsmouth, Portsmouth, UK)
資料名： International Journal of Machine Learning and Cybernetics  (International Journal of Machine Learning and Cybernetics)
巻： 13  号： 5  ページ： 1213-1230  発行年： 2022年 
JST資料番号： W4478A  ISSN： 1868-8071  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： 知識蒸留は,コンピュータビジョンタスクのためのエッジデバイスにうまく適用可能な携帯可能かつ効率的なニューラルネットワークを生成するために広く使用されている。しかし,ほとんど全てのトップパーフォーマンス知識蒸留法は,通常,巨大なサイズを持ち,しばしば利用できない,元の訓練データにアクセスする必要がある。この問題に取り組むために,本論文では,任意の訓練データまたはメタデータを必要とせずにニューラルネットワークを蒸留するために,二重識別器敵対蒸留(DDAD)と名付けた新しいデータフリーアプローチを提案した。特異的であるために,著者らは,元の訓練データを模倣する,二重識別器敵対蒸留を通してサンプルを作成するために,発電機を使用した。発電機は,既存のバッチ正規化層における事前訓練教師の固有統計を使用するだけでなく,学生モデルからの最大の不一致も得る。次に,生成したサンプルを用いて,教師の監視の下でコンパクトな学生ネットワークを訓練した。提案方法は,元の訓練データを使用することなく,その教師ネットワークを密接に近似する効率的な学生ネットワークを得る。分類タスクに対するCIFAR,Caltech101およびImageNetデータセットに対する提案アプローチの有効性を実証するために,広範な実験を行った。さらに,この方法を,CamVid,NYUv2,都市景観およびVOC2012のようないくつかの公開データセット上で意味セグメンテーションタスクに拡張した。知る限りでは,これは,ImageNet,都市景観およびVOC2012のような大規模データセットに関する生成モデルベースデータフリー知識蒸留に関する最初の研究である。実験は,著者らの方法がデータフリー知識蒸留のためにすべてのベースラインより優れていることを示した。Copyright The Author(s), under exclusive licence to Springer-Verlag GmbH Germany, part of Springer Nature 2021 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *弁別器 ,  データ ,  ネットワーク ,  分類 ,  *蒸留 ,  ニューラルネットワーク ,  都市景観 ,  コンピュータビジョン ,  正規化 ,  メタデータ
準シソーラス用語： 訓練データ ,  画像分類 ,  生成モデル ,  大規模データセット ,  ディープニューラルネットワーク , 【Automatic Indexing@JST】

著者キーワード (5件)： 深層ニューラルネットワーク ,  画像分類 ,  モデル圧縮 ,  知識蒸留 ,  データフリー

分類 (1件)： 蒸留,蒸発  (XD02010F)

タイトルに関連する用語 (4件)： モデル ,  弁別器 ,  敵対 ,  蒸留