文献

J-GLOBAL ID：202002225198371220   整理番号：20A1750977

知識の定量化による知識蒸留の説明【JST・京大機械翻訳】

Explaining Knowledge Distillation by Quantifying the Knowledge

著者 (4件)： Cheng Xu (Shanghai Jiao Tong University) ,  Rao Zhefan (Huazhong University of Science & Technology) ,  Chen Yilan (Xi’an Jiaotong University) ,  Zhang Quanshi (Shanghai Jiao Tong University)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： CVPR  ページ： 12922-12932  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 本論文では,深層ニューラルネットワーク(DNN)の中間層に符号化されるタスク関連およびタスク関連視覚概念を定量化し,解析することにより,知識蒸留の成功を解釈する方法を示した。より具体的には,次の3つの仮説を提案した。1.知識蒸留は,DNNが生データから学習より視覚概念を学習する。2.知識蒸留は,DNNが同時に様々な視覚概念を学習する傾向があることを確実にする。一方,生データからの学習シナリオでは,DNNは視覚的概念を順次学習する。3.知識蒸留は,生データからの学習よりも,より安定した最適化方向を与える。従って,DNNの特徴表現を評価するために3種類の数学的計量を設計した。実験では,様々なDNNを診断し,上記の仮説を検証した。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 最適化 ,  視覚 ,  *学習 ,  蒸留
準シソーラス用語： 中間層 ,  特徴表現 ,  生データ ,  ディープニューラルネットワーク , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： 知識 ,  定量化 ,  知識蒸留 ,  説明