文献

J-GLOBAL ID：202002232294478998   整理番号：20A0249036

自己蒸留によるDNNの蒸留の効率化

Efficient Learning for Distillation of DNN by Self Distillation

著者 (2件)： 高木純平 ((株) セック) ,  服部元信 (山梨大学 大学院総合研究部)
資料名： 電気学会論文誌 C  (IEEJ Transactions on Electronics, Information and Systems)
巻： 139  号： 12  ページ： 1509-1516(J-STAGE)  発行年： 2019年 
JST資料番号： S0810A  ISSN： 0385-4221  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 知識抽出は,訓練された教師ニューラルネットワークから得られた知識を用いて,優れた学生を作成する方法である。最近の研究により,教師として訓練された学生を蒸留することにより,非常に優れた学生が得られることが示されている。しかし,複数世代を通して知識を抽出することは,学習のために長い時間を要する。本論文では,知識抽出のための世代数と学習時間の両方を削減できる自己蒸留(SD)法を提案した。SDにおいて,最も正確なネットワークは,世代内学習の間に得られて,それは世代内蒸留の教師として使用される。画像分類タスクに対する実験は,提案したSDが従来の方法よりも少ない世代と少ない学習時間で高い精度を獲得することを実証した。(翻訳著者抄録)

シソーラス用語： *ニューラルネットワーク ,  *情報抽出 ,  *効率 ,  蒸留 ,  教師つき学習 ,  分類 ,  時間 ,  精度
準シソーラス用語： *深層ニューラルネットワーク ,  *知識抽出 ,  *抽出効率 ,  画像分類 ,  学習時間

著者キーワード (6件)： - ,  - ,  - ,  - ,  - ,  -

分類 (2件)： 人工知能  (JE08000Z) ,  パターン認識  (JE07000S)

引用文献 (18件)：

• (1) K. Simonyan and A. Zisserman: “Very deep convolutional networks for large-scale image recognition”, In ICLR (2015)
• (2) K. He, X. Zhang, S. Ren, and J. Sun: “Deep residual learning for image recognition”, In CVPR (2016)
• (3) G. Hinton, O. Vinyals, and J. Dean: “Distilling the knowledge in a neural network”, In NIPS 2014 Deep Learning Workshop (2014)
• (4) R. Anil, G. Pereyra, A. Passos, R. Ormandi, G. E. Dahl, and G. E. Hinton: “Large scale distributed neural network training through online distillation”, In ICLR (2018)
• (5) A. Romero, N. Ballas, S. E. Kahou, A. Chassang, C. Gatta, and Y. Bengio: “Fitnets: Hints for thin deep nets”, In ICLR (2015)

タイトルに関連する用語 (3件)： 自己 ,  蒸留 ,  効率化