文献

J-GLOBAL ID：201702215055335565   整理番号：17A1773612

知識蒸留からの贈り物:高速最適化,ネットワーク最小化と転移学習【Powered by NICT】

A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning

著者 (4件)： Yim Junho ,  Joo Donggyu ,  Bae Jihoon ,  Kim Junmo
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： CVPR  ページ： 7130-7138  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 知識移転のための新しい技術を導入し,pretrained深層ニューラルネットワーク(DNN)からの知識は,蒸留と他のDNNに伝達される。DNNを連続的に多くの層を通した出力空間へ入力空間からのマッピングを行うとして,層の間の流れ,二層からの特徴の間の内積を計算することにより計算されるの観点から移動する蒸留知識を定義した。学生DNNが教師網なし訓練として同じサイズの学生DNNと元のネットワークを比較すると,二層の間の流れとして蒸留知見の移行の提案した方法は,三つの重要な現象を呈する(1)蒸留知識を学習する学生DNNは元のモデルよりも遥かに高速で最適化され,(2)学生DNNは元のDNN性能的に優れており,(3)学生DNNは異なるタスクで訓練される教師DNNから蒸留知識を学習することができると,学生DNNはスクラッチから訓練される元のDNNより性能が優れている。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 深層 ,  *高速度 ,  *最適化 ,  *ネットワーク ,  ニューラルネットワーク ,  内積 ,  *蒸留
準シソーラス用語： 二層 ,  知識移転 ,  *転移学習 , 【Automatic Indexing@JST】

分類 (4件)： 経営工学一般  (KA01010C) ,  研究開発  (KA01040J) ,  計算機網  (JC03000K) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： 知識蒸留 ,  贈り物 ,  最適化 ,  最小化 ,  転移学習