文献

J-GLOBAL ID：202002221940590546   整理番号：20A1749838

AdderNet:深層学習における乗算は本当に必要か?【JST・京大機械翻訳】

AdderNet: Do We Really Need Multiplications in Deep Learning?

著者 (7件)： Chen Hanting (Key Lab of Machine Perception (MOE), Dept. of Machine Intelligence, Peking University; Noah’s Ark Lab, Huawei Technologies) ,  Wang Yunhe (Noah’s Ark Lab, Huawei Technologies) ,  Xu Chunjing (Noah’s Ark Lab, Huawei Technologies) ,  Shi Boxin (NELVT, Dept. of CS, Peking University; Peng Cheng Laboratory) ,  Xu Chao (Key Lab of Machine Perception (MOE), Dept. of Machine Intelligence, Peking University) ,  Tian Qi (Noah’s Ark Lab, Huawei Technologies) ,  Xu Chang (School of Computer Science, Faculty of Engineering, The University of Sydney)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： CVPR  ページ： 1465-1474  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 安価な追加操作と比較して,乗算操作は,はるかに高い計算複雑性であった。深層ニューラルネットワークにおける広く使用された畳込みは,入力特性と畳込みフィルタの間の類似性を測定するために正確に相互相関であり,それはフロート値の間の大規模な乗算を含む。本論文では,計算コストを削減するために,より安価な追加のために,深いニューラルネットワーク,特に畳み込みニューラルネットワーク(CNN)において,これらの大規模乗算を取引するための加算器ネットワーク(AdderNets)を提示した。AdderNetsでは,出力応答としてフィルタと入力特徴間のL1ノルム距離を取る。ニューラルネットワークの最適化に及ぼすこの新しい類似性測度の影響を徹底的に解析した。より良い性能を達成するために,著者らは,完全精度勾配を調査することによって,AdderNetsのための特別なバックプロパゲーション方式を開発した。次に,各ニューロンの勾配の大きさに従って,AdderNetの訓練手順を強化するための適応学習速度戦略を提案した。結果として,提案したAdderNetsは,畳み込み層での乗算なしにImageNetデータセット上でResNet-50を用いて74.9%Top-1精度91.7%Top-5精度を達成できる。コードは,(https://github.com/huaweinoah/AdderNet)で公開されている。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 最適化 ,  測度 ,  畳込み ,  ネットワーク ,  ニューロン ,  ニューラルネットワーク ,  *乗算 ,  計算量 ,  逆伝搬法
準シソーラス用語： 適応学習 ,  計算コスト ,  L1ノルム ,  *深層学習 ,  ディープニューラルネットワーク ,  畳込みニューラルネットワーク , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (2件)： 深層学習 ,  乗算