文献

J-GLOBAL ID：202102232989937246   整理番号：21A1145639

勾配間の角度を用いた確率的勾配降下の最適化【JST・京大機械翻訳】

Optimizing Stochastic Gradient Descent Using the Angle Between Gradients

著者 (3件)： Song Chongya (Florida International University,Dept of Elect and Comp Eng,Miami,Florida) ,  Pons Alexander (Florida International University,Dept of Elect and Comp Eng,Miami,Florida) ,  Yen Kang (Florida International University,Dept of Elect and Comp Eng,Miami,Florida)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： Big Data  ページ： 5269-5275  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 機械学習の分野では,確率的勾配降下は,出力コストを最小化するのに費やされる時間を短くする有効な方法であることが証明されている。各ミニバッチのデータパターンが完全データセットからいくらか変化するという事実により,既存の勾配に関連した特定のキャリブレーション項を計算することにより,既存の最適化アルゴリズムは,この分散を軽減することを試みた。過去の勾配は過去の確率的勾配降下状態から計算されるので,不正確な新しい勾配をもたらす偏差を導入する較正項に悪影響を与えることができる。この問題を解決するため,前処理技法をその使用前に以前の勾配に適用することにより,前述の偏差を低減する方法を提案した。この技法は,以前の勾配と電流勾配の間の角度を用いて,キャリブレーション項の精度を改善し,偏差の影響を低減する。経験的結果を,完全に接続したバニラニューラルネットワークで提案した方法を組み込むことから得た。提案手法は,10の以前に提案された最適化アルゴリズムに対してMNISTデータセットを用いて評価した。実験は,勾配導出を改善するために,提案した前処理技術を採用することからコスト結果を減らす利点を示した。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *最適化 ,  電流 ,  最適化手法 ,  前処理 ,  ニューラルネットワーク ,  バニラ ,  機械学習

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： 勾配 ,  確率 ,  降下 ,  最適化