勾配降下を超えた勾配補正【JST・京大機械翻訳】

Li Zefan; Ni Bingbing; Li Teng; Zhang WenJun; Gao Wen

プレプリント

J-GLOBAL ID：202202215268643851 整理番号：22P0304995

勾配降下を超えた勾配補正【JST・京大機械翻訳】

Gradient Correction beyond Gradient Descent

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月15日プレプリントサーバーでの情報更新日： 2023年05月25日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

大きい成功ニューラルネットワークは,勾配-日光(GD)アルゴリズムの適用から分離できない。GDに基づいて,多くのバリアントアルゴリズムがGD最適化プロセスを改善するために出現した。バックプロパゲーションのための勾配は,ニューラルネットワークの訓練のための最も重要な側面である。計算した勾配の品質は,多重側面,例えば,ノイズの多いデータ,計算誤差,アルゴリズム限界などによって影響することができた。勾配降下を超える勾配情報を明らかにするために,勾配補正を実行するためにフレームワーク(GCGD)を導入した。GCGDは2つのプラグインモジュールから成る。1)勾配予測のアイデアにより,重み勾配補正のためのGC-Wモジュールを提案した。2)ニューラルODEに基づいて,隠れ状態勾配補正のためのGC-ODEモジュールを提案した。実験結果は,著者らの勾配補正フレームワークが効果的に勾配品質を向上させて,訓練期間を20%まで減らして,また,ネットワーク性能を向上することを示した。【JST・京大機械翻訳】

, , , , , , , ,
, , , 【Automatic Indexing@JST】

パターン認識 , 人工知能

前のページに戻る