シャッフル型勾配法のための統一収束解析【JST・京大機械翻訳】

Nguyen Lam M.; Tran-Dinh Quoc; Phan Dzung T.; Nguyen Phuong Ha; van Dijk Marten

プレプリント

J-GLOBAL ID：202202210130692590 整理番号：21P0024798

シャッフル型勾配法のための統一収束解析【JST・京大機械翻訳】

A Unified Convergence Analysis for Shuffling-Type Gradient Methods

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年02月19日プレプリントサーバーでの情報更新日： 2021年09月19日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本論文では,有限和最適化問題を解くための一般的なシャフリング型勾配法のクラスに対する統一収束解析を提案した。著者らの解析は,置換戦略なしで任意のサンプリングで研究され,ランダム化再シャッフリング,決定論的またはランダム化単一置換,およびサイクリックおよびインクリメンタル勾配スキームのような多くの既知の変異体をカバーする。2つの異なる設定:強い凸と非凸問題に焦点を当てたが,非強凸ケースも議論した。著者らの主な貢献は,非凸と凸の両方の設定における広範囲のシャッフリング型勾配法に対する新しい非漸近と漸近収束速度から成る。また,異なる学習率とモデル仮定を有する均一ランダム化シャフリング変異体を研究した。非凸事例における著者らの速度は,標準仮定の下で既存の研究より新しくて,著しく改善されたが,強い凸面上の速度は,有界勾配条件を課さずに,一定因子まで,本論文の前に,既存の最良既知の速度に整合した。最後に,2つの数値例(非凸ロジスティック回帰とニューラルネットワーク訓練例)によって,著者らの理論的結果を経験的に例証した。副産物として,著者らの結果は,特定のシャッフリング変異体における学習速度を低減するためのいくつかの適切な選択を示唆した。【JST・京大機械翻訳】

, , , , ,
, , , , , , , 【Automatic Indexing@JST】

システム・制御理論一般 , 通信網 , システム設計・解析

前のページに戻る