正則化非凸および非平滑二レベル最適化のための高速で収束する近接アルゴリズム【JST・京大機械翻訳】

Chen Ziyi; Kailkhura Bhavya; Zhou Yi

プレプリント

J-GLOBAL ID：202202210061178588 整理番号：22P0322836

正則化非凸および非平滑二レベル最適化のための高速で収束する近接アルゴリズム【JST・京大機械翻訳】

A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and Nonsmooth Bi-level Optimization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月30日プレプリントサーバーでの情報更新日： 2022年06月03日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

多くの重要な機械学習アプリケーションは正則化非凸バイレベル最適化を含む。しかしながら,既存の勾配ベースのバイレベル最適化アルゴリズムは,非凸型または非平滑型正則化器を扱うことができず,それらは非凸型バイレベル最適化において高い計算複雑度に悩まされる。本研究では,非凸型と非平滑型正則化器を持つ非凸型双レベル最適化のための近似陰的微分(AID)方式を採用した近位勾配型アルゴリズムを研究した。特に,このアルゴリズムは,AIDに含まれる陰的勾配の計算を加速するために,Nesterovの運動量を適用する。固有ポテンシャル関数を同定することにより,このアルゴリズムの大域的収束特性の包括的な解析を提供した。特に,バイレベル問題の臨界点に対するモデルパラメータの収束を形式的に確立し,最先端の結果に対して改善された計算複雑度O(κ ̄3.5ε ̄-2)を得た。さらに,{L}ojasiwicz型勾配不等式によって特徴付けられる局所非凸幾何学のクラスの下で,このアルゴリズムの漸近収束速度を解析した。ハイパーパラメータ最適化に関する実験は,著者らのアルゴリズムの有効性を実証した。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

図形・画像処理一般 , 数値計算

, , , ,

前のページに戻る