2層ReLUネットワークのための高速凸最適化:等価モデルクラスと円錐分解【JST・京大機械翻訳】

Mishkin Aaron; Sahiner Arda; Pilanci Mert

プレプリント

J-GLOBAL ID：202202207789244861 整理番号：22P0283943

2層ReLUネットワークのための高速凸最適化:等価モデルクラスと円錐分解【JST・京大機械翻訳】

Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年02月02日プレプリントサーバーでの情報更新日： 2022年08月31日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ReLU活性化関数を持つ二層ニューラルネットワークの凸最適化のための高速アルゴリズムとロバストソフトウェアを開発した。本研究は,局所性が多面体円錐制約によって強制されるグループ-l_1正則化データ-局所モデルのセットとして,標準重量減衰ペナルティ訓練問題の凸再定式化を利用した。ゼロ正則化の特殊事例では,この問題が凸型「ゲートReLU」ネットワークの制約なし最適化と厳密に等価であることを示した。非ゼロ正則化の問題に対して,凸ゲートReLUモデルはReLU訓練問題に対するデータ依存近似限界を獲得することを示した。凸再定式化を最適化するために,加速した近位勾配法と実用的拡張Lagrangeソルバを開発した。これらの手法はSGDのような非凸問題に対する標準訓練発見的手法よりも速く,商用内部点ソルバより優れていることを示した。実験的に,著者らは,著者らの理論的結果を検証し,グループ-l_1正則化経路とニューラルネットワークのスケール凸最適化を,MNISTとCIFAR-10の画像分類に対して,検証した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

ニューロコンピュータ , その他のオペレーションズリサーチの手法 , 数値計算

, , , , ,

前のページに戻る