深層ニューラルネットワークのLipschitz定数推定のための弦スパース性【JST・京大機械翻訳】

Xue Anton; Lindemann Lars; Robey Alexander; Hassani Hamed; Pappas George J.; Alur Rajeev

プレプリント

J-GLOBAL ID：202202210329995193 整理番号：22P0324343

深層ニューラルネットワークのLipschitz定数推定のための弦スパース性【JST・京大機械翻訳】

Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年04月02日プレプリントサーバーでの情報更新日： 2024年01月08日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ニューラルネットワークのLipschitz定数は,画像分類におけるロバスト性,制御装置設計における安全性,および訓練データを超える一般化可能性を保証する。Lipschitz定数の計算はNP困難であるので,Lipschitz定数を推定する技術はスケーラビリティと精度の間のトレードオフをナビゲートしなければならない。本研究では,ゼロ精度損失を達成しながら,LipSDPとして知られる半定値計画法のスケーラビリティフロンティアを大幅にプッシュした。最初に,LipSDPが弦スパース性を持ち,これにより,Choordal-LipSDPと呼ぶ弦的に疎な定式化を導くことを示した。重要な利益は,LipSDPの主要な計算ボトルネック,大きな半定値制約,が現在,より小さなものを等価収集に分解することであり,特にネットワーク深さが成長するにつれて,LipSDPをLipSDPに凌駕することを可能にした。さらに,この定式化は,大きな計算コストを発生せずに,よりタイトな推定を取得できる調整可能なスパース性パラメータを用いる。このアプローチのスケーラビリティを広範な数値実験を通して説明した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

ニューロコンピュータ

, , , ,

前のページに戻る