LinSyn:任意のニューラルネットワーク活性化関数のためのタイトな線形限界の合成【JST・京大機械翻訳】

Paulsen Brandon; Wang Chao

プレプリント

J-GLOBAL ID：202202201116256037 整理番号：22P0282511

LinSyn:任意のニューラルネットワーク活性化関数のためのタイトな線形限界の合成【JST・京大機械翻訳】

LinSyn: Synthesizing Tight Linear Bounds for Arbitrary Neural Network Activation Functions

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年01月31日プレプリントサーバーでの情報更新日： 2022年01月31日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ニューラルネットワークロバスト性を証明できる最もスケーラブルな手法は,ネットワークの活性化関数に対する音線形の下限と上限を計算することに依存する。現在の手法は,線形限界が専門家によって手作業されなければならず,特に,ネットワークアーキテクチャが,例えばLSTMのような乗算と最近普及しているスイス活性化を用いて,操作を構成するとき,準最適である。専門家への依存は,活性化機能の最先端における開発に対するロバスト性認証の適用を妨げ,さらに,厳しさ保証の欠如は,特定のモデルに関する不安全の誤った意味を与えるかもしれない。著者らの知る限り,任意のn次元活性化関数に対する厳密な線形限界を自動的に計算する問題を考察した。任意の活性化関数に対してタイトな限界を達成する最初のアプローチであるLinSynを提案し,一方,活性化関数自体の数学的定義をレバレッジする。提案アプローチは,タイトで通常音である限界を合成する効率的な発見的手法を利用し,次に,高度に最適化された分枝限定SMTソルバ,dRealを用いて,健全性(必要ならば限界を調整)を検証した。著者らのアプローチがSMTソルバに依存するとしても,実行時間は実際には合理的であり,最先端技術と比較して,著者らのアプローチはしばしば2~5Xのタイトな最終出力限界と4倍以上の認証ロバスト性を達成することを示した。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能 , システム設計・解析

, , ,

前のページに戻る