活性化関数:最適活性化機能への潜水【JST・京大機械翻訳】

Bansal Vipul

プレプリント

J-GLOBAL ID：202202200548267076 整理番号：22P0294677

活性化関数:最適活性化機能への潜水【JST・京大機械翻訳】

Activation Functions: Dive into an optimal activation function

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (1件)：
資料名：
発行年： 2022年02月24日プレプリントサーバーでの情報更新日： 2022年02月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

活性化機能はニューラルネットワークの必須成分の1つとして来ている。適切な活性化関数の選択はこれらの方法の精度に影響を与える。本研究では,既存の活性化関数の加重和として定義し,次に,ネットワークを訓練しながら,これらの重みをさらに最適化することにより,最適活性化関数を見つけるための実験を行った。本研究では,3つの活性化関数,ReLU,tanh,およびsinを,3つの一般的な画像データセット,MNIST,FashionMNIST,およびKMNISTSTを用いて使用した。ReLU活性化機能は,他の活性化機能を容易に見落とすことを観察した。また,初期層はReLUまたはLeakyReLU型の活性化機能を有するが,より深い層はより収束する活性化機能を好む傾向がある。【JST・京大機械翻訳】

, , , , ,
, , 【Automatic Indexing@JST】

ニューロコンピュータ , 遺伝子発現

, ,

前のページに戻る