クロスエントロピー損失の使用と乱用:現代の深層学習における事例研究【JST・京大機械翻訳】

Gordon-Rodriguez Elliott; Loaiza-Ganem Gabriel; Pleiss Geoff; Cunningham John P.

プレプリント

J-GLOBAL ID：202202206059392982 整理番号：22P0208512

クロスエントロピー損失の使用と乱用:現代の深層学習における事例研究【JST・京大機械翻訳】

Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年11月10日プレプリントサーバーでの情報更新日： 2020年11月10日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

現代の深層学習は主に実験科学であり,そこでは経験的進歩が確率的厳密さを犠牲にして来る。ここでは,そのような例に焦点を当てた。すなわち,カテゴリー交差エントロピー損失の使用は,厳密には分類されないデータをモデル化するが,むしろシンプレックスに値を取る。この実践は,ラベル平滑化とアクター模倣強化学習を有するニューラルネットワークアーキテクチャにおいて,他者の間で標準である。最近発見された連続カテゴリ分布に基づいて,これらのモデルに対する確率的にヒントを得た代替を提案し,より原理的で理論的に魅力的なアプローチを提供した。アブレーション研究を含む注意深い実験を通して,これらのモデルにおける性能の可能性を同定し,それによって,適切な確率的処理の重要性を明らかにし,また,いくつかの破壊モードを例証した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能

, , ,

前のページに戻る