ニューラルネットワークの一般巡回訓練【JST・京大機械翻訳】

Smith Leslie N.

プレプリント

J-GLOBAL ID：202202216743588255 整理番号：22P0291447

ニューラルネットワークの一般巡回訓練【JST・京大機械翻訳】

General Cyclical Training of Neural Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (1件)：
資料名：
発行年： 2022年02月17日プレプリントサーバーでの情報更新日： 2022年06月16日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本論文は,訓練が開始し,また「容易な訓練」と「ハード訓練」が中間の時代の間に起こる,機械学習における「一般循環訓練」の原理を記述する。アルゴリズム例(ハイパーパラメータおよび損失関数),データベース例およびモデルベース例を含む,訓練ニューラルネットワークに対するいくつかの兆候を提案した。特に,いくつかの新しい技術:周期的重量減衰,周期的バッチサイズ,周期的焦点損失,周期的ソフトマックス温度,周期的データ増強,周期的勾配クリッピング,および周期的半教師つき学習を紹介した。さらに,周期的重み減衰,周期的ソフトマックス温度,および周期的勾配クリッピング(この原理の3例として)が訓練モデルの試験精度性能に有益であることを示した。さらに,一般循環訓練の展望からモデルベース例(予訓練および知識蒸留など)を議論し,典型的な訓練方法論へのいくつかの変化を推奨した。要約すれば,本論文では,一般的な周期的訓練概念を定義し,この概念を訓練ニューラルネットワークに適用できるいくつかの特定の方法を論じた。再現性の精神において,著者らの実験で使用されたコードは,ウルル{https://github.com/lnsmith54/CFL}で利用可能である。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

ニューロコンピュータ , 人工知能 , 数値計算

, ,

前のページに戻る