抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
訓練の1回の単一ラウンドのコースにわたって大域的にスパース性レベルを誘導するシグモイド関数に基づく,新しい剪定戦略を利用した,”Amenable Sparse Network Instigator”(ASNI)アルゴリズムを提案した。ASNIアルゴリズムは,現在の最先端の戦略がそれらの1つだけを行うことができるという両方のタスクを満たす。ASNIアルゴリズムは2つのサブアルゴリズムを持っている。1)ASNI-I,2)ASNI-II。ASNI-Iは,訓練の1つの単一ラウンドだけにおいて,正確な疎なオフザイスネットワークを学習する。ASNI-IIは,スパースネットワークと量子化,圧縮,およびスパースネットワークが訓練可能な初期化を学習する。学習した初期化を,各層Lにおける非ゼロパラメータの初期化のために2つの数だけを学習するので,量子化した。このように,全体のネットワークの初期化のための量子化レベルは,2Lであった。また,2L数から成る集合であるため,学習初期化を圧縮した。そのような量子化および圧縮初期化から訓練できる特別なスパースネットワークを,容認できる。知る限りでは,ネットワークがまだ訓練可能であり,両方の剪定タスクを解くことができる,量子化および圧縮初期化を学習できる他のアルゴリズムは存在しない。著者らの数値実験は,学習されたスパースネットワークが訓練され,密なバージョンでパーで精度に達することができる,量子化と圧縮された初期化があることを示した。量子化のこれらの2LレベルはASNI-Iによる学習スパースネットワークの各層におけるパラメータの集中点であることを実験的に示した。上記の検証のために,ResNets,VGGスタイル,小畳込み,および完全接続されたネットワークを,ImageNet,CIFAR10,およびMNISTデータセットのようなネットワークを利用して,一連の実験を行った。【JST・京大機械翻訳】
