抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
非常に深いニューラルネットワークは,まだ非常に挑戦的なタスクである。一般的な解決策は,ショートカット接続と正規化層を用いることであり,それは,一般的なResNetアーキテクチャにおいて重要な成分である。しかし,ResNetsは真に深いものより浅いネットワークの集合のように振舞うことを示唆する強い証拠がある。最近,深いバニラネットワーク(すなわち,正規化層またはショートカット接続のないネットワーク)が,それらの活性化関数に特定の変換を適用することにより,ResNetとして高速に訓練できることを示した。しかし,この方法(ディープカーネルShapingと呼ばれる)はReLUと完全に互換性がなく,ImageNet上でResNetよりも著しく過剰に適合するネットワークを生成する。本研究では,ReLU-Leaky ReLUの変異体と完全に互換性のある新しいタイプの変換を開発することにより,この状況を修正した。著者らは,無視できる余分の計算コストを導入する著者らの方法が,ResNet(同じ幅/深さの)と競合する深いバニラネットワークによる検証精度を達成し,Chaos(EOC)法のEdgeで得られたものより著しく高いことを示した。そして,EOCとは違って,著者らが得た検証精度は,深さによってより悪くなかった。【JST・京大機械翻訳】