ホップフィールドネットワークは必要である【JST・京大機械翻訳】

Ramsauer Hubert; Schaefl Bernhard; Lehner Johannes; Seidl Philipp; Widrich Michael; Adler Thomas; Gruber Lukas; Holzleitner Markus; Pavlovic Milena; Sandve Geir Kjetil; Greiff Victor; Kreil David; Kopp Michael; Klambauer Guenter; Brandstetter Johannes; Hochreiter Sepp

プレプリント

J-GLOBAL ID：202202220432411600 整理番号：21P0042906

ホップフィールドネットワークは必要である【JST・京大機械翻訳】

Hopfield Networks is All You Need

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (16件)： , , , , , , , , , , , , , , ,
資料名：
発行年： 2020年07月16日プレプリントサーバーでの情報更新日： 2021年04月28日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

連続状態と対応する更新規則を有する最新のHopfieldネットワークを導入した。新しいHopfieldネットワークは,指数的に(連想空間の大きさで)多くのパターンを保存することができ,1つの更新でパターンを抽出し,指数的に小さい検索誤差を持つ。それは3タイプのエネルギー極小(更新の固定点)を持つ。1)全パターンにわたる大域的固定点平均化,2)パターンの部分集合にわたる準安定状態平均化,3)単一パターンを保存する固定点。新しい更新規則は,変圧器で用いられる注意機構と等価である。この等価性は変圧器モデルのヘッドの特性化を可能にする。これらのヘッドは,第一層において優先的に大域的平均化および準安定状態を介したより高い層部分平均化において機能する。新しい現代のHopfieldネットワークを,生入力データ,中間結果,または学習プロトタイプの貯蔵とアクセスを可能にする層として深層学習アーキテクチャに統合できる。これらのHopfield層は,完全接続,畳み込み,または反復ネットワークを超えて,深層学習の新しい方法を可能にし,プール,記憶,連想,および注意機構を提供する。種々のドメインにわたるHopfield層の広い適用性を示した。ホップフィールド層は,4つの考慮された多重インスタンス学習問題,および数百万のインスタンスによる免疫レパートリー分類に関する3つについて,最先端技術を改善した。小さな分類タスクのUCIベンチマーク収集において,深い学習方法が典型的に strみ出すとき,Hopfield層は,異なる機械学習法と比較して,新しい最先端技術を生成した。最後に,Hopfield層は,2つの薬物設計データセットに関して最先端技術を達成した。実装は,https://github.com/ml jku/hopfield layersで利用可能である。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

ニューロコンピュータ , 人工知能

前のページに戻る