線形複雑性ランダム化自己注意機構【JST・京大機械翻訳】

Zheng Lin; Wang Chong; Kong Lingpeng

プレプリント

J-GLOBAL ID：202202208225895788 整理番号：22P0329089

線形複雑性ランダム化自己注意機構【JST・京大機械翻訳】

Linear Complexity Randomized Self-attention Mechanism

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年04月10日プレプリントサーバーでの情報更新日： 2022年06月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近,ランダム特徴注意(RFAs)は,指数カーネルを線形化することによって,線形時間と空間複雑性におけるソフトマックス注意を近似するために提案される。本論文では,まず,自己正規化重要度サンプラとしてRFAを再キャスティングすることにより,このような近似におけるバイアスを理解するための新しい展望を提案した。この展望は,ランダム化注意(RA)と呼ばれる,全体のソフトマックス注意に対する非バイアス刺激者に光を当てる。RAは,クエリー特異的分布により正のランダム特徴を構築し,二次複雑性を示すにもかかわらず,近似忠実度を大きく改善した。RAにおける表現性とRFAの効率を結合することにより,線形ランダム化注意(LARA)と呼ばれる新しい線形複雑度自己注意機構を開発した。種々のドメインにわたる広範な実験は,RAとLARAが実質的なマージンによりRFAsの性能を著しく改善することを示した。【JST・京大機械翻訳】

, , , , , ,
, , , , , 【Automatic Indexing@JST】

符号理論 , 計算理論

, , ,

前のページに戻る