多粒度注意ハイブリッドニューラルネットワークに基づくテキスト分類【JST・京大機械翻訳】

Liu Zhenyu; Lu Chaohong; Huang Haiwei; Lyu Shengfei; Tao Zhenchao

プレプリント

J-GLOBAL ID：202202211093632562 整理番号：22P0180874

多粒度注意ハイブリッドニューラルネットワークに基づくテキスト分類【JST・京大機械翻訳】

Text Classification based on Multi-granularity Attention Hybrid Neural Network

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年08月12日プレプリントサーバーでの情報更新日： 2020年08月12日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ニューラルネットワークベースのアプローチは,自然言語処理(NLP)タスクのための駆動力になった。従来,NLPタスクには2つの主流ニューラルアーキテクチャがある:リカレントニューラルネットワーク(RNN)と畳込みニューラルネットワーク(ConvNet)。RNNは,入力テキスト上の長期依存性のモデリングにおいて良好であるが,並列計算を除外する。ConvNetは記憶能力を持たず,非順序特徴として逐次データをモデル化する必要がある。したがって,ConvNetは入力テキスト上の逐次依存性を学習できないが,高効率並列計算を行うことができる。RNNとConvNetのような各ニューラルアーキテクチャはそれ自身のプロとコンで,異なるアーキテクチャの統合はテキストの意味表現を豊かにし,従ってNLPタスクの性能を強化すると仮定される。しかし,これらの一見不和合性アーキテクチャの再調整についてはほとんど調査されていない。この問題に取り組むために,著者らは,マルチ粒状性注意ベースのハイブリッドニューラルネットワーク(MahNN)と名付けた,新しい階層的マルチ粒状性注意機構に基づくハイブリッドアーキテクチャを提案する。注意機構は,ニューラルモデルの計算効率と性能を高めるために,入力シーケンスの異なる部分に異なる重みを割り当てることである。MahNNでは,構文的注意と意味的注意という2種類の注意を紹介した。構文的注意は,より低い記号レベルで構文要素(単語または文章のような)の重要性を計算し,意味的注意を用いて,上部潜在意味論に対応する埋込み空間次元の重要性を計算した。テキスト分類を,テキストを理解するためのMahNNの能力を例証するための例証として採用した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

人工知能 , ニューロコンピュータ

, , ,

前のページに戻る