文献

J-GLOBAL ID：202202281079000022   整理番号：22A0982888

改良型双方向変圧器を用いたテキスト分類【JST・京大機械翻訳】

Text classification using improved bidirectional transformer

著者 (3件)： Tezgider Murat (Department of Computer Engineering, Faculty of Engineering, Firat University, Elazig, Turkey) ,  Yildiz Beytullah (Department of Software Engineering, School of Engineering, Atilim University, Incek Ankara, Turkey) ,  Aydin Galip (Department of Computer Engineering, Faculty of Engineering, Firat University, Elazig, Turkey)
資料名： Concurrency and Computation: Practice & Experience  (Concurrency and Computation: Practice & Experience)
巻： 34  号： 9  ページ： e6486  発行年： 2022年 
JST資料番号： W2542A  ISSN： 1532-0626  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： テキストデータは日常生活で重要な場所を持つ。膨大な量のテキストデータが毎日発生する。結果として,自動化は,これらの大きなテキストデータを扱うのに必要である。最近,テキスト処理における新しいアプローチの適応で重要な発展をingめている。注目機構と変圧器は,テキスト処理のための重要なポテンシャルを持つ方法として出現している。本研究では,テキストデータの前方および後方位置情報を考慮するために双方向位置符号化を利用する2つの変圧器符号器ブロックを用いて構築した双方向変圧器(BiTransformer)を導入した。また,分類プロセスに対する注意機構の寄与を評価するモデルを作成した。長い短期メモリ,注意,変圧器,およびBiトランスフォーマを含む4つのモデルを使用し,30のカテゴリーから成る大規模なトルコのテキストデータセットの実験を行った。また,モデルに及ぼす事前訓練埋込みの効果も調べた。実験結果は,変圧器と注意を用いた分類モデルが古典的深層学習モデルと比較して有望な結果を与えることを示した。著者らが提案したBiTransformorはテキスト分類において優れた性能を示した。Copyright 2022 Wiley Publishing Japan K.K. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 記憶装置 ,  *変圧器 ,  自動化 ,  学習モデル ,  トルコ共和国 ,  符号器 ,  文書処理 ,  深層 ,  機械学習
準シソーラス用語： *テキスト分類 ,  深層学習 ,  テキストデータ , 【Automatic Indexing@JST】

著者キーワード (6件)： 注意 ,  深層学習 ,  機械学習 ,  テキスト分類 ,  テキスト処理 ,  変圧器

分類 (2件)： 電力変換器  (NB08030B) ,  変圧器  (NB08020Q)

タイトルに関連する用語 (3件)： 双方向 ,  変圧器 ,  テキスト分類