文献

J-GLOBAL ID：202002210935114582   整理番号：20A0945973

事前学習済Sequence-to-Sequenceモデルと重要度モデルの結合による生成型要約

著者 (5件)： 斉藤いつみ (NTT メディアインテリジェンス研) ,  西田京介 (NTT メディアインテリジェンス研) ,  西田光甫 (NTT メディアインテリジェンス研) ,  浅野久子 (NTT メディアインテリジェンス研) ,  富田準二 (NTT メディアインテリジェンス研)
資料名： 言語処理学会年次大会発表論文集(Web)
巻： 26th  ページ： ROMBUNNO.P4-29 (WEB ONLY)  発行年： 2020年 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ・生成型要約タスクにおいてソーステキストの重要箇所予測での事前学習Sequence-to-Sequence(Seq-to-Seq)モデルにおける予測能力の効果検証が必要であることを説明。
・そのために,事前学習Seq-to-Seqモデルと重要単語を予測する重要度モデルの結合方法について検証。
・具体的には,事前学習Seq-to-SeqモデルのBERTの構造におけるEncorder,Decoder,Multi-head Attention等について説明。
・事前学習Seq-to-Seqモデルに結合させる重要度モデルにおける,重要度スコア,重要度擬似正解の作成等について説明。
・CIT(Conditional summarization model with Important Tokens)モデルを含む結合モデルの複数の結合方式について説明。
・要約データセットとしてCNN/DMとXSumを用いて評価実験を行い,重要度モデルを組み合わせることによる要約精度の向上,CITモデルで重要トークン数Kを変化させた場合の出力,等について報告。

シソーラス用語： *自然言語処理 ,  *抄録作業 ,  情報抽出 ,  *機械学習 ,  度 ,  言語モデル
準シソーラス用語： *事前学習 ,  自動要約 ,  重要度 ,  *重要文抽出 ,  深層学習 ,  予測能力

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (3件)： 事前学習 ,  モデル ,  重要度