TegTok:タスク特異的およびオープンワールド知識によるテキスト生成の強化【JST・京大機械翻訳】

Tan Chao-Hong; Gu Jia-Chen; Tao Chongyang; Ling Zhen-Hua; Xu Can; Hu Huang; Geng Xiubo; Jiang Daxin

プレプリント

J-GLOBAL ID：202202209608391143 整理番号：22P0305167

TegTok:タスク特異的およびオープンワールド知識によるテキスト生成の強化【JST・京大機械翻訳】

TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年03月16日プレプリントサーバーでの情報更新日： 2022年03月16日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

自然および情報テキストの創出はNLPにおける長年の問題である。知識グラフやWikiページのような様々なオープンワールド知識を持つ事前訓練言語モデル(PLM)の組み込みに多くの努力が払われてきた。しかし,タスク固有の知識をアクセスし,操作する能力は,通常,PLMでよくカバーされないので,下流タスクに限られており,取得が困難である。この問題に取り組むために,著者らは,統一フレームワークにおけるタスク特異的およびオープンワールド知識(TegTok)によるTExt生成の強化を提案した。本モデルは,高密度検索を通して2種類の知識源から知識エントリを選定し,次にそれらを入力符号化と出力復号化段階にそれぞれPLMに基づいて注入する。これら2種類の知識の助けにより,著者らのモデルは,何を学習するかを学習できる。対話生成と質問生成の2つのテキスト生成タスクに関する実験と2つのデータセットは,著者らの方法が種々のベースラインモデルより良い性能を達成することを示した。【JST・京大機械翻訳】

, , , ,
, , 【Automatic Indexing@JST】

人工知能 , 自然語処理

, , ,

前のページに戻る