文脈化言語モデルからの教師なし注意ベース文レベルMetaエンベディング【JST・京大機械翻訳】

Takahashi Keigo; Bollegala Danushka

プレプリント

J-GLOBAL ID：202202208720777384 整理番号：22P0333034

文脈化言語モデルからの教師なし注意ベース文レベルMetaエンベディング【JST・京大機械翻訳】

Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年04月16日プレプリントサーバーでの情報更新日： 2022年04月16日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

多数のニューラル言語モデル(NLM)を生成するために多様なコーパス上で訓練されたNLPコミュニティにおいて,様々な文脈化された言語モデルが提案されている。しかしながら,異なるNLMは,テキスト表現として使用されたとき,下流NLPアプリケーションにおける異なるレベルの性能を報告している。独立に訓練された文脈語埋込みモデルを取り上げ,入力源NLMの補完的強度を保存する文章埋込みを学習する文章レベルメタ埋込み学習法を提案した。提案手法は教師なしであり,特定の下流タスクに連結せず,それは文章表現を必要とする異なるタスクに応用可能な原理で学習メタ埋込みを行う。具体的には,まず,個々のNLMにより得られたトークンレベル埋込みを投影し,トークンレベルメタ埋込みに対するソース埋込みの寄与を示す注意重みを学習した。次に,トークンレベルメタ埋込みから文章レベルメタ埋込みを生成する平均と最大プールを適用した。意味的テキスト類似性ベンチマークに関する実験結果は,提案教師なし文章レベルメタ埋込み法が,以前に提案した文章レベルメタ埋込み法ならびに教師つきベースラインより優れていることを示した。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, 【Automatic Indexing@JST】

自然語処理 , パターン認識

, , , ,

前のページに戻る