語から文へのユニバーサル表現の学習【JST・京大機械翻訳】

Li Yian; Zhao Hai

プレプリント

J-GLOBAL ID：202202205311786747 整理番号：22P0189534

語から文へのユニバーサル表現の学習【JST・京大機械翻訳】

Learning Universal Representations from Word to Sentence

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2020年09月09日プレプリントサーバーでの情報更新日： 2020年09月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

言語のためのよく発達したカットエッジ表現学習にもかかわらず,ほとんどの言語表現モデルは,通常言語単位の特定のレベルに焦点を合わせており,それは,統一された方法で言語オブジェクトの複数層を扱う際に直面するとき,大きな不便性を引き起こす。したがって,本研究は,タスク非依存評価を通して,一様ベクトル空間における言語単位の異なったレベルの埋込みを,普遍的表現学習を導入し,探索する。学習されたベクトル空間の幾何学的特性を調べるために,単語,語句,文,および複数の表現モデルによる実験に関して,類似性データセットを構築するアプローチを提示する。次に,適切な訓練設定を組み込んだよく事前訓練された変換機モデルが,普遍的表現を効果的に得られることを経験的に検証した。特に,NLIとPDBデータセット上の微調整ALBERの実装は,異なる言語レベルで類推タスクに関して最も高い精度を達成する。保険FAQタスクに関する更なる実験は,実世界アプリケーションにおける普遍的表現モデルの有効性を示した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

自然語処理 , パターン認識 , 人工知能

, , ,

前のページに戻る