即発ベースコントラスト学習とエネルギーベース学習による改良型ユニバーサル文埋込み【JST・京大機械翻訳】

Jiang Yuxin; Zhang Linhan; Wang Wei

プレプリント

J-GLOBAL ID：202202200361876974 整理番号：22P0303525

即発ベースコントラスト学習とエネルギーベース学習による改良型ユニバーサル文埋込み【JST・京大機械翻訳】

Improved Universal Sentence Embeddings with Prompt-based Contrastive Learning and Energy-based Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月14日プレプリントサーバーでの情報更新日： 2022年10月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

コントラスト学習は,事前訓練言語モデル(PLM)の強化において有効であり,優れた普遍的文章埋込みを誘導することを示した。しかし,既存のコントラスト法は,まだ2つの制限がある。最初に,以前の研究は,ドメインシフト設定の下で貧弱な性能を獲得し,その結果,実際に文章表現の応用を妨げる。この低性能を,数百万のパラメータを持つPLMの過パラメータ化に属性した。それを軽減するために,著者らはPromCSE(Sentence Embedding for Sentence Embeddings)を提案し第二に,コントラスト学習の一般的に使用されるNT-Xent損失関数は,教師つき学習設定におけるハードネガティブを完全に利用しない。この目的のために,NT-Xent損失とエネルギーベース学習パラダイム間の接続によって触発された,ペアワイズ識別力を高めるために,エネルギーベースHinge損失を統合することを提案する。7つの標準セマンティックテキスト類似性(STS)タスクとドメインシフトSTSタスクに関する経験的結果は,現在の最先端の文章埋込みモデルと比較して,著者らの方法の有効性を示した。著者らのコードは,https://github.com/YJiangcm/PromCSEで公的に利用可能である。【JST・京大機械翻訳】

, , , , , , , ,

人工知能

, , , ,

前のページに戻る