即発BERT:高速によるBERT文埋込みの改善【JST・京大機械翻訳】

Jiang Ting; Jiao Jian; Huang Shaohan; Zhang Zihan; Wang Deqing; Zhuang Fuzhen; Wei Furu; Huang Haizhen; Deng Denvy; Zhang Qi

プレプリント

J-GLOBAL ID：202202205055975286 整理番号：22P0026574

即発BERT:高速によるBERT文埋込みの改善【JST・京大機械翻訳】

PromptBERT: Improving BERT Sentence Embeddings with Prompts

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (10件)： , , , , , , , , ,
資料名：
発行年： 2022年01月12日プレプリントサーバーでの情報更新日： 2022年10月13日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

より良い文章表現を学習するための新しいコントラスト学習法であるPromptBERTを提案した。最初に,元のBERTからの現在の文章埋込みの欠点を解析し,それが主に静的トークン埋込みバイアスと無効BERT層に起因することを見出した。次に,著者らは,最初の迅速ベースの文章埋込み方式を提案して,BERTをより良い文章埋込みを達成するために,2つの迅速な表現方式と3つの迅速な検索方法について議論する。さらに,教師つきと教師なし設定の間の性能ギャップを実質的に短縮するテンプレート雑音除去の技術による新しい教師なし訓練目的を提案した。大規模な実験は,著者らの方法の有効性を示した。SimCSEと比較して,PromptBertは教師なし設定におけるBERTとRoBERTaに基づく改善の2.29と2.58ポイントを達成した。【JST・京大機械翻訳】

, , , , , , ,
, , 【Automatic Indexing@JST】

人間機械系

, ,

前のページに戻る