準同形射影蒸留による意味検索のための文表現の圧縮【JST・京大機械翻訳】

Zhao Xuandong; Yu Zhiguo; Wu Ming; Li Lei

プレプリント

J-GLOBAL ID：202202214013636910 整理番号：22P0304337

準同形射影蒸留による意味検索のための文表現の圧縮【JST・京大機械翻訳】

Compressing Sentence Representation for Semantic Retrieval via Homomorphic Projective Distillation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月15日プレプリントサーバーでの情報更新日： 2022年03月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

いかに高度にコンパクトだが効果的な文章表現を学ぶか。事前訓練言語モデルは,多くのNLPタスクにおいて効果的であった。しかしながら,これらのモデルは,しばしば巨大であり,大きな文章埋込みを生成する。さらに,大小モデルの間には大きな性能ギャップがある。本論文では,圧縮文埋込みを学習するために,同形投影蒸留(HPD)を提案した。提案手法では,文章表現品質を保持するために大きな事前訓練言語モデルを模倣する一方で,コンパクトな表現を生成するために学習可能な投影層を持つ小型変換符号器モデルを強化する。意味的テキスト類似性(STS)と意味検索(SR)タスクの両者について,異なるモデルサイズで提案手法を評価した。実験は,著者らの方法が,同じサイズの以前の最良表現と比較して,STSタスクに関して2.7~4.5ポイント性能利得を達成することを示した。SRタスクにおいて,提案手法は最先端の大規模モデルと比較して検索速度(8.2×)とメモリ利用(8.0×)を改善する。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

自然語処理

, , , ,

前のページに戻る