少数ショット意図検出のための微調整予訓練言語モデル:教師付き予トレーニングと等方化【JST・京大機械翻訳】

Zhang Haode; Liang Haowen; Zhang Yuwei; Zhan Liming; Wu Xiao-Ming; Lu Xiaolei; Lam Albert Y. S.

プレプリント

J-GLOBAL ID：202202217249746260 整理番号：22P0350295

少数ショット意図検出のための微調整予訓練言語モデル:教師付き予トレーニングと等方化【JST・京大機械翻訳】

Fine-tuning Pre-trained Language Models for Few-shot Intent Detection: Supervised Pre-training and Isotropization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年05月15日プレプリントサーバーでの情報更新日： 2022年05月26日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

少数の注釈を持つタスク指向対話システムのための良好な意図分類器を訓練することは挑戦的である。最近の研究では,監督された方法での公開ベンチマークから少量のラベル付き発話を持つ微調整前訓練言語モデルが極めて有用であることを示した。しかし,教師つき予訓練は,意味表現の表現力を抑制する異方性特徴空間を生成することを見出した。等方性化における最近の研究に触発されて,著者らは,等方性に向けて特徴空間を正則化することによって,教師つき予訓練を改善することを提案する。コントラスト学習と相関行列に基づく2つの正則化器を提案し,広範な実験によりその有効性を実証した。著者らの主な知見は,少数ショット意図検出の性能をさらに改善するために,等エントロピー化による教師付き事前訓練を正則化することが有望であることである。ソースコードはhttps://github.com/fanolabs/isoIntentBert mainで見つけることができる。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

人工知能 , パターン認識

, , , , , ,

前のページに戻る