基礎を Shoめる:モデル埋込みと弱い監視の融合【JST・京大機械翻訳】

Chen Mayee F.; Fu Daniel Y.; Adila Dyah; Zhang Michael; Sala Frederic; Fatahalian Kayvon; Re Christopher

プレプリント

J-GLOBAL ID：202202206525330003 整理番号：22P0309920

基礎を Shoめる:モデル埋込みと弱い監視の融合【JST・京大機械翻訳】

Shoring Up the Foundations: Fusing Model Embeddings and Weak Supervision

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月24日プレプリントサーバーでの情報更新日： 2022年08月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

基礎モデルは,ボックス外埋込みと少数のラベル付き例を有するモデル構築のための刺激的な新しいパラダイムを提供する。しかし,ラベル付きデータなしで基礎モデルを適用する方法は不明である。潜在的アプローチは,弱いラベル源(事前訓練モデル,発見的方法,群衆-研究者)を用いて,擬似ラベルを構築するために,弱い監視フレームワークを有する基礎モデルを融合することである。課題は,基礎モデルと弱い源の両方で利用可能な信号を利用する組合せを構築することである。既存の弱い監視技術の2つの重要な要素を改善するために,基礎モデル埋込みを使用する組合せであるLigerを提案した。最初に,埋込み空間を分割し,部品ごとのソース精度を学習することにより,弱いソース品質のより微細な推定を生成する。第二に,埋込み空間におけるソース投票を拡張することにより,ソースカバレッジを改善した。基礎モデルのブラックボックス特性にもかかわらず,この手法が性能を改善し,埋込み空間におけるラベル分布の平滑性を持つ揚力尺度を示す結果を証明した。6つのベンチマークNLPとビデオタスクに関して,Ligerは,14.1ポイントによってバニラ弱監視,11.8ポイントによって弱く監督されたkNNとアダプター,および7.2ポイントによって伝統的手ラベルによって監督されたkNNとアダプタを凌駕した。【JST・京大機械翻訳】

, , , , , , , , , , , , ,

人工知能

, , ,

前のページに戻る