規模での個人化知能に向けて【JST・京大機械翻訳】

Kang Yiping; Mahendra Ashish; Clarke Christopher; Tang Lingjia; Mars Jason

プレプリント

J-GLOBAL ID：202202211374176302 整理番号：22P0303318

規模での個人化知能に向けて【JST・京大機械翻訳】

Towards Personalized Intelligence at Scale

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月13日プレプリントサーバーでの情報更新日： 2022年03月13日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

個人化知能(PI)は,各個人ユーザに合わせたカスタマイズAI経験を提供する問題である。多くの応用において,PIは好まれるか,さらに必要だった。既存の個人化手法は,新しいカスタマイズモデルを作成するための微調整前訓練モデルを含む。しかし,これらのアプローチでは,訓練,モデルサイズとユーザ数によるスケーリング,PIの阻害が広く実現される。本研究では,スケールにおける個人化知能を可能にする新しいモデルアーキテクチャと訓練/推論フレームワークを導入した。事前訓練言語モデル(LM)に個人化ヘッド(PH)を取り付けることによってこれを達成した。訓練中,ベースLMは凍結され,PHのパラメータだけが更新され,ユーザごとにユニークである。これは,多くのユーザを横断したときに,従来の微調整手法よりも,かなり小さな全体モデルサイズと訓練コストをもたらす。学界と産業焦点データセットに関するPHsを評価し,PHsがF1スコアにおいてゼロショット基準を超え,従来の微調整手法よりも著しくスケーラブルであることを示した。効果的なPH設計と訓練に必要な主要因子を同定した。【JST・京大機械翻訳】

, , , ,

人工知能 , 検索技術

, ,

前のページに戻る