マルチタスク推薦におけるクロスタスク知識蒸留【JST・京大機械翻訳】

Yang Chenxiao; Pan Junwei; Gao Xiaofeng; Jiang Tingyu; Liu Dapeng; Chen Guihai

プレプリント

J-GLOBAL ID：202202215440285334 整理番号：22P0292464

マルチタスク推薦におけるクロスタスク知識蒸留【JST・京大機械翻訳】

Cross-Task Knowledge Distillation in Multi-Task Recommendation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年02月20日プレプリントサーバーでの情報更新日： 2022年03月27日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

マルチタスク学習(MTL)は推薦者システムで広く使われており,各タイプのユーザフィードバックをアイテム(例えばクリック,購入)に予測することは個々のタスクとして扱われ,統一モデルで共同訓練される。著者らの重要な観察は,各タスクの予測結果が,アイテムに対するユーザの細粒選好に関するタスク固有の知識を含む可能性があることである。そのような知識は,他のタスクの恩恵を受けることができるが,現在のMTLパラダイムの下で見落とされている。代わりに,本論文では,他のタスクを教えるための教師付き信号として1つのタスクの予測結果を活用することを試みた,クロス・タスク知識蒸留フレームワークを提案した。しかし,MTLとKDを適切な方法で統合することは,タスクコンフリクト,一貫性のない大きさと同期最適化の必要条件を含むいくつかの課題のために,自明でない。対策として,1)交差タスクの細粒ランキング情報を取得し,タスクコンフリクトを回避するための四重項損失関数による補助タスクを導入し,2)補助タスクから知識を整列させ,蒸留するための較正蒸留アプローチを設計し,3)教師と学生モデルの同期訓練を可能かつ促進する新しい誤り訂正機構を提案する。包括的な実験を行い,実世界データセットにおけるフレームワークの有効性を検証した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , 【Automatic Indexing@JST】

人工知能

, , ,

前のページに戻る