連合サンプルソフトマックスによる効率的な画像表現学習【JST・京大機械翻訳】

Waghmare Sagar M.; Qi Hang; Chen Huizhong; Sirotenko Mikhail; Meron Tomer

プレプリント

J-GLOBAL ID：202202206007518953 整理番号：22P0301538

連合サンプルソフトマックスによる効率的な画像表現学習【JST・京大機械翻訳】

Efficient Image Representation Learning with Federated Sampled Softmax

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月09日プレプリントサーバーでの情報更新日： 2022年03月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

分散データに関する学習画像表現は,データがデータサイロを通して凝集できない場合において多くの利益をもたらすことができる。ソフトマックス交差エントロピー損失は,画像表現を学習するために,非常に効果的で,一般的に使用される。多数のクラスを用いて,集中学習におけるそのような表現の記述力に対して特に有益であることが証明されている。しかし,FLクライアントの計算と通信の需要がクラス数に比例して増加するので,Fedated Learningによる分散データに関する実行は簡単ではない。本研究では,フェドレーション学習による画像表現を学習するための資源効率の良いアプローチである連合サンプリングソフトマックス(FedSS)を導入した。特に,FLクライアントはクラス集合をサンプルし,大域的完全ソフトマックス目的を近似するサンプリングソフトマックス目的に関して対応するモデルパラメータのみを最適化する。損失定式化と経験的に,本手法がクライアントデバイスにより転送され,最適化されるパラメータ数を大幅に削減し,一方,標準完全ソフトマックス手法との構文を遂行することを示した。本研究は,与えられた設定の下で多数のクラスを有する分散データに関する画像表現を効率的に学習する可能性を作り出す。【JST・京大機械翻訳】

, , , , , ,
, , , , 【Automatic Indexing@JST】

人工知能

前のページに戻る