文献

J-GLOBAL ID：201802236829351610   整理番号：18A1806957

マルチタスク学習への応用による圧縮ベース正則化【JST・京大機械翻訳】

Compression-Based Regularization With an Application to Multitask Learning

著者 (3件)： Vera Matias (Facultad de Ingenieria, Universidad de Buenos Aires, Buenos Aires, Argentina) ,  Vega Leonardo Rey (CSC-CONICET and the Facultad de Ingenieria, Universidad de Buenos Aires, Buenos Aires, Argentina) ,  Piantanida Pablo (CentraleSupelec, CNRS, Universite ́ Paris-Sud, Orsay, France)
資料名： IEEE Journal of Selected Topics in Signal Processing  (IEEE Journal of Selected Topics in Signal Processing)
巻： 12  号： 5  ページ： 1063-1076  発行年： 2018年 
JST資料番号： W1889A  ISSN： 1932-4553  CODEN： IJSTGY  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 本論文では,情報理論的根拠から,与えられたデータセットにおける任意の規則性がデータからコンパクトな特徴を抽出するために利用できるという原理に基づく学習問題,すなわち,関連コンテンツ(多重ラベル)の意味のある表現を構築するために,データそのものを完全に記述する必要がある。著者らは,誤分類確率の観点の平均(タスク上)からのマルチタスク学習(MTL)問題を研究し,それをポピュラーなクロスエントロピー基準と結び付ける。著者らのアプローチは,教師つき学習フレームワークとしてのMTL問題の情報理論的定式化を可能にし,そこでは,いくつかの関連タスクに対する予測モデルを,より良い一般化性能を達成するために,共通表現から共同的に学習する。より正確に,MTL問題の著者らの定式化は,復号器におけるサイド情報による情報ボトルネック問題として解釈することができた。それに基づいて,著者らは最適トレードオフを計算するための反復アルゴリズムを提示して,その収束特性のいくつかを研究した。このアルゴリズムの重要な特徴は,モデルの複雑さにより誘導されるペナルティを考慮に入れた平均リスクを最小化するので,過剰適合に対する自然保護を提供することである。注目すべきことに,経験的結果は,過剰リスクを最小化する最適情報速度が存在することを示し,それは利用可能な訓練データの性質と量に依存する。階層的テキスト分類と分布単語クラスタへの応用も研究し,以前の研究を拡張した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： ペナルティ ,  定式化 ,  コンテンツ ,  *学習 ,  単語 ,  クラスタ ,  *正則化 ,  多重化 ,  アルゴリズム ,  情報理論 ,  教師つき学習
準シソーラス用語： テキスト分類 ,  サイド情報 ,  クロスエントロピー ,  *マルチタスク学習 , 【Automatic Indexing@JST】

分類 (2件)： 人工知能  (JE08000Z) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (3件)： マルチタスク学習 ,  応用 ,  正則化