抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
情報Bottleneck(IB)において,圧縮と予測項の間の相対強度を調整するとき,2つの項がどう振舞うか,そして,それらのデータセットと学習された表現とのそれらの関係性を,どのように振舞うか。本論文では,入力X,ターゲットYおよび表現Zに対する符号化分布p(z|x)で定義されるIB_β[p(z|x)]=I(X;Z)-βI(Y;Z),すなわちdI(Y;Z)/dβの突然ジャンプおよび予測精度をβ増加で観測する,IB_β[p(z|x)]=I(X;Z)-βI(Y;Z)の多重相転移を研究することにより,これらの疑問に答えた。IB損失景観の定性的変化としてIB相転移の定義を導入し,遷移が学習新クラスの開始に対応することを示した。変動の二次計算を用いて,著者らは,IB相転移のための実用的条件を提供する式を導き,パラメータ化モデルのためにFisher情報マトリックスとの接続を引き出した。公式を理解するための2つの展望を提供し,各IB相転移が,線形設定における正準相関解析(CCA)との密接な類似性において,学習表現に対するXとY直交間の最大(非線形)相関の成分を見つけることを明らかにした。理論に基づいて,著者らは相転移点を発見するためのアルゴリズムを提示した。最後に,著者らの理論とアルゴリズムが,カテゴリーデータセットにおける相転移を正確に予測し,MNISTTにおける新しいクラスとクラス困難の学習の開始を予測し,CIFAR10における顕著な相転移を予測することを確認した。【JST・京大機械翻訳】
