文献

J-GLOBAL ID：202202283512618257   整理番号：22A0096339

PINNはいつ列車に失敗するか:ニューラル接線カーネルの展望【JST・京大機械翻訳】

When and why PINNs fail to train: A neural tangent kernel perspective

著者 (3件)： Wang Sifan (Graduate Group in Applied Mathematics and Computational Science, University of Pennsylvania, Philadelphia, PA 19104, United States of America) ,  Yu Xinling (Graduate Group in Applied Mathematics and Computational Science, University of Pennsylvania, Philadelphia, PA 19104, United States of America) ,  Perdikaris Paris (Department of Mechanichal Engineering and Applied Mechanics, University of Pennsylvania, Philadelphia, PA 19104, United States of America)
資料名： Journal of Computational Physics  (Journal of Computational Physics)
巻： 449  ページ： Null  発行年： 2022年 
JST資料番号： B0860A  ISSN： 0021-9991  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 物理情報ニューラルネットワーク(PINN)は,偏微分方程式を含む広範囲の前方および逆問題に取り組む柔軟性により,最近大きな注目を集めている。しかし,それらの顕著な経験的成功にもかかわらず,そのような制約されたニューラルネットワークが,勾配降下により訓練中にどのように振舞うかについてはほとんど知られていない。より重要なことに,なぜそのようなモデルが時々訓練に失敗するのかについてはほとんど知られていない。本研究では,神経タンジェントカーネル(NTK)のレンズを通して,これらの質問を検討した。勾配降下による訓練中の無限幅限界における完全接続ニューラルネットワークの挙動を捕捉するカーネル。特に,PINNのNTKを導出し,適切な条件下で,無限幅限界での訓練中に一定に留まる決定論的カーネルに収束することを証明した。これにより,それらの限界NTKのレンズを通してPINNの訓練動力学を解析し,全訓練誤差に寄与する異なる損失成分の収束速度における顕著な不一致を見出した。この基本的な病理学に取り組むために,著者らは,全訓練誤差の収束速度を適応的に較正するために,NTKの固有値を利用する新しい勾配降下アルゴリズムを提案した。最後に,一連の数値実験を行い,著者らの理論の正当性と提案アルゴリズムの実際的有効性を検証した。この原稿に伴うデータとコードは,https://github.com/PredictiveIntelligenceLab/PINNsNTKで公開されている。Copyright 2022 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  固有値 ,  偏微分方程式 ,  *レンズ ,  ニューラルネットワーク ,  スペクトル ,  柔軟性 ,  逆問題 ,  有効性 ,  機械学習
準シソーラス用語： 収束速度 ,  数値実験 ,  決定論 ,  マルチタスク学習 , 【Automatic Indexing@JST】

著者キーワード (5件)： 物理学情報ニューラルネットワーク ,  スペクトルバイアス ,  マルチタスク学習 ,  勾配降下 ,  科学的機械学習

分類 (2件)： 数値計算  (JE02000J) ,  流体動力学一般  (BC02010G)

タイトルに関連する用語 (5件)： 列車 ,  失敗 ,  接線 ,  カーネル ,  展望