文献

J-GLOBAL ID：202002268582161371   整理番号：20A0429974

ヒト脳活動からの末端から端までの深部画像再構成【JST・京大機械翻訳】

End-to-End Deep Image Reconstruction From Human Brain Activity

著者 (6件)： Shen Guohua (Computational Neuroscience Laboratories, Advanced Telecommunications Research Institute International, Kyoto, Japan) ,  Dwivedi Kshitij (Computational Neuroscience Laboratories, Advanced Telecommunications Research Institute International, Kyoto, Japan) ,  Majima Kei (Graduate School of Informatics, Kyoto University, Kyoto, Japan) ,  Horikawa Tomoyasu (Computational Neuroscience Laboratories, Advanced Telecommunications Research Institute International, Kyoto, Japan) ,  Kamitani Yukiyasu (Computational Neuroscience Laboratories, Advanced Telecommunications Research Institute International, Kyoto, Japan) ,  Kamitani Yukiyasu (Graduate School of Informatics, Kyoto University, Kyoto, Japan)
資料名： Frontiers in Computational Neuroscience (Web)  (Frontiers in Computational Neuroscience (Web))
巻： 13  ページ： 21  発行年： 2019年 
JST資料番号： U7036A  ISSN： 1662-5188  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： スイス (CHE)  言語： 英語 (EN)

抄録/ポイント： 深い神経回路網(DNNs)は,機能的磁気共鳴イメージング(fMRI)活性から脳の復号化と画像再構成に成功裏に適用されてきた。しかしながら,fMRIデータによるDNNの直接訓練は,多くのパラメータを持つ複雑なネットワークを訓練するためには,利用可能なデータのサイズが不十分であると考えられているので,しばしば避けられる。代わりに,あらかじめ訓練されたDNNは,通常,階層的視覚表現のための代理として機能し,fMRIデータを用いて,単純な線形モデルを用いて,刺激画像の個々のDNN特徴を復号化し,次に,再構成モジュールを通過させた。ここでは,fMRIデータと対応する刺激画像を用いてDNNモデルを直接訓練し,エンドツーエンド再構成モデルを構築した。著者らは,最大6000の訓練データサンプル(自然画像とfMRI応答)を用いて,高レベル特徴空間(特徴損失)で定義された付加的な損失項を伴う生成的な敵のネットワークを訓練することによって,これを達成した。上記のモデルを独立データセットでテストし,入力としてfMRIパターンを用いて直接再構成画像を再構成した。提案した方法から得た再構成は試験刺激(自然および人工画像)に類似し,再構成精度は訓練データサイズの関数として増加した。アブレーション解析は,採用した特徴損失が正確な再構成の達成に重要な役割を果たすことを示した。結果は,エンドツーエンドモデルが脳活動と知覚の間の直接マッピングを学習できることを示した。Copyright 2020 The Author(s) All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 神経回路網 ,  *ヒト ,  *画像再構成 ,  復号化 ,  エンドツーエンド方式 ,  *再構成 ,  アブレーション ,  構成モデル ,  ネットワーク ,  視覚 ,  線形モデル ,  *脳活動
準シソーラス用語： 特徴空間 ,  自然画像 ,  訓練データ , 【Automatic Indexing@JST】

著者キーワード (5件)： 脳の解読 ,  視覚画像再構成 ,  機能的磁気共鳴イメージング ,  ディープニューラルネットワーク ,  生成的敵対ネットワーク

分類 (2件)： 脳・神経系モデル  (EL02050C) ,  中枢神経系  (EJ12030F)

引用文献 (28件)：

• Agrawal P., Stansbury D., Malik J., Gallant J. L. (2014). Pixels to Voxels: Modeling Visual Representation in the Human Brain. arXiv [Preprint] arXiv:1407.5104. Available online at: https://arxiv.org/abs/1407.5104 (accessed October 23, 2017).
• Cichy R. M., Khosla A., Pantazis D., Torralba A., Oliva A. (2016). Comparison of deep neural networks to spatio-temporal cortical dynamics of human visual object recognition reveals hierarchical correspondence. Sci. Rep. 6:27755. doi: 10.1038/srep27755
• Cowen A. S., Chun M. M., Kuhl B. A. (2014). Neural portraits of perception: reconstructing face images from evoked brain activity. NeuroImage 94, 12-22. doi: 10.1016/j.neuroimage.2014.03.018
• Deng J., Dong W., Socher R., Li L., Li K., Fei-Fei L. (2009). "ImageNet: a large-scale hierarchical image database," in 2009 IEEE Conference on Computer Vision and Pattern Recognition (Miami, FL), 248-255. doi: 10.1109/CVPR.2009.5206848
• Dosovitskiy A., Brox T. (2016a). "Inverting visual representations with convolutional networks," in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (Las Vegas, NV), 4829-4837. doi: 10.1109/CVPR.2009.5206848

タイトルに関連する用語 (5件)： ヒト ,  脳活動 ,  端 ,  深部 ,  画像再構成