文献

J-GLOBAL ID：202202250802225185   整理番号：22A1066820

頭蓋内脳波からのTransformerモデルによるテキストデコーディング

Transformer-Based Text Decoding Using Electrocorticography

著者 (8件)： 古明地秀治 (東京農工大 大学院工学府) ,  重見開 (東京農工大 大学院工学府) ,  三橋匠 (順天堂大 脳神経外科) ,  飯村康司 (順天堂大 脳神経外科) ,  鈴木皓晴 (順天堂大 脳神経外科) ,  菅野秀宣 (順天堂大 脳神経外科) ,  篠田浩一 (東京工大 情報理工学院) ,  田中聡久 (東京農工大 大学院工学府)
資料名： 電子情報通信学会技術研究報告(Web)  (IEICE Technical Report (Web))
巻： 121  号： 383(EA2021 64-97)  ページ： 146-151 (WEB ONLY)  発行年： 2022年02月22日 
JST資料番号： U2030A  ISSN： 2432-6380  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 侵襲的brain-machine interface(BMI)は,人間の脳から直接脳波を取得することで,音声コミュニケーションを実現する技術として期待されている.本稿では,Transformerエンコーダを取り入れたsequence-to-sequence(Seq2seq)モデル(Transformer Seq2seq)により,文発声時の頭蓋内脳波からテキストをデコードする.Transformerは,自然言語処理や音声認識の分野で実績のあるニューラルネットモデルであり,入出力系列間の長期的な依存関係を学習する.てんかん治療のため頭蓋内に電極を留置した7名による文発声時における頭蓋内脳波を計測し,Transformer Seq2seqモデルにより発声テキストのデコーディングを試みた.その結果,実験参加者の中で最も高い文節誤り率は16.4%を達成した.また,このモデルによると全参加者の文節誤り率の中央値(±標準偏差)は31.3(±10.0%)であった.このことは,頭蓋内脳波からのテキストデコーディングに,Transformerが有効であることを示している.(著者抄録)

シソーラス用語： *脳波 ,  *マンマシンインタフェイス ,  てんかん ,  復号化 ,  *ニューラルネットワーク ,  係数 ,  文書処理 ,  交差検証法 ,  生体計測 ,  コミュニケーション ,  前処理 ,  生体用電極
準シソーラス用語： *頭蓋内脳波 ,  BMI【インタフェイス】 ,  デコーディング ,  LSTM ,  MFCC ,  テキスト処理 ,  音声コミュニケーション ,  ニューラルネットモデル

分類 (2件)： 人間機械系  (IB03000G) ,  人工知能  (JE08000Z)

引用文献 (17件)：

• J.R. Wolpaw, N. Birbaumer, D.J. McFarland, G. Pfurtscheller, and T.M. Vaughan, “Brain-computer interfaces for communication and control,” Clinical Neurophysiology, vol.113, no.6, pp.767-791, 2002.
• N.E. Crone, D.L. Miglioretti, B. Gordon, and R.P. Lesser, “Functional mapping of human sensorimotor cortex with electrocorticographic spectral analysis. II. Event-related synchronization in the gamma band.,” Brain: a Journal of Neurology, vol.121, no.12, pp.2301-2315,1998.
• X. Pei, E.C. Leuthardt, C.M. Gaona, P. Brunner, J.R. Wolpaw, and G. Schalk, “Spatiotemporal dynamics of electrocorticographic high gamma activity during overt and covert word repetition,” Neuroimage, vol.54, no.4, pp.2960-2972, 2011.
• S. Martin, P. Brunner, I. Iturrate, J.d.R. Millán, G. Schalk, R.T. Knight, and B.N. Pasley, “Word pair classification during imagined speech using direct brain recordings,” Scientific Reports, vol.6, no.1, pp.1-12, 2016.
• C. Herff, D. Heger, A. De Pesters, D. Telaar, P. Brunner, G. Schalk, and T. Schultz, “Brain-to-text: decoding spoken phrases from phone representations in the brain,” Frontiers in Neuroscience, vol.9, p.217,2015.

タイトルに関連する用語 (3件)： 頭蓋内脳波 ,  モデル ,  デコーディング