文献

J-GLOBAL ID：202202280264628853   整理番号：22A0789132

非局所注意は網膜画像のための記述生成を改善する【JST・京大機械翻訳】

Non-local Attention Improves Description Generation for Retinal Images

著者 (7件)： Huang Jia-Hong (University of Amsterdam) ,  Wu Ting-Wei (Georgia Institute of Technology) ,  Yang C.-H. Huck (Georgia Institute of Technology) ,  Shi Zenglin (University of Amsterdam) ,  Lin I-Hung (National Defense Medical Center,Tri-Service General Hospital,Department of Ophthalmology,Taiwan) ,  Tegner Jesper (King Abdullah University of Science and Technology (KAUST)) ,  Worring Marcel (University of Amsterdam)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2022  号： WACV  ページ： 3250-3259  発行年： 2022年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 網膜画像からの医療報告の自動生成は,アルゴリズムが与えられた網膜画像に対して意味的にコヒーレントな記述を生成する必要がある困難なタスクである。既存の方法は,記述を生成する入力画像に主に依存する。しかし,多くの抽象医療概念または記述は,画像情報のみに基づいて発生できない。本研究では,このタスクを解決するための追加情報を統合する。診断過程の初期において,眼科医は,通常,重要な情報を示すキーワードの小さいセットを書き込むことを観察する。その後,これらのキーワードを用いて,患者に対する医療報告の後期作成を支援した。これらのキーワードは,一般的に存在し,医療報告を生成するために有用であるので,それらを自動レポート生成に組み入れる。2つのタイプの入力エキスパート定義非順序キーワードと画像により,これらの異なるモダリティからの特徴を効果的に融合することは挑戦的である。そのために,このような注意に基づく異なるタイプの入力から特徴を融合できる,非局所注意ベースマルチモーダル特徴融合アプローチ,TransFユーザに基づく,新しいキーワード駆動医療レポート生成法を提案した。著者らの実験は,提案方法がキーワードと画像コンテンツの相互情報をうまく捕えることを示した。さらに,TransFユーザによって強化された提案キーワード駆動生成モデルは,一般的なテキスト評価メトリックBLEU,CIDEr,およびROUGEの下で,ベースラインより優れていることを示した。Trans-Fuser Github:https://github.com/Jhhuangkay/Non-local-Attention-ImprovesDescription-Generation-for-Retinal-Images。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  *コヒーレンス ,  基準線
準シソーラス用語： モダリティ ,  自動生成 ,  ホップ数 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (3件)： 注意 ,  網膜画像 ,  記述