相談ノート生成における人間評価と自動メトリックスとの相関【JST・京大機械翻訳】

Moramarco Francesco; Korfiatis Alex Papadopoulos; Perera Mark; Juric Damir; Flann Jack; Reiter Ehud; Belz Anya; Savkov Aleksandar

プレプリント

J-GLOBAL ID：202202212361383755 整理番号：22P0323944

相談ノート生成における人間評価と自動メトリックスとの相関【JST・京大機械翻訳】

Human Evaluation and Correlation with Automatic Metrics in Consultation Note Generation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年04月01日プレプリントサーバーでの情報更新日： 2022年04月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

近年,機械学習モデルは,臨床相談ノートの生成において,急速に良好になった。しかし,それらと患者の臨床的安全性を用いて,臨床医が持つ影響を理解するために,生成された相談をいかに適切に評価するかに関する研究はほとんどない。これに取り組むために,著者らは5人の臨床医(i)が57のモックコンサルテーションを聞き,(ii)自分自身のノートを書くこと,(iii)自動的に生成されたノートの数,および(iv)すべてのエラーを定量的および定性的に抽出する,相談ノートの広範な人間評価研究を提示する。次に,18の自動品質計量と人間判断との相関関係研究を行った。著者らは,BertScoreのような一般的なモデルベースのメトリックスよりも,より優れないならば,単純,特性ベースLvenshtein距離メトリックが,par上で実行されることを見出した。すべての知見と注釈はオープンソースである。【JST・京大機械翻訳】

,
, , , , , 【Automatic Indexing@JST】

医用情報処理

, , , , ,

前のページに戻る