知識蒸留による予訓練言語モデルを用いた放射線検査プロトコルの自動割当【JST・京大機械翻訳】

Lau Wilson; Aaltonen Laura; Gunn Martin; Yetisgen Meliha

プレプリント

J-GLOBAL ID：202202218132820627 整理番号：21P0046766

知識蒸留による予訓練言語モデルを用いた放射線検査プロトコルの自動割当【JST・京大機械翻訳】

Automatic Assignment of Radiology Examination Protocols Using Pre-trained Language Models with Knowledge Distillation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年09月01日プレプリントサーバーでの情報更新日： 2021年07月06日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

放射線医学検査プロトコルの選択は反復的で時間のかかるプロセスである。本論文では,ドメイン固有BERTモデル(BERT_rad)を事前訓練することにより,コンピュータトモグラフィ検査に対するプロトコルを自動的に割当てる深層学習手法を提案した。テストプロトコルを通して高いデータ不均衡を取り扱うために,著者らは,データ増強を通して少数クラスをアップサンプリングする知識蒸留方式を使用した。サポートベクターマシン(SVM),勾配ブースティングマシン(GBM),ランダムフォレスト(RF)分類器,ならびにGoogleのBERT_baseモデルを用い,統計的nグラムモデルと記述手法の分類性能を比較した。SVM,GBMおよびRFは,0.45および0.6のマクロ平均F1スコアを達成し,一方,BERT_baseおよびBERT_radは0.61および0.63を達成した。知識蒸留は少数クラスの全体性能を改善し,0.66のF1スコアを達成した。【JST・京大機械翻訳】

, , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能 , システム・制御理論一般

, , , , ,

前のページに戻る