バイオBART:バイオメディカル生成言語モデルのプレトレーニングと評価【JST・京大機械翻訳】

Yuan Hongyi; Yuan Zheng; Gan Ruyi; Zhang Jiaxing; Xie Yutao; Yu Sheng

プレプリント

J-GLOBAL ID：202202208124125396 整理番号：22P0328327

バイオBART:バイオメディカル生成言語モデルのプレトレーニングと評価【JST・京大機械翻訳】

BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年04月08日プレプリントサーバーでの情報更新日： 2022年04月22日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

事前訓練された言語モデルは,自然言語処理のための重要なバックボーンとして役立つ。最近,ドメイン前訓練が様々なドメイン特異的下流タスクに利益を与えることが示されている。生物医学ドメインでは,自然言語生成(NLG)タスクは,研究中に重要である。NLGとしての自然言語理解(NLU)タスクのアプローチは,制約付き言語生成または言語促進を通して,一般的ドメインにおいて満足な性能を達成する。生物医学領域におけるドメイン内生成言語モデルと非系統的生成下流ベンチマークの欠如を強調し,研究コミュニティの開発を妨げる。本研究では,生物医学ドメインにBARTを適応させる生成言語モデルBioBARTを導入した。対話,要約,エンティティリンク,およびエンティティ認識を含むさまざまな生物医学言語生成タスクを照合する。PubMed抄録で事前訓練されたBioBARTは,BARTと比較して性能を強化し,いくつかのタスクで強いベースラインを設定する。さらに,BioBARTに対する予訓練タスクに関するアブレーション研究を実施し,文章置換が下流タスクにマイナス効果を持つことを見出した。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , 【Automatic Indexing@JST】

自然語処理 , パターン認識 , 人工知能

, ,

前のページに戻る