文献

J-GLOBAL ID：202002228208787348   整理番号：20A2282816

Forget Me Not:読書理解におけるドメイン適応のための破局的忘却の低減【JST・京大機械翻訳】

Forget Me Not: Reducing Catastrophic Forgetting for Domain Adaptation in Reading Comprehension

著者 (4件)： Xu Ying (IBM Research Australia,Melbourne,Australia) ,  Zhong Xu (IBM Research Australia,Melbourne,Australia) ,  Yepes Antonio Jose Jimeno (IBM Research Australia,Melbourne,Australia) ,  Lau Jey Han (University of Melbourne,Melbourne,Australia)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： IJCNN  ページ： 1-8  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 近年の大規模オープンドメイン読解データセットの作成は,有望な結果を有するエンドツーエンド神経理解モデルの開発を可能にした。限られた訓練データを持つドメインに対してこれらのモデルを使用するため,最も効果的なアプローチの一つは,まず,大きなドメイン外ソースデータにそれらを事前訓練し,次に,それらを限られたターゲットデータで微調整することである。これの洞窟は,微調整後,理解モデルが,ソースドメインにおいて,破滅的忘却として知られた現象に乏しい傾向があることである。本論文では,ソースドメインからのデータへのアクセスを仮定することなく,微調整中の壊滅的忘却を低減する方法を検討した。著者らは,新しい補助ペナルティ項を導入し,補助ペナルティ項の組合せを用いて,理解モデルを適応させるための微調整プロセスを正則化する場合に,最良の性能を観察した。提案手法をテストするために,読解理解ベンチマークとして潜在的に使用できる6つの狭いドメインデータセットを開発し,放出する。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 洞窟 ,  エンドツーエンド方式 ,  正則化 ,  ベンチマーク ,  *ペナルティ
準シソーラス用語： *読書 ,  訓練データ ,  読解 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (4件)： 読書 ,  理解 ,  ドメイン適応 ,  忘却