文献

J-GLOBAL ID：202202218760005958   整理番号：22A1093403

圧縮言語モデルのためのMeta学習:多重選択質問応答研究【JST・京大機械翻訳】

Meta-learning for compressed language model: A multiple choice question answering study

著者 (2件)： Yan Ming (Agency for Science Technology and Research, Singapore, Singapore) ,  Pan Yi (Georgia State University, GA, USA)
資料名： Neurocomputing  (Neurocomputing)
巻： 487  ページ： 181-189  発行年： 2022年 
JST資料番号： W0360A  ISSN： 0925-2312  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： モデル圧縮は,低資源エッジデバイスとアプリケーションにおける事前訓練言語モデル(PLM)のモデルサイズを低減するための有望なアプローチである。残念なことに,圧縮プロセスは,特に低資源下流タスク,即ち,多重選択質問回答に対して,性能劣化のコストを常に伴う。PLMに関するモデル圧縮の劣化問題に取り組むために,著者らは,低資源多重選択質問回答タスクに関するPLMの性能を改良するために,エンドツーエンド爬虫類(ETER)メタ学習方式を提案した。特に,このETERは,目標微調整段階をメタ訓練段階に統合して,従来の2段階メタ学習をエンドツーエンドに改善する。一般的メタ学習を強化するために,ETERは,インスタンスレベルとドメインレベルから2レベルメタタスク構築を採用して,そのタスク一般化を豊かにする。さらに,ETERはパラメータ制約によりメタ学習を最適化し,そのパラメータ学習空間を低減する。実験は,ETERが圧縮PLMの性能を著しく改善し,異なるデータセットのベースラインに対して大きな優位性を達成したことを示した。Copyright 2022 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 最適化 ,  *学習 ,  選択 ,  爬虫類 ,  *多重化 ,  エンドツーエンド方式 ,  応用プログラム ,  *モデル ,  問題 ,  基準線 ,  機械学習 ,  *言語モデル
準シソーラス用語： 性能劣化 ,  メタ学習 ,  パラメータ学習 ,  微調整 , 【Automatic Indexing@JST】

著者キーワード (4件)： エンドツーエンド爬虫類 ,  圧縮予歪言語モデル ,  Meta学習 ,  多重選択質問応答

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： 言語モデル ,  学習 ,  多重 ,  質問応答 ,  研究