文献

J-GLOBAL ID：202002223151192674   整理番号：20A0874758

事前訓練された変圧器言語モデルによる超低資源テキストの単純化【JST・京大機械翻訳】

Extremely Low Resource Text simplification with Pre-trained Transformer Language Model

著者 (2件)： Maruyama Takumi (Nagaoka University of Technology,1603-1, Kamitomioka Nagaoka,Niigata,JAPAN,940-2188) ,  Yamamoto Kazuhide (Nagaoka University of Technology,1603-1, Kamitomioka Nagaoka,Niigata,JAPAN,940-2188)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2019  号： IALP  ページ： 53-58  発行年： 2019年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 最近のテキスト単純化アプローチは,機械翻訳により触発された単一言語テキスト生成としてのタスクに関するものである。特に,変換ベースの翻訳モデルは以前の方法より優れている。機械翻訳アプローチは大規模並列コーパスを必要とするが,テキスト簡素化のための並列コーパスは機械翻訳タスクと比較して非常に小さい。そこで,著者らは,小さな並列コーパスによるテキスト簡素化のために事前訓練言語モデルを細かく調整する簡単なアプローチを試みた。具体的には,以下の2つのモデルを用いて実験を行った。すなわち,変換ベースの符号器-復号器モデルと,TransformerLMと呼ばれるオリジナルと単純化された文章の結合入力を受ける言語モデルである。したがって,簡単なテキスト生成モデルであるTransformerLMは,本質的に強いベースラインよりも優れていることを示した。さらに,わずか3,000の教師つき例を持つ微調整TransformerLMが,すべての教師つきデータにより訓練された強いベースラインに匹敵する性能を達成できることを示した。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 基準線 ,  *言語モデル ,  機械翻訳 ,  変圧器 ,  *簡素化 ,  復号器 ,  符号器 ,  コーパス ,  *言語
準シソーラス用語： 生成モデル ,  翻訳モデル , 【Automatic Indexing@JST】

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (5件)： 訓練 ,  変圧器 ,  言語モデル ,  資源 ,  単純化