オープンドメイン質問応答のための少数ショット促進によるインターネット強化言語モデル【JST・京大機械翻訳】

Lazaridou Angeliki; Gribovskaya Elena; Stokowiec Wojciech; Grigorev Nikolai

プレプリント

J-GLOBAL ID：202202220770454969 整理番号：22P0301765

オープンドメイン質問応答のための少数ショット促進によるインターネット強化言語モデル【JST・京大機械翻訳】

Internet-augmented language models through few-shot prompting for open-domain question answering

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月09日プレプリントサーバーでの情報更新日： 2022年05月23日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本研究では,大規模言語モデル(LSLMs)のユニークな少数ショット能力について資本化し,実際の情報と最新の情報に対する接地に関して,いくつかの課題を克服した。半パラメトリック言語モデル(LM)によって動機づけられて,外部検索された証拠でそれらの決定を接地して,著者らは,Google検索,広幅で絶えず更新された知識源を用いて,Webから返される情報に関する条件LMを学習するために,少数ショットプロモーションを使用した。提案アプローチは,微調整または学習追加パラメータには関与せず,従って,任意のLMに適用でき,従って,強いベースラインを提供する。実際,著者らは,Web上で調整されたLMが,オープンドメイン質問回答において,類似,または,さらに大きい,モデルサイズの閉じたブックモデルの性能を上回ることを見出した。最後に,複数の回答を生成する多重検索された証拠を用いて達成したモデルの推論-時間計算を,同じLMによって生成されたスコアを使用する再ランク付け段階によって,より優れた性能をもたらし,そして,より小さな数ショットLMsのより低い性能を軽減して,著者らの発見により,それは,最大モデルに向けてのレースを遅くし,そして,その代わりに,推論-時間計算に限らず,しかし,制限されない,しかし,モデルを使用するために,より効果的な方法を見つけるのに,より効果的方法を見つけるのに有益であることを,著者らは発見した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

自然語処理 , 検索技術 , パターン認識

, , , , , ,

前のページに戻る