デモンストレーションの役割の再考:インコンテキスト学習作業【JST・京大機械翻訳】

Min Sewon; Lyu Xinxi; Holtzman Ari; Artetxe Mikel; Lewis Mike; Hajishirzi Hannaneh; Zettlemoyer Luke

プレプリント

J-GLOBAL ID：202202207957388092 整理番号：22P0295449

デモンストレーションの役割の再考:インコンテキスト学習作業【JST・京大機械翻訳】

Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年02月25日プレプリントサーバーでの情報更新日： 2022年10月20日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

大規模言語モデル(LM)は,いくつかの入力ラベル対(実証)の条件付けと新しい入力の予測を行うことによって,推論だけで新しいタスクを学習できる。しかし,モデルがどのように学習し,実証の側面がエンドタスク性能に寄与するかの理解はほとんどなかった。本論文では,グラウンドトルース実証は,実際には,GPT-3を含む12の異なるモデルにわたって,分類とマルチチョークタスクの範囲において,実際には,ラベルをランダムに置換する必要がないことを示す。代わりに,実証の他の側面は,ラベル空間,入力テキストの分布,および(3)シーケンスの全体フォーマットの2,3の例を提供するという事実を含む,エンドタスクパフォーマンスの重要な駆動者であることを発見した。総合して,著者らの解析は,どのように,インコテキスト学習が働くかを理解する新しい方法を提供し,一方,推論だけを通して,大規模言語モデルから,どれくらい学習できるかについて,新しい疑問を切り開く。【JST・京大機械翻訳】

, , ,
, 【Automatic Indexing@JST】

人工知能 , 自然語処理

, , ,

前のページに戻る