TuringAdvice:言語利用の創造的および動的評価【JST・京大機械翻訳】

Zellers Rowan; Holtzman Ari; Clark Elizabeth; Qin Lianhui; Farhadi Ali; Choi Yejin

プレプリント

J-GLOBAL ID：202202208551310803 整理番号：21P0028596

TuringAdvice:言語利用の創造的および動的評価【JST・京大機械翻訳】

TuringAdvice: A Generative and Dynamic Evaluation of Language Use

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2020年04月07日プレプリントサーバーでの情報更新日： 2021年04月12日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

言語理解モデルのための新しい課題タスクとデータセットであるTuring Adviceを提案する。実人が現在直面している書かれた状況を考えると,モデルは自然言語において有用なアドバイスを生成しなければならない。著者らの評価フレームワークは,人間言語理解の基本的側面を,言語利用の能力を,互いに通信することにより,オープンエンド状況を解決する能力に,試験する。経験的結果は,今日のモデルが,600kのドメイン内訓練事例で微調整されたマルチビリオンパラメータモデルであっても,Turing Adviceで苦しんでいることを示した。最良のモデル,微調整されたT5は,少なくとも14%のケースで,人間が書き込んだアドバイスと少なくとも役立つというアドバイスを書く。はるかに大きい非微細同調GPT3モデルは4%でさらに悪い。この低性能は,生成設定の外でスポットするのが難しい言語理解誤差を明らかにし,進歩の余地が大きいことを示している。【JST・京大機械翻訳】

, , , ,

自然語処理 , 情報加工一般

, ,

前のページに戻る