LaMDA:対話アプリケーションのための言語モデル【JST・京大機械翻訳】

Thoppilan Romal; De Freitas Daniel; Hall Jamie; Shazeer Noam; Kulshreshtha Apoorv; Cheng Heng-Tze; Jin Alicia; Bos Taylor; Baker Leslie; Du Yu; Li YaGuang; Lee Hongrae; Zheng Huaixiu Steven; Ghafouri Amin; Menegali Marcelo; Huang Yanping; Krikun Maxim; Lepikhin Dmitry; Qin James; Chen Dehao; Xu Yuanzhong; Chen Zhifeng; Roberts Adam; Bosma Maarten; Zhao Vincent; Zhou Yanqi; Chang Chung-Ching; Krivokon Igor; Rusch Will; Pickett Marc; Srinivasan Pranesh; Man Laichee; Meier-Hellstern Kathleen; Morris Meredith Ringel; Doshi Tulsee; Santos Renelito Delos; Duke Toju; Soraker Johnny; Zevenbergen Ben; Prabhakaran Vinodkumar; Diaz Mark; Hutchinson Ben; Olson Kristen; Molina Alejandra; Hoffman-John Erin; Lee Josh; Aroyo Lora; Rajakumar Ravi; Butryna Alena; Lamm Matthew; Kuzmina Viktoriya; Fenton Joe; Cohen Aaron; Bernstein Rachel; Kurzweil Ray; Aguera-Arcas Blaise; Cui Claire; Croak Marian; Chi Ed; Le Quoc

プレプリント

J-GLOBAL ID：202202206134547008 整理番号：22P0277399

LaMDA:対話アプリケーションのための言語モデル【JST・京大機械翻訳】

LaMDA: Language Models for Dialog Applications

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (60件)： , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,
資料名：
発行年： 2022年01月20日プレプリントサーバーでの情報更新日： 2022年02月10日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

LaMDA:Dialogアプリケーションのための言語モデルを提示する。LaMDAは,最大137Bのパラメータを持ち,公開対話データおよびWebテキストの1.56T単語で事前訓練された,対話のために専門化された変換器ベースの神経言語モデルのファミリーである。モデルスケーリングだけでは品質を改善できるが,安全性と実際の接地に関してより少ない改善を示す。注釈付きデータによる微調整と,外部知識源のコンサルティングを可能にするモデルが,安全性と実際の接地の2つの重要課題に向けて大きな改善につながることを示した。第1の課題,安全性は,モデルの応答が,有害な提案や不公平なバイアスを防ぐような,一連の人間の値と一致することを確実にすることを含む。著者らは,人間の価値の実例セットに基づく計量を用いて安全性を定量化し,著者らは,少量の群衆者注釈付きデータで微調整したLaMDA分類器を用いたフィルタリング候補応答が,モデル安全性を改善する有望なアプローチを提供することを見出した。第2の課題として,実際の接地は,情報検索システム,言語トランスレータ,および計算器のような外部知識源のコンサルティングを可能にする。接地度計量を用いて現実性を定量化し,この手法が,単に音がもっともらしい応答よりも,既知の情報源で接地した応答を生成することができることを見出した。最後に,教育とコンテンツ推薦の領域におけるLaMDAの使用を調査し,それらの有用性と役割一貫性を分析した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

パターン認識 , 自然語処理

, ,

前のページに戻る