局所典型的サンプリング【JST・京大機械翻訳】

Meister Clara; Pimentel Tiago; Wiher Gian; Cotterell Ryan

プレプリント

J-GLOBAL ID：202202202788265898 整理番号：22P0283278

局所典型的サンプリング【JST・京大機械翻訳】

Locally Typical Sampling

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年02月01日プレプリントサーバーでの情報更新日： 2023年02月06日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

今日の確率的言語発生器は,その根底にあるモデルが標準計量,例えば,パープレックスの下でよく機能するという事実にもかかわらず,コヒーレントで合流的なテキストを生成するとき,短くなる。この不一致は,過去数年間,言語生成コミュニティをパズルした。本研究では,離散確率過程としての自然言語生成の抽象化により,情報理論的解析-スキャンが確率的言語発生器の挙動,例えば,高確率テキストが,なぜdullまたは反復可能か,の新しい洞察を提供できることを,提案した。人間は情報通信の手段として言語を使用し,同時に効率的で誤り最小化の方法でそうであった。実際,心理言語学研究は,人間が,このサブ意識目標を持つストリングで各単語を選択することを示唆する。著者らは,この基準を満たすストリングの集合を形式的に定義する:各単語が,予想情報量に近い情報量,即ち,著者らのモデルの条件付きエントロピーを持つ。次に,確率的モデルから発生するとき,この基準を強制するための簡単で効率的な手順を提案し,局所典型的なサンプリングと呼ぶ。自動および人間評価は,核およびトップ-kサンプリングと比較して,局所的に典型的なサンプリングが品質に関して競合性能(抽象的要約および層生成の両方)を提供し,一方,縮退反復を一貫して低減することを示した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

自然語処理

前のページに戻る