言語生成における確率-品質パラドックスについて【JST・京大機械翻訳】

Meister Clara; Wiher Gian; Pimentel Tiago; Cotterell Ryan

プレプリント

J-GLOBAL ID：202202201080312148 整理番号：22P0323438

言語生成における確率-品質パラドックスについて【JST・京大機械翻訳】

On the probability-quality paradox in language generation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月31日プレプリントサーバーでの情報更新日： 2022年03月31日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ニューラル確率モデルから自然言語を生成するとき,高い確率は常に高品質と一致しない:モード探索復号化法,すなわち,モデルの下で高確率テキストを生成するものが非自然言語に導くことがしばしば観察された。他方,確率的手法によって生成された低確率テキストは,より人間のようなように知覚される。このノートでは,情報理論的レンズによる言語生成を解析することにより,この現象を説明した。特に,人間のような言語は,自然ストリング上の分布のエントロピーに近い情報量(負の対数確率として定量化)を含むべきであることを,著者らは置く。さらに,かなり多い情報(またはより少ない)情報を有する言語が望ましくないことを提唱する。この仮説を支持する予備的経験的証拠を示した。人間と機械生成テキストの両方の品質評価,多重タスクと一般的復号化戦略,すなわち高品質テキストは,機会によって期待するよりもエントロピーに有意に近い情報内容を持っている。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

自然語処理

, ,

前のページに戻る