パープレキシティは長文理解における大言語モデルの能力を反映することができるか?【JST機械翻訳】

Hu Yutong; Huang Quzhe; Tao Mingxu; Zhang Chen; Feng Yansong

プレプリント

J-GLOBAL ID：202402208680254221 整理番号：24P0113901

パープレキシティは長文理解における大言語モデルの能力を反映することができるか?【JST機械翻訳】

Can Perplexity Reflect Large Language Model's Ability in Long Text Understanding?

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

arXiv掲載論文の撤回有無については、一次情報をご確認下さい。

著者 (5件)： , , , ,
資料名：
発行年： 2024年05月09日プレプリントサーバーでの情報更新日： 2024年05月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント言語：英語 (EN)

最近の研究は,大規模言語モデル(LLMs)が極端に長いテキストを処理する可能性を持つことを示した。言語モデリングタスクにおいて,評価メトリックとしてパープレキシティ(PPL)を用いて,LLMの長文処理能力のみを評価した。しかし,本研究では,PPLとLLMの長文理解能力の間に相関がないことを見出した。その上,PPLは長距離依存性を捕える代わりに局所情報をモデル化するモデルの能力を反映するだけである。したがって,モデルが長いテキストを処理することができることを証明するためにPPLを使用するだけは,不適切である。PPLの局所焦点特徴により,位置法ALiBiの大きな外挿能力のような幾つかの既存現象も説明できた。長いテキストにおけるモデルの能力を評価する場合,PPLの制限により注意を払い,それへの過度の依存を回避するかもしれない。【JST機械翻訳】

, , , , , , , ,
, , 【Automatic Indexing@JST】

パターン認識 , 自然語処理

, , ,

ライセンス情報：

前のページに戻る