多言語チェックリスト:生成と評価【JST・京大機械翻訳】

K Karthikeyan; Bhatt Shaily; Singh Pankaj; Aditya Somak; Dandapat Sandipan; Sitaram Sunayana; Choudhury Monojit

プレプリント

J-GLOBAL ID：202202200522963295 整理番号：22P0309515

多言語チェックリスト:生成と評価【JST・京大機械翻訳】

Multilingual CheckList: Generation and Evaluation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月24日プレプリントサーバーでの情報更新日： 2022年10月11日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

多言語評価ベンチマークは,通常,限られた高資源言語を含み,特定の言語能力のための試験モデルではない。チェックリストは,特定の能力のためのモデルをテストするテンプレートベースの評価手法である。CheckListテンプレート生成プロセスは,ネイティブ話者を必要とし,数百の言語にスケーリングする課題を提起する。本研究では,多言語チェックリストを生成する複数のアプローチを検討した。ソース言語テンプレートの機械翻訳インスタンスからターゲット言語チェックリストテンプレートを自動的に抽出するために,アルゴリズム-テンプレート抽出アルゴリズム(TEA)をデバイス化した。TEA CheckListを,異なるレベルのヒト介入で作成されたCheckListと比較した。さらに,コスト,多様性,ユーティリティ,および正当性の次元に沿って計量を導入し,チェックリストを比較した。著者らは,HindiにおけるCheckListを創造するための異なるアプローチを徹底的に分析した。さらに,9つの異なる言語で実験を行った。TEAは,複数言語に対するチェックリストベース評価のスケーリングに理想的であり,一方,TEAはモデル性能の良好な推定を与えることを見出した。【JST・京大機械翻訳】

, , , , , ,
, , , , 【Automatic Indexing@JST】

応用プログラミング言語 , 計算機システム開発

, ,

前のページに戻る