人工知能におけるベンチマーク生成および飽和のグローバルダイナミクスのマッピング【JST・京大機械翻訳】

Ott Simon; Barbosa-Silva Adriano; Blagec Kathrin; Brauner Jan; Samwald Matthias

プレプリント

J-GLOBAL ID：202202211919404820 整理番号：22P0301242

人工知能におけるベンチマーク生成および飽和のグローバルダイナミクスのマッピング【JST・京大機械翻訳】

Mapping global dynamics of benchmark creation and saturation in artificial intelligence

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月09日プレプリントサーバーでの情報更新日： 2022年10月07日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

ベンチマークは,人工知能(AI)の計測とステアリングの進展に重要である。しかし,最近の研究では,AIベンチマークの状態,ベンチマークの過適合,ベンチマークの飽和,ベンチマークデータセット作成の集中化などの問題を報告している。AIベンチマーク生態系の健全性の監視を容易にするために,ベンチマーク生成と飽和の大域的動力学の凝縮マップを作成するための方法論を導入した。コンピュータビジョンと自然言語処理の全領域をカバーする3765のベンチマークに対するデータを整理し,多くのベンチマークが近飽和に向けて急速に傾向し,多くのベンチマークが広範な利用を発見できず,異なるAIタスクに対するベンチマーク性能利得が,バーストを予想する傾向があることを示した。。”その多くは,多くのベンチマークが,広範な利用を発見できないこと,そして,異なるAIタスクに対するベンチマーク性能利得は,非強化バーストの傾向がある,という事を,示す,ことを示した,そして,それは,多くのベンチマークが,広い利用を発見できないこと,および,異なるAIタスクに対するベンチマーク性能利得が,非強化バーストの傾向がある,という事を示していた。ベンチマークの人気に関連する属性を分析し,将来のベンチマークが汎用性,幅,および実世界の実用性を強調するべきであると結論づける。【JST・京大機械翻訳】

, , , , , , , , , , ,
, 【Automatic Indexing@JST】

計算機システム開発 , 人工知能 , 図形・画像処理一般

, , , , ,

前のページに戻る