動的AIベンチマークタスクを生成するためのフレームワーク【JST・京大機械翻訳】

Thrush Tristan; Tirumala Kushal; Gupta Anmol; Bartolo Max; Rodriguez Pedro; Kane Tariq; Rojas William Gaviria; Mattson Peter; Williams Adina; Kiela Douwe

プレプリント

J-GLOBAL ID：202202208882416300 整理番号：22P0325403

動的AIベンチマークタスクを生成するためのフレームワーク【JST・京大機械翻訳】

Dynatask: A Framework for Creating Dynamic AI Benchmark Tasks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (10件)： , , , , , , , , ,
資料名：
発行年： 2022年04月04日プレプリントサーバーでの情報更新日： 2022年04月04日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

Dynaタスク,すなわち,最新のNLPモデルの評価と評価に要求される技術的知識と努力を,また,クラウド研究者によるループデータ収集の伝導モデルに対して,非常に低めることを意図する,カスタムNLPタスクを設定するためのオープンソースシステムを紹介した。DynaタスクはDynabenchと統合され,ループデータ収集と評価における人間とモデルを容易にするAIにおけるベンチマークを再考するための研究プラットフォームである。タスクを生成するために,ユーザは,関連するWebインタフェースとモデルホストインフラストラクチャを自動的に生成する短いタスク構成ファイルを書き込む必要がある。システムはhttps://dynabench.org/で利用可能であり,フルライブラリーはhttps://github.com/facebookresearch/dynabenchで見つけることができる。【JST・京大機械翻訳】

, , , , , ,
, , 【Automatic Indexing@JST】

計算機網 , オペレーティングシステム , ディジタル計算機方式一般

, , ,

前のページに戻る