文献

J-GLOBAL ID：202002268667766389   整理番号：20A0491310

クラウドソーシングにおける動的な回答収集による低コストな多数決手法

著者 (5件)： 森永聖也 (早稲田大) ,  斎藤奨 (早稲田大) ,  中野鐵兵 (早稲田大) ,  小林哲則 (早稲田大) ,  小川哲司 (早稲田大)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2020  号： HCI-186  ページ： Vol.2020-HCI-186,No.36,1-6 (WEB ONLY)  発行年： 2020年01月08日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 二値ラベリングのタスクを題材とし,更なる回答収集が必要と判断されたデータに対してのみ動的に回答を追加収集することにより,従来通りのラベル品質を保ちながらより安価に多数決を行う手法を提案する.クラウドソーシングにおける出力の品質向上のためには,1データあたり複数の回答を募り多数決を行う方法がしばしば用いられている.あらかじめ十分な数の回答が集まっていれば出力精度は大きく改善される一方,収集回答数に比例し金銭コストも増大するという問題がある.そこで本研究では(1)現時点で収集済みの回答を用いて多数決を行い(2)曖昧なデータは収集した回答数が足りないものと仮定し該当データのみ追加で回答を収集する.という手続きを収集回答数が収束するまで繰り返す手法を提案する.事前に用意したラベリングタスクを用いて評価実験を行った結果,全てのデータに対して同数の十分な回答を収集した場合と同等もしくはそれ以上の精度を達成しながら,最大で28%のコスト削減に成功した.(著者抄録)

シソーラス用語： アウトソーシング ,  インターネット ,  *データ収集 ,  *品質管理 ,  原価管理 ,  多数決論理 ,  評価試験 ,  機械学習 ,  アルゴリズム ,  アノテーション ,  標識 ,  二値論理 ,  シミュレーション
準シソーラス用語： *クラウドソーシング ,  二値ラベリング

分類 (2件)： その他の情報処理  (JE15050M) ,  品質管理一般  (KB04010A)

引用文献 (16件)：

• Deng, J. et al.: ImageNet: A large-scale hierarchical image database, 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. 248-255 (2009).
• Patterson, G. et al.: SUN attribute database: Discovering, annotating, and recognizing scene attributes, 2012 IEEE Conference on Computer Vision and Pattern Recognition, pp. 2751-2758 (2012).
• Chen et al.: Collecting Highly Parallel Data for Paraphrase Evaluation, Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Portland, Oregon, USA, Association for Computational Linguistics, pp. 190-200 (2011).
• Snow et al.: Cheap and Fast-but is It Good?: Evaluating Non-expert Annotations for Natural Language Tasks, Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP ’08, Stroudsburg, PA, USA, Association for Computational Linguistics, pp. 254-263 (2008).
• Sorokin, A. et al.: Utility data annotation with Amazon Mechanical Turk, 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, pp. 1-8 (2008).

タイトルに関連する用語 (5件)： クラウドソーシング ,  回答 ,  収集 ,  多数決 ,  手法