文献

J-GLOBAL ID：201402294690779736   整理番号：14A0553055

ヒューマンコンピュテーションとクラウドソーシング ヒューマンコンピュテーションの品質管理

著者 (1件)： 小山聡 (北大 大学院情報科学研究科)
資料名： 人工知能  (人工知能学会誌)
巻： 29  号： 1  ページ： 27-33  発行年： 2014年01月01日 
JST資料番号： X0330A  ISSN： 2188-2266  資料種別： 逐次刊行物 (A)
記事区分： 解説  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ヒューマンコンピュテーションは計算品質における不確実性が大きく,品質を確保する手段が必要である。本論文では,ヒューマンコンピュテーションで計算を担う人間(ワーカ)の計算精度を高める手法,及び個々のワーカが間違っていても全体としての精度に影響させない誤り訂正方法について解説した。前者には,1)ワーカの能力を測る指標を用いたワーカの選択,2)項目反応理論を用いてタスクの難易度を考慮したワーカの評価,3)ワーカによる作業品質の自己申告の利用,4)動機付けやインセンティブの付与による品質向上,5)作業過程のモニタリングによる品質管理といった方策がある。また,後者としてはワーカの能力によって重みを付けて多数決をとる方法が挙げられるが,実際には正解がわかっていないデータに関するワーカの作業結果から,ワーカの能力推定と正解の推定を同時に行う必要がある。具体的に,i)正解を隠れ変数としてEM法で解くDawid-Skeneの方法,ii)タスクの難しさを考慮するWhitehillらの方法,iii)i)を拡張してタスクに対するワーカの自信を考慮するモデルを示した。さらに,品質管理プロセス全体を最適化するためにラベルの不確実性を計算してタスク選択を効率化する方法,及び能力の違いを考慮してワーカ選択を効率化する方法を紹介した。

シソーラス用語： *アウトソーシング ,  *ヒューマンパフォーマンス ,  ゲーム ,  *品質管理 ,  計算機システム ,  賃金 ,  重みづけ ,  動機づけ ,  タスクパフォーマンス ,  不確実性 ,  最適化 ,  誤り訂正
準シソーラス用語： インセンティブ ,  *クラウドソーシング ,  *ヒューマンコンピュテーション ,  マスタワーカシステム ,  モチベーション

分類 (2件)： その他の情報処理  (JE15050M) ,  品質管理一般  (KB04010A)

引用文献 (22件)：

• [Baba 13] Baba, Y. and Kashima, H.: Statistical quality estimation for general crowdsourcing tasks, KDD (2013)
• [Dawid 79] Dawid, A. P. and Skene, A. M.: Maximum likelihood estimation of observer error-rates using the EM algorithm, J. Royal Statistical Society, Series C (Applied Statics), Vol. 28, No.1, pp. 20-28 (1979)
• [Donmez 09] Donmez, P., Carbonell, J. G. and Schneider, J.: Efficiently learning the accuracy of labeling sources for selective sampling, KDD (2009)
• [Ipeirotis 09] Ipeirotis, P.: How good are you, Turker? (2009), http://www.behind-the-enemy-lines.com/2009/01/how-good-are-you-turker.html
• [Ipeirotis 10] Ipeirotis, P. G., Provost, F. and Wang, J.: Quality management on Amazon Mechanical Turk, HCOMP (2010)

タイトルに関連する用語 (2件)： クラウドソーシング ,  品質管理