文献

J-GLOBAL ID：201702251467360236   整理番号：17A0238885

長期オンライン制御実験の落とし穴【Powered by NICT】

Pitfalls of long-term online controlled experiments

著者 (5件)： Dmitriev Pavel (Analysis and Experimentation, Microsoft Corporation, Redmond, WA 98052, USA) ,  Frasca Brian (Analysis and Experimentation, Microsoft Corporation, Redmond, WA 98052, USA) ,  Gupta Somit (Analysis and Experimentation, Microsoft Corporation, Redmond, WA 98052, USA) ,  Kohavi Ron (Analysis and Experimentation, Microsoft Corporation, Redmond, WA 98052, USA) ,  Vaz Garnet (Analysis and Experimentation, Microsoft Corporation, Redmond, WA 98052, USA)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2016  号： Big Data  ページ： 1367-1376  発行年： 2016年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： オンライン制御された実験(例えば,A/B試験)は,製品開発を導くとソフトウエアの革新を加速するために使用するのが常である。製品アイデアは科学的仮説として評価し,Webサイト,モバイルアプリケーション,デスクトップアプリケーション,サービス,及びオペレーティングシステムの特徴上で試験した。制御された実験を実行する組織のための重要な課題の一つは,総合評価基準(OEC),すなわち,異なる変異体を評価するための基準を選択することである。困難さは,計量への短期変化は変化の長期影響を予測しないかもしれないことである。例えば,ユーザは放棄として価格上昇は短期収入を増加させるが,長期収入(顧客生涯価値)を減少させる可能性がある。探索エンジンにおける分解検索結果は,ユーザがより検索,質問シェアは短期増加が,放棄を増加させ,その結果長期顧客生涯価値を低減させた。理想的には,OECは長期値の良好な予測子であることを短期実験におけるメトリックスに基づいている。長期的影響を評価するために,一つの方法は長期制御された実験を実行し,長期効果は,観察された測定基準で表されることを仮定することである。本論文では,長期実験のいくつかの例とその走行に伴うピットフォールを共有する。クッキー安定性,生存バイアス,選択バイアスおよび知覚傾向を議論し,これらの課題のいくつかを検討部分的に使用できる方法論を共有している。長期傾向を評価する値であるが,長期実験を実行する実験者は注意しなければならない,結果は治療と制御間の真のデルタ以上以上の落とし穴に起因する可能性がある。実例と解析は問題に読者を増感し,この重要な問題のための新しい方法論の開発を促進することを希望する。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： バイアス ,  製品開発 ,  オペレーティングシステム ,  ソフトウェア ,  増感 ,  クッキー ,  *オンライン制御
準シソーラス用語： 長期試験 ,  長期効果 ,  メトリックス ,  予測子 ,  価格高騰 ,  総合評価 ,  モバイルアプリケーション ,  Webサイト , 【Automatic Indexing@JST】

分類 (1件)： オペレーティングシステム  (JD03020J)

タイトルに関連する用語 (3件)： 長期 ,  オンライン ,  制御実験