スマートフォンアプリケーションのスクリーンショットからのスクリーン関係の理解【JST・京大機械翻訳】

Feiz Shirin; Wu Jason; Zhang Xiaoyi; Swearngin Amanda; Barik Titus; Nichols Jeffrey

文献

J-GLOBAL ID：202202248756758004 整理番号：22A1062714

スマートフォンアプリケーションのスクリーンショットからのスクリーン関係の理解【JST・京大機械翻訳】

Understanding Screen Relationships from Screenshots of Smartphone Applications

出版者サイト複写サービスで全文入手
高度な検索・分析はJDreamⅢで {{ this.onShowJLink("http://jdream3.com/lp/jglobal/index.html?docNo=22A1062714&from=J-GLOBAL&jstjournalNo=D0698C") }}

著者 (6件)： , , , , ,
資料名：
号： IUI ’22 ページ： 447-458 発行年： 2022年
JST資料番号： D0698C 資料種別：会議録 (C)
記事区分：原著論文発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

すべてのグラフィカルユーザインタフェイスは,それらの相互作用に依存してユーザに示される1つ以上のスクリーンから成る。スクリーン上で起こる変化のタイプの理解と理解の異なったスクリーンの同定は,自動アプリクローリング,アプリケーション自動化マクロの再生,および大規模アプリデータセット解析を含む多くの分野で適用可能な挑戦的なタスクである。例えば,スクリーンが現在視聴しているかどうかは,それが遭遇した以前のスクリーンと同じであるかどうかを理解する必要があるので,それはまだ調査されていないアプリケーションの部分に関するその努力に焦点を合わせることができる。さらに,どのような対話やキーボードが開かれたか,あるいは閉じるかのようなスクリーン上の変化のタイプを同定することは,クローリング中にそのようなイベントを処理するための自動クローラーにとって有用である。スクリーン関係の理解は,例えばデータベースバックアプリケーション,スクロール,対話ボックス開口または閉鎖,またはコンテンツ負荷遅延における異なるコンテンツのため,同じスクリーンのインスタンスが視覚的および構造的変化を有するので,困難なタスクである。同時に,同じアプリケーションからの異なるスクリーンのインスタンスは,設計,構造,およびコンテンツに関していくつかの類似性を共有するかもしれない。本論文は,1K以上のiPhoneアプリケーションからのスクリーンショットのデータセットを用いて,異なる方法での類似性を理解する2つのMLモデルを訓練した。(1)単一アプリケーションからのスクリーンショットの収集から同じスクリーンのインスタンスを認識するために,UIオブジェクト検出器を変圧器モデルアーキテクチャと組合せるスクリーン類似性モデル,および(2)類似性と対話ボックスが出現するか,または,対話ボックスが見えるか,または消えるか,または,スクロールする,2つの事象の類似と3つのタイプの両方を識別するためのスクリーン変換モデル,を共用する,および2つのイベントの2つの類似性と3つのタイプの両方を同定する。”1つの類似点”と”2つの事象”の2つの類似性と3つのタイプの事象を識別できる,スクリーン変換モデル,を,単一アプリケーションからのスクリーンショットの収集から同じスクリーンのインスタンスを認識すること。著者らのモデルは,スクリーン類似性タスクに関して0.83のF1スコアを達成して,比較基準に関して改良して,遷移タスクにおいてすべての事象を通して0.71の平均F1スコアを達成した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, 【Automatic Indexing@JST】

著者キーワード (3件)： , ,

人間機械系

, , ,

前のページに戻る