抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
すべてのグラフィカルユーザインタフェイスは,それらの相互作用に依存してユーザに示される1つ以上のスクリーンから成る。スクリーン上で起こる変化のタイプの理解と理解の異なったスクリーンの同定は,自動アプリクローリング,アプリケーション自動化マクロの再生,および大規模アプリデータセット解析を含む多くの分野で適用可能な挑戦的なタスクである。例えば,スクリーンが現在視聴しているかどうかは,それが遭遇した以前のスクリーンと同じであるかどうかを理解する必要があるので,それはまだ調査されていないアプリケーションの部分に関するその努力に焦点を合わせることができる。さらに,どのような対話やキーボードが開かれたか,あるいは閉じるかのようなスクリーン上の変化のタイプを同定することは,クローリング中にそのようなイベントを処理するための自動クローラーにとって有用である。スクリーン関係の理解は,例えばデータベースバックアプリケーション,スクロール,対話ボックス開口または閉鎖,またはコンテンツ負荷遅延における異なるコンテンツのため,同じスクリーンのインスタンスが視覚的および構造的変化を有するので,困難なタスクである。同時に,同じアプリケーションからの異なるスクリーンのインスタンスは,設計,構造,およびコンテンツに関していくつかの類似性を共有するかもしれない。本論文は,1K以上のiPhoneアプリケーションからのスクリーンショットのデータセットを用いて,異なる方法での類似性を理解する2つのMLモデルを訓練した。(1)単一アプリケーションからのスクリーンショットの収集から同じスクリーンのインスタンスを認識するために,UIオブジェクト検出器を変圧器モデルアーキテクチャと組合せるスクリーン類似性モデル,および(2)類似性と対話ボックスが出現するか,または,対話ボックスが見えるか,または消えるか,または,スクロールする,2つの事象の類似と3つのタイプの両方を識別するためのスクリーン変換モデル,を共用する,および2つのイベントの2つの類似性と3つのタイプの両方を同定する。”1つの類似点”と”2つの事象”の2つの類似性と3つのタイプの事象を識別できる,スクリーン変換モデル,を,単一アプリケーションからのスクリーンショットの収集から同じスクリーンのインスタンスを認識すること。著者らのモデルは,スクリーン類似性タスクに関して0.83のF1スコアを達成して,比較基準に関して改良して,遷移タスクにおいてすべての事象を通して0.71の平均F1スコアを達成した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】