ビジュアルストーリーテリングのためのグループ毎意味論による知識強化注意ネットワーク【JST・京大機械翻訳】

Li Tengpeng; Wang Hanli; He Bin; Chen Chang Wen

プレプリント

J-GLOBAL ID：202202207856557993 整理番号：22P0301996

ビジュアルストーリーテリングのためのグループ毎意味論による知識強化注意ネットワーク【JST・京大機械翻訳】

Knowledge-enriched Attention Network with Group-wise Semantic for Visual Storytelling

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月10日プレプリントサーバーでの情報更新日： 2022年03月10日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

技術的に挑戦的なトピックとして,視覚ストリートリングは,関連する画像のグループから,ナラティブなマルチエンタンスを有する虚数でコヒーレントなストリーを生成することを目的とする。既存の方法は,画像を越えた暗黙情報を探索することができないので,見かけの画像ベースコンテンツの直接および剛体記述を生成することが多い。したがって,これらのスキームは全体的表現から一貫した依存性を捉えることができず,合理的で合流的な物語の生成を損なう。これらの問題に取り組むために,グループワイズ意味モデルを有する新規知識強化注意ネットワークを提案した。3つの主な新しい構成要素を設計し,実際的利点を明らかにするために,実質的実験によって支持した。最初に,知識強化注意ネットワークを設計して,外部知識システムから暗黙概念を抽出し,これらの概念を,想像的および具体的表現を特徴づけるために,カスケード交差モード注意機構によって追跡した。第2に,2次プールを有するグループワイズ意味モジュールを開発し,グローバルに一貫したガイダンスを探った。第3に,エンコーダ-デコーダ構造による統一1段階層生成モデルを,同時に,知識強化注意ネットワーク,グループワイズ意味モジュール,およびマルチモーダル層生成復号器を,エンドツーエンド方式で訓練し,推論するために提案する。客観的および主観的評価メトリックスの両方を有する一般的なVisual Storyellingデータセットに関する実質的実験は,他の最先端の方法と比較して,提案した方式の優れた性能を示した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

図形・画像処理一般

, , , ,

前のページに戻る