スケールにおける署名:大規模写真-現実的手話生成のための共調律記号への学習【JST・京大機械翻訳】

Saunders Ben; Camgoz Necati Cihan; Bowden Richard

プレプリント

J-GLOBAL ID：202202200656604208 整理番号：22P0312004

スケールにおける署名:大規模写真-現実的手話生成のための共調律記号への学習【JST・京大機械翻訳】

Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Photo-Realistic Sign Language Production

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月29日プレプリントサーバーでの情報更新日： 2022年03月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

音声言語は視覚言語であり,話し言葉は話し言葉の言語として豊富である。しかしながら,現在の深層学習ベースのSign言語生産(SLP)モデルは,制約されたボカブリーから最先端の骨格姿勢シーケンスを生成し,この限界適用可能性を制限する。デーフにより理解され,受け入れられるため,自動SLPシステムは,ディスコースの大きなドメインに対して,共関節光-現実的署名配列を生成する必要がある。本研究では,辞書記号間の共関節を学習することにより大規模SLPを取り上げ,円滑な署名を生成できる方法であり,一方,ディスコースの制約のないドメインにスケーリングする。符号協調学習を学習するために,連続署名シーケンスに対する補間辞書符号の時間アラインメントを改善する新しいフレーム選択ネットワーク(FS-Net)を提案した。さらに,SignGAN,すなわち,スケルトン姿勢から直接光現実的な符号言語ビデオを生成する姿勢条件付き人間合成モデルを提案した。合成手画像の品質を改善する新しいキーポイントベース損失関数を提案した。大規模meineDGS(mDGS)コーパスに関するSLPモデルを評価し,このFS-Net手法を示す広範なユーザ評価を行い,補間辞書符号の共調整を改善した。さらに,SignGANは,定量的メトリックス,人間の知覚研究,およびネイティブデーフ署名者理解のためのすべてのベースライン法よりも著しく優れていることを示す。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

パターン認識 , 自然語処理

, , , , , ,

前のページに戻る