視覚的に接地された音声を用いた単語学習と認識のモデリング【JST・京大機械翻訳】

Merkx Danny; Scholten Sebastiaan; Frank Stefan L.; Ernestus Mirjam; Scharenborg Odette

プレプリント

J-GLOBAL ID：202202219064975826 整理番号：22P0303587

視覚的に接地された音声を用いた単語学習と認識のモデリング【JST・京大機械翻訳】

Modelling word learning and recognition using visually grounded speech

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月14日プレプリントサーバーでの情報更新日： 2022年03月14日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

背景:音声認識の計算モデルは,しばしば目標単語の集合が既に与えられると仮定する。これは,これらのモデルが事前知識と明示的な監督なしにスクラッチから音声を認識することを学習しないことを意味する。視覚的に接地された音声モデルは,発話と視覚入力の間の統計的依存性を利用することによって,事前知識なしで音声を認識することを学習する。以前に,視覚的に接地された音声モデルは入力における単語の存在を認識することを学習するが,人間の音声認識のモデルとしてそのようなモデルを明示的に調査する。方法:著者らは,その認識が人間の音声処理におけるよく知られた単語競合効果によって影響を受けるかどうかをテストするために,ゲーティングパラダイムを用いて,このモデルによってシミュレートされた単語認識の経時変化を調査した。さらに,離散表現学習のための技法であるベクトル量子化が,単語の発見と認識におけるモデルを支援するかどうかを調査した。結果/結論:著者らの実験は,このモデルが分離における名詞を認識でき,複数と特異名詞の間で適切に識別できることを示している。また,認識は単語初期コホートと近隣密度からの単語競争により影響を受け,人間の音声理解における単語競争効果を反映することを見出した。最後に,ベクトル量子化が単語の発見と認識に役立つという証拠はない。著者らのゲーティング実験は,ベクトル量子化モデルが正しい認識のためにより多くの入力シーケンスを必要とすることを示した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

パターン認識

, , , , ,

前のページに戻る