注意重み付きイベントベース埋込みを用いた自動オーディオキャプション【JST・京大機械翻訳】

Bhosale Swapnil; Chakraborty Rupayan; Kopparapu Sunil Kumar

プレプリント

J-GLOBAL ID：202202215351189860 整理番号：22P0281512

注意重み付きイベントベース埋込みを用いた自動オーディオキャプション【JST・京大機械翻訳】

Automatic Audio Captioning using Attention weighted Event based Embeddings

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年01月28日プレプリントサーバーでの情報更新日： 2022年01月28日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

自動Audio Captioning(AAC)は,オーディオイベント,イベントの源およびそれらの関係を記述する自然言語に音声を翻訳するタスクに言及する。現在,AACデータセットの限られたサンプルが,親タスクとしてAudioイベント検出(AED)による転送学習を組み込む傾向を設定した。この方向に向けて,本論文では,AACのための軽量(即ち,学習可能パラメータが少ない)Bi-LSTM再帰層を有する符号器デコーダアーキテクチャを提案し,埋込み抽出器として2つの最先端の事前訓練AEDモデルの性能を比較した。結果は,時間的注意と増強技術と組み合わせた効率的なAEDベースの埋込み抽出器が,計算集約アーキテクチャで既存の文献を凌駕できることを示した。さらに,各トークンを生成しながら,オーディオの特定の部分上の復号器のランスりを容易にするために,著者らのモデルの一部として生成された非一様注意加重符号化の能力の証拠を示した。【JST・京大機械翻訳】

, , , , , , , , ,
, , 【Automatic Indexing@JST】

パターン認識 , 音声処理

, , , ,

前のページに戻る