プリズムを通した言語:マルチスケール言語表現のためのスペクトルアプローチ【JST・京大機械翻訳】

Tamkin Alex; Jurafsky Dan; Goodman Noah

プレプリント

J-GLOBAL ID：202202203535290922 整理番号：22P0208264

プリズムを通した言語:マルチスケール言語表現のためのスペクトルアプローチ【JST・京大機械翻訳】

Language Through a Prism: A Spectral Approach for Multiscale Language Representations

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年11月09日プレプリントサーバーでの情報更新日： 2020年11月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

言語は,サブワードから単語,文,パラグラフ,および文書までの異なるスケールで構造を示す。どの程度深いモデルがこれらのスケールで情報を捉えるか,そして,著者らは,それらをこの階層構造を通してより良い捕獲構造に力づけることができる。著者らは,個々のニューロンに焦点を合わせてこの問題にアプローチし,異なる時間スケールでのそれらの活性化の挙動を分析した。信号処理は,スケールを横切る構造を分離するための自然なフレームワークを提供し,既存の埋込みにおけるスケール固有の情報と2)より特定のスケールを学習するための訓練モデルを可能にすることを示した。具体的には,入力を横切るニューロンの活性化にスペクトルフィルタを適用し,音声タグ付け(語レベル),対話音声行動分類(発話レベル),またはトピック分類(文書レベル)の一部でよく機能するフィルタリング埋込みを生成し,一方,他のタスクではほとんど実行しなかった。また,異なるスケールにおける構造をモデル化するために,異なるニューロンを制約するためにスペクトルフィルタを使用する訓練モデルのためのプリズム層を提示した。提案したBERT+Prismモデルは,長範囲コンテキストを用いてマスクトークンをより良く予測でき,発話と文書レベルタスクでより良いマルチスケール表現を生成する。この方法は一般的であり,画像,オーディオ,ビデオのような言語以外の他のドメインに容易に適用可能である。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, 【Automatic Indexing@JST】

情報加工一般 , パターン認識 , 自然語処理

, , , ,

前のページに戻る