変圧器は記号規則を知り,それを知っていますか?【JST・京大機械翻訳】

Grondahl Tommi; Guo Yujia; Asokan N.

プレプリント

J-GLOBAL ID：202202205970545340 整理番号：22P0296812

変圧器は記号規則を知り,それを知っていますか?【JST・京大機械翻訳】

Do Transformers know symbolic rules, and would we know if they did?

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年02月19日プレプリントサーバーでの情報更新日： 2023年03月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

NLPで使われる主要な変圧器ネットワークの説明可能性を改善するために,単に連想入力-出力パターンから真の記号的規則を切り離すことが重要である。しかし,最近のNLP文献において,「sy性がどのように構築されたかにおけるいくつかの不一致を同定した。この問題を緩和するために,システム内部アーキテクチャと抽象ルールと特定の入力アイデンティティ間の解離に対する2つの基準を提案し,この観点から,変換者の記号容量に関する事前研究を批判的に調べ,その結果を,実験設計に固有の理由のために基本的に結論づける。さらに,この問題への単純な固定がないので,全てのエンドツーエンド設定において,その程度からある程度まで起こるので,非記号的説明が一見記号的タスクにおける成功のために存在するかどうかのよりロバストな評価の必要性を強調した。これを容易にするために,2つの実験設定におけるT5変換機に関する4つの配列モデリングタスク,すなわちゼロショット一般化と訓練と試験セットの間のクラス固有語彙の一般化の間の一般化について実験した。著者らは,T5の一般化が,これに基づく比較可能な分類タスクよりもシーケンスツーシーケンスタスクにおいて著しく強いことを観察し,ここでは,変換器自体が,外部メモリコンポーネントとして入力と出力で動作するプロセッサとして記号的アーキテクチャの一部に記号する必要のない,これまで見落とされた解析を提案した。【JST・京大機械翻訳】

, , , , , , , , , ,
, 【Automatic Indexing@JST】

ロボットの設計・製造・構造要素 , ロボットの運動・制御

, ,

前のページに戻る