テーブルプレトレーニング:モデルアーキテクチャ,プレトレーニング目的および下流タスクに関する調査【JST・京大機械翻訳】

Dong Haoyu; Cheng Zhoujun; He Xinyi; Zhou Mengyu; Zhou Anda; Zhou Fan; Liu Ao; Han Shi; Zhang Dongmei

プレプリント

J-GLOBAL ID：202202213500932749 整理番号：22P0278905

テーブルプレトレーニング:モデルアーキテクチャ,プレトレーニング目的および下流タスクに関する調査【JST・京大機械翻訳】

Table Pre-training: A Survey on Model Architectures, Pre-training Objectives, and Downstream Tasks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (9件)： , , , , , , , ,
資料名：
発行年： 2022年01月24日プレプリントサーバーでの情報更新日： 2022年04月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

Webページ,スプレッドシート,PDF,および様々な他の文書タイプから膨大な数のテーブルを容易に収集できるので,テキストと画像の成功に従ってテーブルプレトレーニングフレームワークのフルリーを提案し,それらはテーブル質問回答,テーブルタイプ認識,カラム関係分類,テーブル探索,公式予測などの様々なタスクに関する新しい最先端技術を達成した。非ラベルテーブルにおける監視信号を完全に利用するために,様々な事前訓練目的を設計し,例えば,雑音除去セル値,数値関係を予測し,SQLを暗黙的に実行して評価した。そして,(半)構造化テーブルの特性に,特に特別に設計された注意機構で,様々な表明言語モデルを検討した。テーブルは,通常,自由形式テキストと相互作用して相互作用するので,テーブルプレトレーニングは,通常,テーブルテキストジョイントプレトレーニングの形式をとり,そしてそれは,多重ドメインから重要な研究興味を引きつけた。本調査は,テーブル予訓練のための異なるモデル設計,事前訓練目的,および下流タスクの包括的なレビューを提供し,さらに,既存の課題と将来の機会に関する著者らの思考とビジョンを共有した。【JST・京大機械翻訳】

, , , , , , , , ,
, 【Automatic Indexing@JST】

データベースシステム , 図形・画像処理一般

, , , , ,

前のページに戻る