抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
GPT-2とCLIPにより形成される文脈化英語言語表現の幾何学と意味特性を比較することにより,画像キャップを符号化するためにGPT-2アーキテクチャを適応させるゼロショットマルチモーダル画像分類器である,コントラスト視覚意味事前訓練の効果を調べる。コントラスト的視覚意味予訓練は,GPT-2の層内自己相似性(平均対余弦類似性)が,GPT-2の最上層において0.95より大きいことと比較して,GPT-2からの文脈化単語埋込みにおいて見い出された異方性を著しく緩和することを発見した。”CLIP単語埋込み”の層内自己相似性(平均対余弦類似性)は,全層において0.25以下であった。CLIP単語埋込みは,単語レベルの意味的固有評価タスクでGPT-2を凌駕し,0.88でRG65評価のための最新のコーパスベース状態を達成した。また,CLIPは文の細粒意味表現を形成し,GPT-2のどの層においてもrho=0.45より大きくないように,SemEval-2017セマンティックTextual Textuality Benchmarkにおいて,SemEval-2017意味的類似性Benchmark上でSpearmanのrho=0.73を得た。最後に,CLIP文埋込みの層内自己相似性は,層指数が増加するにつれて減少し,最上層で0.25で終了し,一方,EOSトークンを用いて形成したGPT-2文章埋込みの自己相似性は,層オーバー層を増加させ,0.97以下では減少しなかった。その結果,高異方性は文脈化の必然的結果ではなく,視覚意味予訓練は視覚表現を順序付けするだけでなく,単語レベルおよび文章レベルの両者で言語の有用な意味表現を符号化するために有益であることを示した。【JST・京大機械翻訳】
