文献

J-GLOBAL ID：202202236332048354   整理番号：22A0310974

画像キャプションのための知識蒸留の再検討【JST・京大機械翻訳】

Revisiting Knowledge Distillation for Image Captioning

著者 (3件)： Dong Jingjing (Hefei University of Technology, Hefei, Anhui, China) ,  Hu Zhenzhen (Hefei University of Technology, Hefei, Anhui, China) ,  Zhou Yuanen (Hefei University of Technology, Hefei, Anhui, China)
資料名： Lecture Notes in Computer Science  (Lecture Notes in Computer Science)
巻： 13069  ページ： 613-625  発行年： 2022年 
JST資料番号： H0078D  ISSN： 0302-9743  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： モデル圧縮とモデル性能の改善のための効果的な技術としての知識蒸留(KD)[6]は広く研究され採用された。しかし,ほとんどの以前の研究は,画像分類とシーケンス生成(例えば,ニューラルマシン翻訳のような)に関して焦点を合わせた。また,画像キャプテーションのための少数の研究がKDを組み込んだが,それらは主に訓練トリックとしてそれを扱うことに注目した。対照的に,本研究では,一連の実験を行うことによって,画像キャプテーションタスクの文脈においてKDを徹底的に調査した。特に,標準語レベルKDを画像キャプテーションモデルに適用し,交差モデル蒸留と自己蒸留を調べた。著者らは,自己蒸留が,教師のアーキテクチャの選択に時間を費やさずに,競合性能を達成できる実用的選択であることを発見した。ニューラルマシン翻訳(NMT)[11]のためのシーケンスレベル蒸留に触発されて,著者らは次に,画像キャプテーションのためにそれを採用して,修正して,競合性能を,わずかな性能劣化のコストでのビーム探索の必要性を除去することによって,資源の第1fifthだけを用いて得ることができて,推論の速度を,著しく改良することができた。NMTに対してBERT[19]を蒸留することにより,著者らは最終的にVL-BERT[12]を蒸留し,その双方向性を活用することにより,キャプテーションモデルを前方に探索することを試みた。Copyright Springer Nature Switzerland AG 2021 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 分類 ,  *蒸留 ,  *画像 ,  捕獲 ,  モデル ,  文脈 ,  計算機アーキテクチャ
準シソーラス用語： 性能劣化 ,  画像分類 ,  双方向性 ,  キャプション ,  ビーム探索 , 【Automatic Indexing@JST】

著者キーワード (3件)： 画像捕獲 ,  知識蒸留 ,  VL-BERT

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (2件)： キャプション ,  知識蒸留