CLIP潜在による階層的テキスト条件画像生成【JST・京大機械翻訳】

Ramesh Aditya; Dhariwal Prafulla; Nichol Alex; Chu Casey; Chen Mark

プレプリント

J-GLOBAL ID：202202213046016201 整理番号：22P0331413

CLIP潜在による階層的テキスト条件画像生成【JST・京大機械翻訳】

Hierarchical Text-Conditional Image Generation with CLIP Latents

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年04月12日プレプリントサーバーでの情報更新日： 2022年04月12日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

CLIPのようなコントラストモデルは,意味論とスタイルの両方を捕捉する画像のロバスト表現を学習することが示されている。画像生成のためのこれらの表現を利用するために,テキストキャプションを与えるCLIP画像埋込みを生成する事前の2段階モデル,および画像埋込み上に調整された画像を生成する復号器を提案した。画像表現を明示的に生成することは,光現実感とキャプション類似性における最小損失で画像多様性を改善することを示した。また,画像表現に条件付けされた復号器は,その意味論とスタイルの両方を保存する画像の変動を生成でき,一方,画像表現から存在しない非必須詳細を変える。さらに,CLIPの関節埋込み空間は,ゼロショット方式で言語誘導画像操作を可能にする。事前の自己回帰と拡散モデルの両方を用いた復号器と実験に対する拡散モデルを使用し,後者が計算的により効率的で高品質試料を生成することを見出した。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

図形・画像処理一般

前のページに戻る