jjzjj

OpenCLIP

全部标签

AIGC系列之:CLIP和OpenCLIP

目录模型背景CLIP模型介绍相关资料原理和方法ImageEncoderTextEncoder对比学习预训练ZeroShot预测优势和劣势总结OpenClip模型介绍相关资料原理结果用法模型总结模型背景StableDiffusion主要由三个核心模块组成:TextEncoder(文本编码器)ImageInformationCreator(图像信息生成器)ImageDecoder(图像生成器)        文本编码器负责处理语义信息。通常是利用CLIP(v1版本)、OpenCLIP(v2版本)等模型将人类语言(文字)编码为计算机语言(语义向量)。训练CLIP(OpenCLIP)则需要一个图文配对