CLIP 系列
介绍CLIP (Contrastive Language-Image Pre-Training) 是 OpenAI 在 2O21 年发布的一个预训练模型，用于匹配图像和文本。它是多模态研究领域的经典之作。 论文： Learning Transferable Visual Models From Natural Language Supervision 模型结构CLIP模型包含两个主要部分： T
Qwen 系列
QwenQwen 2Qwen 2.5Qwen-VL项目地址： https://github.com/QwenLM/Qwen-VL论文： Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond 模型架构大型语言模型(Large Language Model
BLIP 系列
BLIP背景BLIP(Bootstrapping Language-Image Pre-training)是一种统一的视觉语言理解与生成的预训练模型。其核心思想是通过 Bootstrapping 方法，利用 Captioner-Filter 机制生成高质量的文本标注，从而提高数据的质量和数量。BLiP 通过多模态混合结构 （Multimodal mixture of Encoder-Decoder
微调
微调微调一个模型的流程收集数据 →\rightarrow→ 数据处理/清洗 →\rightarrow→ 选择合适模型/loss →\rightarrow→ 添加特定任务头层 →\rightarrow→ 冻结部分参数 →\rightarrow→ 设定超参数 →\rightarrow→ 模型训练 →\rightarrow→ 模型评估 LoRA 微调 核心思想: 参数优化量可以是低秩的，映射到低维空间下
Tokenizer
正向/逆向最大匹配法正向最大匹配法（Forward Maximum Matching, FMM）：从左到右扫描句子，每次取最长的匹配词。逆向最大匹配法（Backward Maximum Matching, BMM）：从右到左扫描句子，每次取最长的匹配词。 优点：实现简单，高效。在词典较完善时效果较好。 缺点：对歧义的处理能力弱。不能有效处理未登录词（OOV，Out-of-Vocabulary）
Attention 算法
自注意力(Self-Attention)Q=X⋅WQ,K=X⋅WK,V=X⋅WVAttention(Q,K,V)=softmax(QKTdk)VX.shape:[B,T,D],W.shape:[D,D],dk=D \begin{aligned} & Q = X \cdot W_Q, \quad K = X \cdot W_K, \quad V = X \cdot W_V \\ &