论文: https://arxiv.org/abs/2010.05222代码: https://github.com/deepinsight/insightface/tree/master/recognition/partial_fc 动机解决人脸识别中随着样本数量增大的情况下，GPU计算无法负载的情况。同时保证在低计算资源的情况下能够达到全类别分类的准确率batch size=64，embedd

论文: https://arxiv.org/abs/2503.15485项目地址: https://github.com/tulip-berkeley/open_clip 背景CLIP 和 SigLIP 图文对比学习在需要高保真的图像理解任务，如计数、细粒度物体识别中效果不行。因为 CLIP 和 SigLIP 通过执行语言对齐，往往优先考虑高级语义(意思就是大致内容)而非视觉理解，从而削弱了图像理

SigLIP项目地址: https://github.com/google-research/big_vision/blob/main/big_vision/trainers/proj/image_text/siglip.py论文: Sigmoid Loss for Language Image Pre-Training 背景在CLIP预训练时使用softmax函数会产生数值不稳定现象，因此作者尝

虾皮图搜论文: Shopee Technical Report 方法 query：纯图片，编码为 embedding item：召回项目，图片和对应文本单独 embedding，然后将两个 embedding 融合为一个 embedding 模型结构 图像编码器：Swin Transformer 文本编码器：Bert 模态融合模块：6 层 merge attention（论文说比 cross-

什么是 RLHF？基于人类反馈的强化学习（RLHF）是一种机器学习（ML）技术，它利用人类反馈来优化 ML 模型，从而更有效地进行自我学习。强化学习技术可训练软件做出可最大限度地提高回报的决策，使其结果更加准确。RLHF 将人类反馈纳入奖励功能，因此 ML 模型可以执行更符合人类目标、愿望和需求的任务。 RLHF流程 数据收集 监督微调 SFT 构建单独的奖励模型 使用基于奖励的模型优化语言模型

模型推理在大模型推理的时候，我们最看重的是两个指标： 吞吐量： 吞吐量代表了大模型单位时间内处理 Tokens 的数量，这里的 Tokens 一般指输入和输出Tokens数量的总和。在 Infra 条件一样的情况下，吞吐量越大，大模型推理系统的资源利用效率更高，推理的成本也就是更低 时延： 时延是针对最终用户而言的。时延用户平均收到每个Token所花费的时间，业务通常认为这个数值如果小于50ms

什么是 vLLM？一言以蔽之: vLLM是一个开源框架，通过PagedAttention算法有效管理大语言模型的注意力内存，提升了吞吐量和内存使用效率。其特点包括24倍的吞吐提升和3.5倍的TGI性能，无需修改模型结构。文章详细介绍了vLLM的离线推理流程，包括KV Cache优化、内存管理和内存共享机制。 vLLM 的特点和优势： 采用了 Paged Attention，可以有效管理 Atte

绝对位置编码相对位置编码可学习位置编码旋转位置编码(RoPE)

待更新Github 仓库：https://github.com/GuoKent/DeepSeek-WeChatBot

DeepSeek-V2论文：DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model DeepSeek-V3DeepSeek-R1论文： DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Lea