大模型系列

DeepSeek-R1蒸馏版本模型，低配置电脑也能跑(作者这里使用的是deepseek-r1:1.5b) JetBrains系列IDE(以PyCharm为例) + CodeGPT插件 + Ollama

RAG全称是Retrieval-Augmented Generation，即检索增强生成。通俗来讲,就是在用户提的问题的基础上，引入相关资料信息，把“问题+相关资料” 一起给大模型，让大模型在参考资料

探索DeepSeek时无意中发现两个“小插曲”，这也让我有所感悟：人是被环境塑造的，模型是被数据塑造的。

本文要介绍的是字节跳动的Coze(扣子)平台，这是一个面向大众的低门槛的智能体构建平台。使用者不需要写代码，也不需要具备AI知识，按照平台的使用指导，就可以构建出功能丰富的AI应用，并且可以将它们发布

自ChatGPT爆火以来，各大厂商都争先推出了自家的大模型，目前国内外市面上的大模型多到让人眼花缭乱，它们的能力并没有特别明显的差异，只是各有特色和侧重点。

CLIP(Contrastive Language-Image Pre-training)是OpenAI(因为推出ChatGPT而广为人知的一个组织)所发布的一个文本与图像匹配模型。 它的原理很简单

Transformer开启了大语言模型时代，Vision Transformer则是打破了自然语言处理(NLP)和计算机视觉(CV)在技术差异上的壁垒，在一些图像识别任务的测试对比中表现出与CNN相媲

本文将剖析Transformer关于注意力机制的几个技术要点，包括encoder端的自注意力机制、decoder端的masked自注意力机制(训练阶段需要，推理阶段也需要)以及decoder端的交叉注