AI技术总览

vLLM 现已支持 DeepSeek V4 系列模型（deepseek-ai/DeepSeek-V4-Pro 和 deepseek-ai/DeepSeek-V4-Flash）。 这些模型采用了一种高效

一、技术背景 1.1 生成式AI基础架构 生成式推荐系统的核心是利用生成式模型（尤其是大语言模型）来生成个性化的推荐内容。其基础架构通常包含以下关键组件： 生成式核心模型： 核心：大语言模型。

一 什么是 OpenClaw OpenClaw 是一个多平台 AI 网关，它协调消息渠道和 AI 编码代理之间的对话。它充当个人 AI 助手系统，您可以将其运行在自己的设备上。 核心能力 OpenCl

Agent Skills介绍 Agent Skills是一种为AI智能体引入可共享专业技能的开发方式，技能 (Skill) 是由指令、脚本和资源组成的模块化功能包，能够扩展智能体的能力。

GPU服务器-GPU卡互联知识点总结 和PCIE相关的带宽计算 a. GT/s即Giga transaction per second (千兆传输/秒)，描述的是物理层通信协议的速率，即每一秒内传输的

算力（Computing Power）是指计算机系统在单位时间内处理数据和执行计算任务的能力。算力是衡量计算机性能的重要指标，直接影响计算任务的速度和效率。 算力的分类和单位 a. 基础算力：以CPU

神经网络起源：一个生物神经网络是由一组化学上相连或功能上相关的神经元组成。一个神经元可能与许多其他神经元相连，网络中的神经元和连接的总数可能很广泛。连接，称为突触，通常是从轴突到树突形成的，尽管树突和

1. 生成式AI概览：什么是大模型，大模型应用场景（文生文，多模态） 生成式AI（Generative AI）是指通过机器学习模型生成新的数据或内容的人工智能技术。生成式AI可以生成文本、图像、音频、

1. 生成式AI对产业影响：生成式AI释放生产力 决策式AI的应用集中在内容分发环节，提升分发环节的效率实现了千人千面，而不是对生产力的提升 生成式AI能够创作新的内容，改变了传统的娱乐媒体内容由人工

1.Kubernetes介绍 1.1 应用部署方式演变 在部署应用程序的方式上，主要经历了三个时代： 传统部署：互联网早期，会直接将应用程序部署在物理机上 虚拟化部署：可以在一台物理机上运行多个虚拟机

1. 生成式AI对产业影响：生成式AI释放生产力 决策式AI的应用集中在内容分发环节，提升分发环节的效率实现了千人千面，而不是对生产力的提升 生成式AI能够创作新的内容，改变了传统的娱乐媒体内容由人工

以下是一些常见的大模型的详细介绍，包括 LLaMA2、LLaMA3、BLOOM、BERT、Falcon 180B、Mistral 7B、OpenHermes、GPT-NeoX-20B、Pythia、O

一 watermark定义 模型水印是一种用于模型版权保护的技术，通过向大模型植入水印（触发集数据加上特定的噪声或者标志），使得模型学习到这种特定的噪声或者标志的特征，通过特定的问题可以从大模型的回答

一 Checkpoint定义 模型在训练过程中的中间状态和结果，是大语言模型在训练过程中进行容错的一种关键技术，通过将中间状态和结果作为checkpoint保存到持久化存储，在训练任务由于异常失败时，

一 quantize定义 模型量化，又称为模型压缩，是指以较低的推理精度损失将连续取值（通常为float32或者大量可能的离散值）的浮点型权重近似为有限多个离散值（通常为int8或int4）的过程。通

一 DeepSpeed定义 DeepSpeed是一个由微软开发的开源深度学习优化库，基于pytorch构建，旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练，包括模型并行化、梯度累

一 Seldon Core定义 Seldon Core 目前是机器学习模型部署领域最受欢迎的方案之一，由 Seldon 公司开源和维护，旨在为不同框架下训练出来的模型（Tensorflow，Pytor

一 LoRA定义 Low-Rank Adaption of Large Language Models，大语言模型的低秩适应，是一种PEFT（参数高效性微调方法），其核心思想是对大型模型的权重矩阵进行

一 ChatGLM定义 ChatGLM是由清华技术成果转化的公司智谱AI发布的开源的、支持中英双语问答的对话语言模型系列，并针对中文进行了优化，该模型基于General Language Model（

一 LLaMA定义 Large Language Model Meta AI，由Meta AI公司于2023年2月发布的开放且高效的大型基础语言模型系列，共有7B、13B、33B、65B四种版本，旨在