AI技术总览

GPU服务器-GPU卡互联知识点总结 和PCIE相关的带宽计算 a. GT/s即Giga transaction per second (千兆传输/秒)，描述的是物理层通信协议的速率，即每一秒内传输的

算力（Computing Power）是指计算机系统在单位时间内处理数据和执行计算任务的能力。算力是衡量计算机性能的重要指标，直接影响计算任务的速度和效率。 算力的分类和单位 a. 基础算力：以CPU

神经网络起源：一个生物神经网络是由一组化学上相连或功能上相关的神经元组成。一个神经元可能与许多其他神经元相连，网络中的神经元和连接的总数可能很广泛。连接，称为突触，通常是从轴突到树突形成的，尽管树突和

1. 生成式AI概览：什么是大模型，大模型应用场景（文生文，多模态） 生成式AI（Generative AI）是指通过机器学习模型生成新的数据或内容的人工智能技术。生成式AI可以生成文本、图像、音频、

1. 生成式AI对产业影响：生成式AI释放生产力 决策式AI的应用集中在内容分发环节，提升分发环节的效率实现了千人千面，而不是对生产力的提升 生成式AI能够创作新的内容，改变了传统的娱乐媒体内容由人工

1.Kubernetes介绍 1.1 应用部署方式演变 在部署应用程序的方式上，主要经历了三个时代： 传统部署：互联网早期，会直接将应用程序部署在物理机上 虚拟化部署：可以在一台物理机上运行多个虚拟机

1. 生成式AI对产业影响：生成式AI释放生产力 决策式AI的应用集中在内容分发环节，提升分发环节的效率实现了千人千面，而不是对生产力的提升 生成式AI能够创作新的内容，改变了传统的娱乐媒体内容由人工

以下是一些常见的大模型的详细介绍，包括 LLaMA2、LLaMA3、BLOOM、BERT、Falcon 180B、Mistral 7B、OpenHermes、GPT-NeoX-20B、Pythia、O

一 watermark定义 模型水印是一种用于模型版权保护的技术，通过向大模型植入水印（触发集数据加上特定的噪声或者标志），使得模型学习到这种特定的噪声或者标志的特征，通过特定的问题可以从大模型的回答

一 Checkpoint定义 模型在训练过程中的中间状态和结果，是大语言模型在训练过程中进行容错的一种关键技术，通过将中间状态和结果作为checkpoint保存到持久化存储，在训练任务由于异常失败时，

一 quantize定义 模型量化，又称为模型压缩，是指以较低的推理精度损失将连续取值（通常为float32或者大量可能的离散值）的浮点型权重近似为有限多个离散值（通常为int8或int4）的过程。通

一 DeepSpeed定义 DeepSpeed是一个由微软开发的开源深度学习优化库，基于pytorch构建，旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练，包括模型并行化、梯度累

一 Seldon Core定义 Seldon Core 目前是机器学习模型部署领域最受欢迎的方案之一，由 Seldon 公司开源和维护，旨在为不同框架下训练出来的模型（Tensorflow，Pytor

一 LoRA定义 Low-Rank Adaption of Large Language Models，大语言模型的低秩适应，是一种PEFT（参数高效性微调方法），其核心思想是对大型模型的权重矩阵进行

一 ChatGLM定义 ChatGLM是由清华技术成果转化的公司智谱AI发布的开源的、支持中英双语问答的对话语言模型系列，并针对中文进行了优化，该模型基于General Language Model（

一 LLaMA定义 Large Language Model Meta AI，由Meta AI公司于2023年2月发布的开放且高效的大型基础语言模型系列，共有7B、13B、33B、65B四种版本，旨在

一 定义 Large Language Model，称大规模语言模型或者大型语言模型，是一种基于大量数据训练的统计语言模型，可用于生成和翻译文本和其他内容，以及执行其他自然语言处理任务（NLP），通常

为了方便大家对AI和大模型技术有更加深入的了解，接下来一段时间会开一个专题，专门用来介绍AI和大模型相关技术，专题介绍内容从以下AI技术总览展开。