ChatGPT与大模型研究

PyCUDA 中的动态 Kernel 编译 到目前为止，我们都是在 Python 脚本里以静态字符串的形式定义 CUDA C kernel，手动编写、一次性编译然后按需调用。这对于固定不变的 kern

选择线程块（Block）和网格（Grid）大小 在开发更高级的 GPU kernel 时，选择合适的线程块大小和网格大小是影响性能的关键因素。虽然 CUDA 的海量并行能力能加速大规模数据处理，但硬件

数组的逐元素操作 逐元素计算与 CuPy 在并行编程中，最常见且最直接的模式就是逐元素操作。在许多实际问题里，我们需要对大型数据集的每个元素执行相同的算术运算——加、减、乘、除，或更复杂的操作。GPU

主机与设备内存区域 理解主机内存与设备内存空间 每个 GPU 项目都有一个共同点：我们的数据可能存在于两种完全不同的地方——主机内存（Host Memory）和设备内存（Device Memory）。

安装 CUDA 驱动与工具包 我们已经用 CuPy 和 PyCUDA 编写并成功运行了首批 GPU kernel！到目前为止，我们的工作依赖于一个正确配置的开发环境。但随着深入 GPU 编程，并开始使

GPU 与 CPU 在数据处理上的比较 在这样一个时代，无论是科学、商业、工程、媒体，甚至我们日常的网页浏览，都依赖于日益增长的数据量。单个台式机或服务器的 CPU 足以应对整个工作流程的日子正在消逝

本章你将看到这些实用干货： ✅ 如何用 检索增强生成（RAG） 来减少胡说八道 ✅ 如何让大模型“反向监管”人类，来减少自动化偏见 ✅ 如何用大模型的 embedding 赋能传统机器学习算法 ✅ 如

本章要聊的事： 大模型跟人类在“学习方式”上的巨大差异 怎么让大模型在“低延迟”和“高并发”应用中表现更靠谱 让大模型“边走边想”：中间结果也能变成更好的最终答案 为啥大模型不是万能的？背后有计算复杂

本章内容一览 怎么“管住”LLM，让它更好用 四个可以控制LLM行为的关键环节 微调（Fine-tuning）如何帮我们更新LLM 强化学习怎么改变LLM的输出 用检索增强生成（RAG）技术，修改LL

在机器学习领域，我们经常用两个词来描述模型的过程：学习（learning） 和 训练（training） 。这两个词听起来很合理——模型看了很多数据，然后做出一些预测，好像“学会”了什么。 但书里说得

我们经常听到“隐私”和“安全”这两个词，尤其是在谈论技术时，很多人以为它们是同一个概念。其实，它们有很大区别。隐私关乎你对个人信息的控制——谁可以知道关于你的什么信息；而安全则是保护这些信息不被盗取、

语言模型（LLM）变得越来越复杂，但准确评估其有效性仍然是一项重大挑战。 LLM评估的重要性不仅引起了学术界的关注，也得到了行业利益相关者的高度重视。这种研究与测试工作的汇聚，彰显了该问题的重要性和集

为大型语言模型（LLM）选择合适的部署工具对项目成败至关重要。 开源工具给予更多控制权，但需要投入更多工作；托管服务则更易搭建和扩展，但通常成本较高。HuggingFace 是一个流行的开源工具和数据

在上一章中，我们讨论了模型部署的不同架构。本章将介绍如何对模型进行领域自适应。实践中，领域自适应常被称为“微调”，但微调实际上只是使模型在特定领域表现良好的多种方法之一。 本章将介绍几种模型适配方法，

本章将介绍数据工程、数据管理实践，以及现有的数据库工具和系统。内容主要面向希望转型为LLMOps工程师或领导公司数据工程工作的数据工程师、DevOps工程师和MLOps工程师。读完本章后，你将对数据工

截至2025年初，只有少数公司提供能够理解和生成文本、图像以及其他媒体（如音频和视频）的大型多模态模型。为了简洁起见，我们统称这些模型为AI模型。最著名的例子是OpenAI创建的GPT模型，其他一些知

大语言模型（LLMs）架构的规模和复杂度，使得将它们投入生产环境变得极其困难。生产化不仅仅是部署模型，还包括对模型进行监控、评估和性能优化。 挑战层出不穷。根据具体应用，可能涉及如何处理数据、如何存储

大语言模型（LLMs）之所以流行并非偶然；它们正在彻底改变我们与技术的交互方式，并不断推动机器学习模型能力的边界。 但问题也随之而来：虽然这些模型令人惊艳，要将它们规模化并部署到生产环境中绝非易事。从

2025年初，著名人工智能研究员Andrej Karpathy（前特斯拉AI主管、OpenAI创始成员之一）在一条病毒式传播的推文中提出了“vibe coding”（氛围编码）这个词： “我称之为‘氛