ChatGPT与大模型研究

如果我们要满足数据库的普通用户的需求，我们必须突破目前阻碍这些用户自由使用他们的母语的障碍。——Ted Codd 这段评论是在谈论1974年的情境下提出的，当时Ted Codd构想了一种名为Rende

什么是提示工程？ 提示工程，就是创建一堆指令，提示（询问、指导）ChatGPT 这类语言模型输出语料文本。提示工程帮助用户控制语言模型输出，生成适合的特定需求。 提示公式（prompt formula

这一章是关于提高LLMs在特定场景中可靠性和性能的技术和最佳实践，比如复杂的推理和问题解决任务。调整模型以适应特定任务或确保模型输出符合预期的过程被称为条件化。在本章中，我们将讨论微调和提示作为条件化

正如我们在本书中讨论的那样，由于其生成类似人类文本的能力，大型语言模型（LLMs）近年来引起了广泛关注。从创意写作到对话式聊天机器人，这些生成式人工智能模型在各个行业都有各种应用。然而，将这些复杂的神

虽然本书主要讨论将生成式人工智能（尤其是LLMs）集成到软件应用程序中，但在本章中，我们将讨论如何利用LLMs来帮助软件开发。这是一个庞大的主题；软件开发已被几家咨询公司（如毕马威和麦肯锡）的报告强调

由LLM（大型语言模型）驱动的聊天机器人在客户服务等对话任务中表现出色。然而，它们在世界知识方面的缺乏限制了它们在特定领域问答中的效用。在本章中，我们将探讨如何通过检索增强生成（Retrieval-A

随着大型语言模型的不断发展，一个关键挑战是将它们出色的流畅性转化为可靠的智能助手。本章探讨了通过提示、工具和结构化推理技术增强大型语言模型的方法，以赋予其更大的智能、生产力和可信度。这些方法的统一主题

本章讨论生成式人工智能如何可以自动化数据科学。生成式人工智能，特别是语言模型（LLMs），有潜力在各个领域加速科学进展，尤其是通过提供对研究数据的高效分析和辅助文献综述过程。当前许多属于自动化机器学习

在这本书中，我们将编写大量代码并测试许多不同的集成和工具。因此，在本章中，我们将提供所有必要库的基本设置说明，涵盖最常见的依赖管理工具，如Docker、Conda、pip和Poetry。这将确保您能够

大型语言模型（LLMs）如GPT-4已经展示了在生成类似人类文本方面的巨大能力。然而，仅通过API访问LLMs存在一些局限性。相反，将它们与其他数据源和工具结合使用可以实现更强大的应用。在本章中，我们

在过去的十年里，深度学习已经经历了巨大的发展，能够处理和生成文本、图像和视频等非结构化数据。这些先进的人工智能模型，包括大型语言模型（LLMs），在各个行业都变得非常受欢迎。目前，围绕着人工智能（AI

简介 在处理数据时，有许多可用的工具：我们有数据库可以顺畅地存储数据，有 Web 服务器可以顺畅地提供数据。而现在，还有用于顺畅处理训练数据的训练数据工具。 除了工具之外，还有已建立的流程和期望，用于

数据无处不在——视频、图像、文本、文件，以及地理空间、多维数据等等。然而，以其原始形式，这些数据对于监督式机器学习（ML）和人工智能（AI）而言几乎没有用处。我们如何利用这些数据？我们如何记录我们的智

这一章节提供了对生成式人工智能（AI）的快速介绍，重点放在了注意力机制上，这是转换器架构的关键组成部分。您还将了解一些在AI领域具有影响力的公司。 本章的第一部分向您介绍了生成式AI，包括其最重要的特

在过去几年中，变换器的发展远远超过了过去一代的自然语言处理（NLP）技术。标准的自然语言理解（NLU）方法首先学习句法和词汇特征以解释句子的结构。以前的NLP模型通常需要先训练以理解语言的基本句法结构

在研究变换器模型时，我们往往关注模型的架构以及用于训练它们的数据集。我们已经探索了原始的Transformer，微调了类似BERT的模型，训练了一个RoBERTa模型，探索了一个GPT-3模型，训练了

在前七章中，我们探讨了几个Transformer生态系统的架构、训练、微调和使用。在第七章《超人类Transformer与GPT-3引擎的崛起》中，我们发现OpenAI已经开始尝试零微调模型，无需开发

人类掌握了序列转导，将一个表示转移到另一个对象。我们可以轻松地想象一个序列的心理表示。如果有人说“我的花园里的花很美”，我们可以轻松地想象一个有花的花园。我们可以看到花园的图像，尽管我们可能从未见过那

在使用预训练模型并观察它们在下游自然语言理解（NLU）任务中的性能时，变换器揭示出了它们的全部潜力。虽然预训练和微调一个变换器模型需要大量的时间和精力，但当我们看到一个拥有数百万参数的变换器模型在各种

在本章中，我们将从零开始构建一个RoBERTa模型。该模型将使用我们在构建BERT模型所需的transformer构建工具包的基本组件。此外，我们将不使用预训练的分词器或模型。本章将按照描述的十五步骤