ChatGPT与大模型研究

由LLM（大型语言模型）驱动的聊天机器人在客户服务等对话任务中表现出色。然而，它们在世界知识方面的缺乏限制了它们在特定领域问答中的效用。在本章中，我们将探讨如何通过检索增强生成（Retrieval-A

随着大型语言模型的不断发展，一个关键挑战是将它们出色的流畅性转化为可靠的智能助手。本章探讨了通过提示、工具和结构化推理技术增强大型语言模型的方法，以赋予其更大的智能、生产力和可信度。这些方法的统一主题

本章讨论生成式人工智能如何可以自动化数据科学。生成式人工智能，特别是语言模型（LLMs），有潜力在各个领域加速科学进展，尤其是通过提供对研究数据的高效分析和辅助文献综述过程。当前许多属于自动化机器学习

在这本书中，我们将编写大量代码并测试许多不同的集成和工具。因此，在本章中，我们将提供所有必要库的基本设置说明，涵盖最常见的依赖管理工具，如Docker、Conda、pip和Poetry。这将确保您能够

大型语言模型（LLMs）如GPT-4已经展示了在生成类似人类文本方面的巨大能力。然而，仅通过API访问LLMs存在一些局限性。相反，将它们与其他数据源和工具结合使用可以实现更强大的应用。在本章中，我们

在过去的十年里，深度学习已经经历了巨大的发展，能够处理和生成文本、图像和视频等非结构化数据。这些先进的人工智能模型，包括大型语言模型（LLMs），在各个行业都变得非常受欢迎。目前，围绕着人工智能（AI

简介 在处理数据时，有许多可用的工具：我们有数据库可以顺畅地存储数据，有 Web 服务器可以顺畅地提供数据。而现在，还有用于顺畅处理训练数据的训练数据工具。 除了工具之外，还有已建立的流程和期望，用于

数据无处不在——视频、图像、文本、文件，以及地理空间、多维数据等等。然而，以其原始形式，这些数据对于监督式机器学习（ML）和人工智能（AI）而言几乎没有用处。我们如何利用这些数据？我们如何记录我们的智

这一章节提供了对生成式人工智能（AI）的快速介绍，重点放在了注意力机制上，这是转换器架构的关键组成部分。您还将了解一些在AI领域具有影响力的公司。 本章的第一部分向您介绍了生成式AI，包括其最重要的特

在过去几年中，变换器的发展远远超过了过去一代的自然语言处理（NLP）技术。标准的自然语言理解（NLU）方法首先学习句法和词汇特征以解释句子的结构。以前的NLP模型通常需要先训练以理解语言的基本句法结构

在研究变换器模型时，我们往往关注模型的架构以及用于训练它们的数据集。我们已经探索了原始的Transformer，微调了类似BERT的模型，训练了一个RoBERTa模型，探索了一个GPT-3模型，训练了

在前七章中，我们探讨了几个Transformer生态系统的架构、训练、微调和使用。在第七章《超人类Transformer与GPT-3引擎的崛起》中，我们发现OpenAI已经开始尝试零微调模型，无需开发

人类掌握了序列转导，将一个表示转移到另一个对象。我们可以轻松地想象一个序列的心理表示。如果有人说“我的花园里的花很美”，我们可以轻松地想象一个有花的花园。我们可以看到花园的图像，尽管我们可能从未见过那

在使用预训练模型并观察它们在下游自然语言理解（NLU）任务中的性能时，变换器揭示出了它们的全部潜力。虽然预训练和微调一个变换器模型需要大量的时间和精力，但当我们看到一个拥有数百万参数的变换器模型在各种

在本章中，我们将从零开始构建一个RoBERTa模型。该模型将使用我们在构建BERT模型所需的transformer构建工具包的基本组件。此外，我们将不使用预训练的分词器或模型。本章将按照描述的十五步骤

在本章中，你将学习如何使用Python构建分类模型来预测客户流失，使用两个流行的机器学习库：scikit-learn和Keras。首先，你将使用Pandas探索和清理数据。然后，你将学习如何使用sci

在本章中，您将构建一个Vertex AI AutoML模型，用于预测金融交易是否为欺诈交易。在创建托管数据集之前，您将在Google Colab笔记本环境中对数据集进行清洗和探索，就像在第三章中所做的

在本章中，您将学习如何从头开始构建一个线性回归模型和一个神经网络模型，用于预测发电厂的产量。您将使用SQL进行数据分析，使用Jupyter Notebook进行数据探索，并使用BigQuery Mac

在这一章中，您将使用AutoML构建一个模型，以预测广告媒体渠道的销售额。首先，您将使用Pandas探索数据。然后，您将学习如何使用AutoML来构建、训练和部署一个机器学习模型，以进行销售额的预测。

本章介绍了简化机器学习（ML）模型开发的ML框架。通常情况下，您需要了解数学、统计和ML的基本工作原理，才能构建和训练ML流程。这些框架通过自动化许多耗时的ML工作流任务，如特征选择、算法选择、代码编