ChatGPT与大模型研究

在上一章中，我们开始使用 PyTorch 探索生成模型。通过在文本和音乐数据上进行无监督训练，我们构建了可以生成文本和音乐的机器学习模型。在本章中，我们将继续探索生成建模，并将类似的方法应用于图像数据

在前面三章中，我们深入学习了各种卷积和循环网络架构，以及它们在PyTorch中的实现。在本章中，我们将探讨一些在各种机器学习任务中被证明成功的深度学习模型架构，它们既不完全是卷积型的，也不完全是循环型

神经网络是强大的机器学习工具，用于帮助我们学习数据集的输入 (X) 和输出 (y) 之间的复杂模式。在第二章《深度卷积神经网络架构》中，我们讨论了卷积神经网络，它们学习了X与y之间的一对一映射关系；也

在前几章中，我们已经讨论了各种神经网络架构，从卷积神经网络到循环神经网络，从基于注意力机制的Transformer到自动生成的神经网络（NNs）。虽然这些架构覆盖了广泛的深度学习问题，但它们在处理存在

卷积神经网络（CNNs）是一种深度学习模型，用于解决与图像、视频、语音和音频相关的机器学习问题，例如图像分类、目标检测、分割、语音识别、音频分类等。这是因为CNNs使用了一种特殊类型的层，称为卷积层，

在本章中，我们将首先简要回顾卷积神经网络（CNN）架构的发展历程，然后详细研究不同的CNN架构。我们将使用PyTorch实现这些CNN架构，并通过此过程深入探索PyTorch在构建深度CNN时提供的工

深度学习是一类机器学习方法，它彻底改变了计算机/机器在现实生活中构建自动化解决方案的方式，以前的技术难以实现这些效果。深度学习利用大量数据来学习输入与输出之间的复杂非线性关系，如图1.1所示，这些输入

在上一章中，我们介绍了构建对话应用程序的核心步骤。我们从一个基础的聊天机器人开始，然后逐步添加了更复杂的组件，例如记忆、非参数化知识和外部工具。借助LangChain的预构建组件以及Streamlit

在上一章中，我们探讨了如何在应用程序中正确协调大型语言模型（LLM）及其组件的重要性。事实上，我们还了解到，并非所有的LLM都是相同的。接下来的关键决策是实际选择使用哪些LLM。不同的LLM可能具有不

本章深入探讨了 LlamaIndex 中不同类型的索引。我们将解释索引的工作原理、关键功能、定制选项、底层架构和应用场景。总体来说，本章将作为一个指南，帮助利用 LlamaIndex 的索引功能来构建

本章深入探讨了使用 LlamaIndex 的功能实现聊天机器人和智能体。我们将探索各种聊天引擎模式，从简单的聊天机器人到更高级的上下文感知和问题精简引擎。接着，我们将深入分析智能体架构，包括工具、推理

毫无疑问，我们正处于人工智能（AI）/机器学习（ML）运营化的蓬勃发展时期。根据Gartner的一篇文章《IT预算在增长。资金流向何处》，AI/ML在技术列表中名列前茅，几乎一半的首席信息官（CIO）

微调已经成为AI中的一种流行建模范式，尤其是在迁移学习中。本书中到目前为止的所有实验都基于更新所有参数的方式。因此，从现在开始，使用“全量微调”这个术语更为准确（也称为全模型微调或全参数微调）。 在本

到目前为止，我们已经使用常见的方法解决了许多任务，并取得了一些成功。然而，通过利用特定的技术，我们可以进一步提高任务的性能。在文献中有几种方法可以提高Transformer模型的性能。在本章中，我们将

到目前为止，我们已经使用 transformers 库解决了分类和生成问题。文本表示是现代自然语言处理（NLP）中的另一个关键任务，尤其适用于无监督任务，如聚类、语义搜索和主题建模。本文将介绍如何使用

在本章中，我们将学习如何为标记分类任务微调语言模型。诸如命名实体识别（NER）、词性标注（POS）和问答（QA）等任务将在本章中进行探讨。我们将学习如何在这些任务上微调特定的语言模型，重点将放在BER

大型语言模型（LLMs）的日益普及将模型输出的准确性与可解释性之间的权衡摆到了前台。可解释人工智能（XAI）研究中的最大挑战是处理深度神经模型中存在的大量层和参数。那么，我们如何解决这个问题呢？我们能

在本章中，我们将学习如何配置一个预训练模型以进行文本分类，并如何微调它以适应任何文本分类的下游任务，例如情感分析、多类分类或多标签分类。我们还将讨论如何处理句子对和回归问题，并提供一个实现示例。我们将

在本章中，您将学习生成语言模型（GLMs）和大型语言模型（LLMs）。接下来，您将学习如何在自己的文本上预训练任何语言模型，例如生成预训练变换器2（GPT-2），并将其用于自然语言生成（NLG）等任务

在上一章中，我们研究了如何使用 Hugging Face 的 Transformers 来应用典型的 Transformer 模型。到目前为止，本书的所有章节都包括了如何使用预训练或预构建模型的说明，