生成式人工智能可以创造文本、图像等各种内容的人工智能。它是一项非常优秀的技术，因为它让人工智能更加通用，任何人都能够利用它，只要用简单的文本提示，用自然语言写出想要的东西。你不必学习 Java 或 SQL 这样的语言来做一些有意义的事情，你只要用你平时说的语言，说明你想要的东西，然后 LLMs 就会给你提供合适的建议。它的应用范围和影响力是非常广泛的，你可以在几秒钟之内完成写作或分析报告、开发应用程序等任务。
场景: Our Educational Startup
生成式人工智能 (AI) 是人工智能技术的最高水平，超越了以前认为不可实现的限制。生成式人工智能模型能够处理多种形式的内容，在这门课程里，我们将会讲述一个虚构的创业公司如何利用生成式人工智能改造传统的教育模式的故事。我们把这个创业公司叫做“Our startup”。Our startup专注于教育领域，它的宏伟使命是“提升全球的学习可达性，保障教育的公平性，并根据每个学习者的需求为他们打造个性化的学习体验。”
我们的创业团队明白，如果不使用现代最强大的工具之一—— LLM，我们将无法达成这个目标。
生成式人工智能有可能彻底改变我们现在的学习和教学方式，学生可以随时随地使用虚拟老师，虚拟课堂不仅能提供丰富的信息和例子，还能利用创新的工具来评估学生并给予反馈。
生成式人工智能 (AI) 是引起人们对人工智能技术“热议”的原因，但人工智能已经有几十年的历史了，最早的研究可以追溯到上个世纪 60 年代。我们现在正处于 AI 拥有人类认知能力的阶段，例如 OpenAI ChatGPT 或 Bing Chat 都是用 GPT 模型来进行对话的。
回顾一下，人工智能的第一个雏形是打字的聊天机器人，它们依赖于从一些专家系统中提取的知识库。知识库中的回答是由输入文本中的关键词触发的。但是，人们很快就发现，这种打字聊天机器人的方法并不具有扩展性。
人工智能的统计学：机器学习 随着统计学在文本分析中的应用，20 世纪 90 年代出现了一个转变。这导致了新的算法的发展——被称为机器学习——能够从数据中学习模式，不需要用明确的编程。这种方法让机器能够模仿人类的语言理解：在文本标签配对上训练统计模型，让模型能够用预定义的标签来对未知的输入文本进行分类。
神经网络和现代虚拟助手的出现 近些年，硬件技术的进步能够处理更多的数据和更复杂的计算，让人工智能领域的研究得以加速，从而导致了更先进的机器学习算法（称为神经网络或深度学习算法）的发展。
神经网络（特别是循环神经网络 - RNN）显著提升了自然语言处理领域的应用，能够更好地表达文本的含义，并关注句子中单词的上下文关系。
这项技术为新世纪第一个十年诞生的虚拟助手提供了推动力，它们非常擅长解释人类的语言、识别需求并执行满足需求的操作，例如用预定义的脚本进行回答或用第三方服务。
今天 - 生成式人工智能的诞生 这就是我们今天提出生成式人工智能的原因，它可以看作是深度学习的一个分支。
人工智能领域经过几十年的研究，发展出了一种新的模型架构，叫做 Transformer，它能够解决 RNN 的局限，能够处理更长的文本序列作为输入。Transformer 基于注意力机制，让模型能够给它接收到的输入分配不同的权重，“更加专注于”关联信息集中的地方，而不管它们在文本序列中的位置如何。
生成式人工智能模型也叫做 LLM，因为它们用文本作为输入和输出。这些模型的有趣之处在于，它们通过大量来自书籍、文章和网站等不同来源的未标记数据的训练，能够适应各种不同的任务，并以创造性的方式生成语法正确的文本。所以，它们不仅极大地提高了机器“理解”输入文本的能力，还让机器能够用人类的语言生成原创的回应。
LLMs 是怎么工作的？
在下一章里，我们将探索不同种类的生成式 AI 模型，但现在让我们看看大型语言模型是怎么工作的，重点是 OpenAI GPT（生成式预训练 Transformer）模型。
分词器，文本变数字： 大型语言模型用文本作为输入并用文本作为输出。但是，作为统计模型，它们处理数字比处理文本序列要容易得多。这就是为什么模型的每个输入在被核心模型使用之前都要经过分词器的处理。令牌是一段文本——由可变数量的字符组成，所以分词器的主要任务是把输入切分成令牌数组。然后，每个令牌都对应一个令牌索引，这个索引是原始文本块的整数编码。
预测输出令牌： 给定 n 个令牌作为输入（最大 n 根据模型而定），模型能够预测一个令牌作为输出。然后，这个令牌会以扩展窗口的方式加入到下一次迭代的输入中，从而得到一个（或多个）句子作为答案，生成结果有更好的用户体验。这就解释了为什么如果你曾经用过 ChatGPT，你可能会注意到有时它在生成结果时会在句子中间停顿。
选择过程，概率分布： 模型根据它在当前文本序列之后出现的概率来选择输出令牌。这是因为模型预测了根据它的训练计算出的所有可能的“下一个令牌”的概率分布。但是，并不总是从结果分布中选择概率最高的令牌。这种选择增加了一定程度的随机性，模型以非确定性的方式运行——对于相同的输入，我们不会得到完全一样的输出。添加这种程度的随机性是为了模拟人类创造性思维的过程，你可以用一个叫做温度的模型参数来调节。
“Our startup” 如何利用 LLMs？
现在我们对 LLMs 的内部工作有了更深的了解，让我们看看它们可以很好地执行的最常见的任务的一些实际例子，并关注我们的业务场景。我们说过，LLMs 的主要功能是从头开始生成文本，从文本输入开始，用自然语言写。
但是什么样的文本输入和输出呢？大型语言模型的输入叫做提示，而输出叫做补全，术语指的是生成下一个令牌来完成当前输入的模型机制。我们将深入探讨什么是提示以及如何设计它来充分地和我们的模型交流。但现在，我们假设提示可能包括：
- 通过一条指令，指定我们期望模型输出的类型。这条指令有时可能会包含一些例子或一些额外的数据。
文章、书籍、产品评论等的摘要，以及从非结构化数据中提取洞察。
- 问题，以与代理对话的方式提出。
- 文本补全，这暗示着对写作帮助的请求。
- 代码解释和记录需求，或者要求生成执行特定任务的一段代码的注释。
以上的例子非常简单，并不是对生成式人工智能功能的详细展示。只是想展示使用生成式人工智能的潜能，并不仅限于教育领域。
此外，生成式人工智能模型的输出并不完美，有时模型的创造力可能会对它产生负面影响，导致输出是人类用户可以把它解释为现实神奇化的单词组合，或者具有攻击性。生成式人工智能并不智能——至少在更全面的智能定义中是这样，包括批判性和创造性推理或情商；它不是确定性的，也不可信，因为错误的引用、内容和陈述等幻觉可能会和正确的信息混合起来，并以有说服力和自信的方式呈现。在接下来的课程中，我们将处理所有这些限制，并了解可以采取哪些措施来减少影响。
