人工智能，特别是生成式人工智能，很有吸引力，但你也要考虑如何负责任地使用它。你要考虑如何保证输出是公正的、无害的等等。本章的目的是给你提供相关的背景知识、需要注意的问题，以及如何采取积极的措施来改进人工智能的使用。
负责任的人工智能的原则
生成式人工智能非常火热。这为这个领域带来了很多新的开发者、关注和资金。这对于想要用生成式人工智能来创建产品和公司的人来说是很好的，但我们也要负责任地行动。
在整个课程中，我们专注于创建“Our startup”和相关的人工智能教育产品。我们将遵循负责任的人工智能的原则：公正、包容、可靠/安全、安全和隐私、透明和问责。根据这些原则，我们将探讨它们与我们在产品中使用生成式人工智能的关系。
为什么你应该优先考虑负责任的人工智能
在创建产品时，以用户为中心并考虑用户的最佳利益是很重要的。
生成式人工智能的特点是它能够为用户生成有用的答案、信息、指导和内容。这不需要很多手动的步骤，可以产生非常令人印象深刻的效果。但是，如果没有适当的规划和策略，它也可能给你的用户、产品和整个社会带来一些有害的后果。
让我们看看一些（但不是全部）潜在的有害后果：
错觉
错觉是一个术语，用来描述 LLMs 生成的内容要么完全没有意义，要么给出了错误的信息。
例如，我们为“Our startup”创建了一个功能，让学生可以向模型提出历史问题。一个学生问“泰坦尼克号的唯一幸存者是谁？”
模型给出了这样的回答：
这是一个非常具体的答案。但是，这是错误的。即使知道的不多，人们也会知道泰坦尼克号的幸存者不止一个。但是，对于刚开始学习这个领域的学生来说，这个答案可能会让他们相信，不会质疑，也会当作事实。这可能会导致人工智能系统不可信，也会影响我们初创公司的声誉。
在每次迭代的 LLMs 中，我们都看到了在减少错觉方面的性能提升。即使有了这些提升，我们作为应用程序的创建者和用户，仍然需要意识到这些限制。
有害的内容
我们在前面的部分中介绍了 LLMs 会生成不正确或没有意义的回答。我们需要注意的另一个风险是模型生成有害的内容。
有害的内容可以是：
指示或鼓励自残或伤害某些群体的内容。 仇恨或侮辱性的内容。 指导策划任何类型的攻击或暴力行为的内容。 提供如何寻找非法内容或进行非法行为的指南的内容。 展示露骨的色情内容。 对于我们的初创公司来说，我们希望确保有正确的工具和策略来防止学生看到这样的内容。
缺乏公正性
公正的定义是“确保人工智能系统没有偏见和歧视，而是公平、平等地对待每个人。”在生成式人工智能的世界中，我们希望确保模型的输出不会强化边缘化群体的排斥性的世界观。
这些类型的输出不仅会破坏为用户建立积极的产品体验，还会对社会造成进一步的危害。作为应用程序的创建者，在使用生成式人工智能创建解决方案时，我们应该始终记住广泛和多样的用户群。
如何负责任地使用生成式人工智能
现在我们已经明白了负责任的生成式人工智能的重要性，让我们看看我们可以采取的 4 个步骤来负责任地创建我们的人工智能解决方案：
评估潜在的危害
在软件测试中，我们测试用户对应用程序的预期操作。同样，测试用户最可能使用的一组不同的提示是评估潜在危害的好方法。
由于“Our startup”是一个教育产品，所以最好准备一个与教育相关的提示列表。这可以包括一些主题、历史事实和关于学生生活的提示。
减少潜在的危害
现在是时候找到一些方法来预防或限制模型及其回答造成的潜在危害了。我们可以从 4 个不同的层次来考虑这个问题：
模型。 选择适合用例的模型。当应用于更小、更具体的用例时，更大、更复杂的模型（例如 GPT-4）可能会带来更大的有害内容的风险。使用训练数据进行微调也可以降低有害内容的风险。
安全系统。 安全系统是一组在平台上为模型提供服务的工具和配置，可以帮助减少危害。Azure OpenAI Service 上的内容过滤系统就是一个例子。系统还应该检测越狱攻击和不需要的活动，例如来自网络机器人的请求。
元提示。 元提示和基础是我们可以根据一些行为和信息来指导或限制模型的方法。这可以使用系统输入来定义模型的一些限制。此外，提供与系统范围或领域更相关的输出。
它还可以使用检索增强生成 (RAG) 等技术，让模型只从选定的可信来源中获取信息。本课程后面有一章关于构建搜索应用程序的内容。
用户体验。 这是用户通过应用程序界面直接与模型交互的地方。我们可以通过这种方式设计 UI/UX，来控制用户可以向模型输入的内容和模型向用户展示的文本或图像。在部署人工智能应用程序时，我们还要清楚地告诉用户我们的生成式人工智能应用程序能做什么和不能做什么。我们有一章内容专门讲述如何为人工智能应用程序设计用户体验。
评估模型。 与 LLMs 合作可能有些困难，因为我们不一定能够控制模型训练的数据。但无论如何，我们都应该一直评估模型的性能和输出。评估模型的准确性、相似性、一致性和输出的相关性是很重要的。这有助于为应用的相关人员和用户提供透明度和信任。
运行负责任的生成式人工智能解决方案
构建人工智能应用程序的操作实践是最后一个阶段。这包括与“Our startup”的其他部门（比如法律和安全部门）合作，以确保我们遵守所有的监管规定。在发布之前，我们还要制定交付、处理事件和回滚的计划，以防止对用户造成更大的伤害。
