我正在参加「掘金·启航计划」
打倒Chat-GPT(LLMs):Transformer是如何彻底改变我们与机器对话的方式的 🤖
片头 🎬
想象一下:你正在与一台机器进行对话, 感觉就像在与人类交谈. 这不是科幻电影中的情节或空想；这是一个已经存在的现实, 这要感谢大型语言模型(LLMs)和它们值得信赖的伙伴--Transformer架构.
现在, 我知道你在想什么. "大型语言模型和转化器到底是什么?" 好吧, 系好安全带, 因为它即将变得有趣.
介绍:打破大型语言模型 🤖 :
大型语言模型(LLMs)是在海量数据上训练出来的智能机器, 可以生成准确而细致的基于语言的反应. 它们的力量在于它们的底层架构--Transformer, 它已经彻底改变了我们处理自然语言任务的方式.
LLMs有可能彻底改变我们与机器沟通的方式, 从改善客户服务聊天机器人到创造更有效的语言翻译服务. 然而, 重要的是要考虑这项技术的道德影响, 并确保它的开发和使用是负责任的.
我们将探索大型语言模型的世界, 并研究Transformer在语言处理中的力量. 我们还将深入研究这项技术的未来应用以及使用这项技术所产生的伦理问题. 请加入我们的旅程, 进入大型语言模型的世界, 发现这项开创性技术的惊人潜力.
语言模型中Transformer的强大力量 👾 :
(注意:这只是对Transformer的一个高级解释)
图1.0/ Transformer架构 -- "注意力是你所需要的一切" 来源
我知道这很复杂, 但我在接下来的段落中给你一个简单的解释 🥰
输入嵌入:人类婴儿在学校接受正式教育之前就学会了语言(无监督的学习).
输出嵌入:孩子们从学校得到微调, 考试分数教他们什么答案更好或更坏(监督学习).
ChatGPT是由两个主要部分组成的:
- 图中的左侧
理解人类输入的聊天的上下文. 这一边试图理解你输入和发送的句子或提示的上下文, 把它分成几个部分.
- 图中的右侧
生成反应式答案回馈给人类. 这一层负责根据它从输入嵌入(左侧)获得的输入生成答案.
想象一下, 你有一个装满不同玩具的大箱子--汽车, 娃娃, 积木等等. 你想找到一个特定的玩具, 比如一辆红色的汽车. 与其把整个箱子倒出来翻找每一个玩具, 你不如使用一个叫做Transformer的特殊工具.
Transformer帮助你快速找到红色汽车, 只关注盒子的相关部分. 它通过注意每个玩具的颜色和形状, 并将其与你要找的东西进行比较来做到这一点. 它甚至可以记住它找到红色汽车的地方, 这样你以后就可以很容易地再次找到它.
通过这种方式, Transformer就像一个特殊的帮手, 可以对大量的信息进行分类, 快速有效地找到你需要的东西. 就像你可能使用Transformer来寻找玩具一样, 我们可以使用Transformer来帮助计算机理解语言, 以更像人类的方式与我们交流.
同样地, Transformer有选择地关注输入句子的不同部分, 以生成输出句子. LLMs的工作对象不是玩具, 而是词语. Transformer帮助寻找下一个合适的词.
谈到自然语言处理, 最大的挑战之一一直是理解上下文的能力. 语言是复杂的, 有细微差别的, 而且往往是模糊的, 这使得机器很难像人类那样理解它. 然而, 随着Transformer的出现, 这一挑战正慢慢成为过去.
总之, Transformer的力量在于它们能够理解上下文并对基于语言的任务产生高度准确和细微的反应. 随着这项技术的不断发展, 我们可以期待在自然语言处理领域看到越来越多的进步, 使我们更接近真正的人机交流的梦想.
了解自我关注:Transformer👀的一个关键组成部分:
自我关注是Transformer中使用的一种强大的技术, 帮助它们理解句子或数据序列中不同词语之间的关系. 可以把它看作是一种方法, 让模型比其他人更关注输入序列的某些部分.
让我进一步解释一下:当处理一个数据序列时, Transformer模型为序列中的每个词分配一个重要性分数. 这个分数是基于正在处理的当前单词与序列中其他单词之间的相似性. 通过将序列中的每个词与其他每个词进行比较, Transformer可以确定哪些词对于理解整个序列的含义最为重要.
图1.1
在上面的图1.1中, 你可以注意到在"I am…"之后, "Happy"和"Sad"出现的概率比"School"或"Distillation"更高.
自我注意是Transformer的一个重要组成部分, 因为它使他们能够学习词语之间的上下文关系, 理解句子的结构. 正是这种对上下文的理解, 使得Transformer在自然语言处理任务中如此强大, 例如语言翻译, 问题回答和情感分析. 通过理解一个句子不同部分之间的关系, Transformer可以比以前的模型产生更准确和细微的预测.
因此, 综上所述, 自我关注是Transformer中使用的一种强大的技术, 以帮助模型学习序列中单词之间的上下文关系. 它是Transformer的一个重要组成部分, 使自然语言处理取得了重大进展.
人机交互的未来: 大型语言模型的应用🌏 :
随着我们继续推进大型语言模型的能力, 我们也必须考虑这些系统的道德影响. 人们担心它们可能被滥用, 如传播错误信息或操纵公众舆论. 正如埃隆-马斯克所言,
Elon musk 👉🏻 🥰 👈🏻 yilong ma
而我们应该确保这些技术的开发和使用是负责任的.
另一个伦理问题是LLM有可能使偏见和歧视永久化. 语言模型从它们所训练的数据中学习, 如果这些数据包含偏见或成见, 模型可能会复制甚至放大这些偏见. 这可能导致有害的定型观念和对某些群体的不公平待遇长期存在. 至关重要的是, LLM的开发者和使用者要意识到这些道德上的考虑, 并采取措施来解决这些问题, 例如使训练数据多样化和实施公平性指标.
最后, 人机交流的未来不仅仅是关于LLMs的力量, 也是关于挥舞这种力量所带来的责任. 正如著名哲学家和数学家Bertrand Russell曾经说过的那样:"唯一能救赎人类的东西是合作".
结论: 大型语言模型和人工智能的未来 📶 :
总之, 大型语言模型正在彻底改变人工智能领域, 这项技术的潜在应用是无限的. 随着训练技术的进步, 如从人类反馈中强化学习, 像ChatGPT这样的大型语言模型的输出越来越准确和可靠, 使我们更接近于无缝的人机交流.
不仅仅是文本数据, Transformer还可以处理图像和视频文件. 其中一些也被用于GPT-4的训练数据集中.
然而, 这种巨大的力量带来了巨大的责任. 我们还必须考虑大型语言模型的伦理意义, 包括偏见, 隐私和所有权等问题. 当我们继续开发和完善这项技术时, 至关重要的是, 我们要意识到这些潜在的问题, 并承诺确保大型语言模型的使用方式有利于整个社会.
正如(再一次)埃隆-马斯克曾经说过:"人工智能是人类的未来. 它是我们确保未来美好的方式". 随着大型语言模型在人工智能发展中的领先地位, 我们有责任确保将这项技术用于更大的利益, 并采取必要的措施来解决任何潜在的负面影响.
