LLM学习笔记-AI发展史

夜猫子0rz
808 阅读49分钟

AI发展的四个时期

世界是处于不断运动、变化和发展中的，变化的动力来自于事物内部的矛盾。这些矛盾有着普遍联系，并在斗争中得到解决，从而推动事物发展。

image.png

1950's - 1980's 人工智能的概念提出极大激发了人类对未来科技的遐想

  1. 图灵测试（1950）：阿兰·图灵（Alan Turing）提出了著名的图灵测试，它旨在检验一台机器是否能够显示出等同于或无法区分于人类的行为。这一概念为后来关于AI的思考奠定了基础。1

  2. 达特茅斯会议（1956）：被公认为是人工智能学科的诞生之地，约瑟夫·麦卡锡（John McCarthy）、马文·明斯基（Marvin Minsky）、艾伦·纽厄尔（Allen Newell）、赫伯特·西蒙（Herbert Simon）等四位科学家在这次会议上正式提出了“人工智能”一词，并对AI的未来发展表达了乐观预期。

  3. 第一个AI程序（1950-1960年代）：这个时代诞生了首个AI程序，比如纽厄尔和西蒙开发的逻辑定理证明程序。

  4. 伊利扎（ELIZA）聊天机器人（1964-1966）：约瑟夫·韦森鲍姆（Joseph Weizenbaum）开发了ELIZA，这是一个能够模仿心理治疗师和用户进行基本对话的程序。尽管简单，ELIZA表明了计算机处理自然语言的潜力。 2

  5. 早期的专家系统（1970-1980年代）：在这个时代里，出现了早期的“专家系统”，它们能够在特定领域里模拟人类专家的决策能力。

    对比与现代AI还是存在极大的差距：计算能力、算法复杂性、数据量、应用范围、交互能力、自主性、泛化能力、伦理和安全性、可解释性、社会影响、跨学科融合、国际合作与竞争 3

1980's - 2010's 机器学习开始蓬勃发展

  1. 专家系统的繁荣（1980's）：在这一时期，专家系统作为人工智能的应用实现了商业上的成功，通过模拟人类专家行为在医疗、工程、金融等领域获得了广泛应用。这些系统依赖于明确编码的知识库和推理规则来解决复杂的问题，推动了人工智能的初步实践和发展。4

  2. 反向传播算法的应用（1986）：大卫·E·鲁梅尔哈特（David E. Rumelhart）、杰弗里·辛顿（Geoffrey Hinton）和罗纳德·威廉姆斯（Ronald J. Williams）提出了反向传播算法，使得训练多层神经网络成为可能。这一突破为深度学习的发展奠定了基础。 5

  3. 支持向量机（SVM）（1990's）：弗拉基米尔·瓦普尼克（Vladimir Vapnik）和亚历克斯·切尔维能科（Alexey Chervonenkis）提出了支持向量机，为分类和回归分析提供了一种强大的方法。SVM在许多机器学习应用中取得了卓越的表现。 6

  4. 随机梯度下降法（SGD）成为流行的训练方法（Late 1990's）：随机梯度下降法成为训练大规模机器学习模型，特别是神经网络的有效方法。这种方法通过在每次更新中只使用一个（或一小批）样本来减少计算负担，使得训练大型模型变得可行。7

  5. MNIST手写数字数据集（1998）：MNIST数据集的发布对计算机视觉和机器学习领域产生了深远的影响，它不仅推动了算法的发展，也成为了评估新算法性能的标准工具。8

  6. 谷歌的自动驾驶项目（现为Waymo）（2009）：该项目是早期自动驾驶技术的先驱之一，到现在已经发展成为领先的自动驾驶技术企业Waymo。9

    这一时期的发展不仅标志着机器学习技术的成熟，也为AI的未来应用打下了坚实的基础。从专家系统的规则基础推理到基于数据的机器学习，行业的重心逐渐转变，导致了对数据的大规模处理能力和自动特征学习能力的需求增加，进一步推动了深度学习和其他先进算法的发展。虽然伴随着技术的不成熟和商业上的冒进人工智能进入过一段“寒冬”时期，但随着技术的不断进步，可预见的是，机器学习将在未来的技术革新中继续发挥核心作用。

2010's - 2020's 深度学习的突破驱动了AI领域的繁荣

  1. ImageNet挑战和深度学习的兴起（2010）：杰弗里·辛顿、亚历克谢·克里兹hevsky和伊利亚·苏茨克沃（Ilya Sutskever）提出了AlexNet，这是一个深度卷积神经网络，它在2010年的ImageNet图像识别挑战中取得了显著的成功。这一成果标志着深度学习时代的到来，引发了对深度神经网络研究的巨大兴趣。10

  2. 自然语言处理（NLP）的突破（2010's）：随着模型如Transformer的提出，自然语言处理领域经历了革命性的变化。这些模型通过使用注意力机制，极大地提高了机器翻译、文本摘要、问答系统等任务的性能。11

  3. 大规模并行计算和GPU12的使用（2000's）：随着并行计算技术和图形处理单元（GPU）的发展，机器学习，尤其是深度学习的研究和应用得到了极大的加速。GPU的高度并行结构使得它们非常适合执行机器学习模型中需要的大量矩阵和向量计算。

  4. AlphaGo战胜围棋冠军（2016）：DeepMind的AlphaGo程序战胜了世界围棋冠军李世石，向世界展示了AI在解决复杂策略游戏中的潜力。AlphaGo的胜利是通过结合深度学习和强化学习技术，特别是蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）13实现的。这一壮举不仅震撼了围棋界，也为AI研究带来了新的视角。

  5. 深度学习在医疗方面的应用：深度学习技术推动了医疗影像的自动诊断系统的进步，例如用于检测皮肤癌、乳腺癌、肺结节等的系统。它也在药物发现和基因组学中发挥着重要作用，通过增加生物标记物的识别、进行药物成分的筛选和分析，大幅提高了研究的效率。14

  6. 机器视觉和人脸识别的进步：深度学习使得机器视觉系统能够以超过人类的精度进行人脸识别和对象识别，这在监视、安全和各种消费电子产品中有着广泛的应用。15

  7. 自然语言生成（NLG）技术的优化：条件文本生成的能力得到了极大地提升，自动摘要、问答系统、新闻生成以及个性化内容创作变得更加高效和真实。16

  8. 硬件加速器的普及：特定的AI加速器，比如谷歌的TPU（Tensor Processing Unit），加速了深度学习模型的训练和部署过程，为研究和商业化提供了强大动力。17

  9. 深度伪造（Deepfakes）：GANs技术在生成逼真的虚假图像和视频方面的能力，引起了公众对信息的真实性和数字媒体安全的担忧，同时这也催生了新的内容创作和编辑工具。18

  10. GPT模型的推出（2018年代）：OpenAI发布了GPT（Generative Pre-trained Transformer）模型，一种基于Transformer架构的语言模型，它首先在大规模语料库上进行了无监督预训练，以学习语言的通用模式，然后可以针对具体的下游任务进行微调。GPT模型的推出引领了大型语言模型作为一种强大多用途NLP工具的兴起，大幅推进了NLP技术的边界。随着后续版本GPT-2(2019)和GPT-3(2020)的发布，模型的规模和复杂性不断增加，成为深度学习中一个标志性的里程碑，它们在语言理解和生成等任务上达到了惊人的性能。

    在2010年代至2020年代，深度学习的突破极大地推动了AI领域的发展。无论是在图像处理、自然语言处理，还是在医疗、游戏、硬件加速器的普及等方面，都发生了显著的技术进步。这些进步不仅在各自领域产生了深远影响，也促进了AI技术在实际应用中的大规模落地，推动了整个社会的智能化进程。19

2020's - 至今 惊艳的大语言模型让人们再次体会到AI的魅力

  1. GPT-3的发布与争相入场的大语言模型布局（2020）：OpenAI发布了具有1750亿参数的GPT-3，这是当时全球规模最大的预训练语言模型。GPT-3大幅提升了自然语言处理能力，支持多种下游任务，显示了大型语言模型作为通用NLP工具的巨大潜力。20

  2. AlphaFold2的突破（2020）：DeepMind的AlphaFold2在2020年解决了蛋白质结构预测的难题，其准确性可以与实验技术相媲美。21

  3. AI在医疗领域的应用（2020-2021）：COVID-1922大流行期间的AI应用: AI在疫情期间发挥了关键作用，包括通过算法来支持疫苗开发、病毒扩散模型预测、以及医疗影像分析等。23

  4. AI在自动驾驶汽车中的应用(2020)：AI在自动驾驶汽车中的应用：自动驾驶汽车技术在2020年代初取得了显著进展，优步在2016年启动了自动驾驶汽车试点计划。24

  5. DALL-E的推出（2021）：OpenAI推出了DALL-E，这是一个能够根据文本提示生成图像的多模态AI系统。25

  6. AI算力与基准测试提升（2022）：英伟达Hopper超级芯片在MLPerf基准测试中击败所有竞争对手26

  7. AI政策与伦理出台（2023）：多个国家和地区针对AI技术的发展和应用出台了相关政策27

    虽然海贼王的剧情越来越拉垮（也许不太符合我的价值观），但是黑胡子蒂奇的一句话还是比较戳我的：“人的梦想是不会结束的。”。我们所为之奋斗的是美好的生活。公众对技术的渴望很大程度上是因为技术本身就蕴含着实现这一梦想的潜力。人工智能尤其凸显其亮点，无论是提升效率、削减成本，还是增强生产力，优势显而易见。 然而，在AI技术疾速发展的现代，我们同样目睹着其颠覆性的一面，伴随着对传统工种的逐渐置换，人工智能不可避免地在当前下行经济形势中给劳动市场投下了一记沉痛的一击。AI带来的发展与现行工作内容间的磨合给我们带来新的思考。

免责声明：受限于本人搜集能力，部分资料由AI生成补充。文章存在一些主观思考，会尽量保持客观，但不保证其正确性，请理性判别哦。

Footnotes

  1. 图灵测试是由英国数学家、逻辑学家、密码破译学家和计算机科学的先驱阿兰·图灵（Alan Turing）在1950年提出的一个思想实验。它旨在提供一个判定机器是否能展现出相当于人类的智能的标准。这个测试被阿兰·图灵在他的论文《计算机器与智能》（Computing Machinery and Intelligence）中首次详细描述，并提出了“模仿游戏”（imitation game）的概念。 图灵测试的基本概念： 在图灵测试中，有三个参与者：一名人类评判员、一名人类参与者和一个机器（AI）。这三者分别位于三个不同的房间中，互不可见。评判员的任务是通过键盘交谈和提问来确定哪一个是人类，哪一个是机器。如果评判员无法准确判断或者机器能够让评判员像相信对方是人类那样相信它是人类，那么这台机器就通过了图灵测试，可以认为它展现了人类级别的智能。 图灵测试的重要性： 智能的定义：图灵测试是第一个正式尝试为“思考”的机器提供一个操作性的定义的尝试。它将“思考”或“智能”定位为能否模仿人类行为的能力。 哲学讨论：图灵测试激发了关于意识、智能以及机器是否能真正“思考”的哲学讨论。 AI研究的启示：该测试对人工智能（AI）研究产生了深远的影响，为AI领域的研究者和开发者提供了一个目标，即创建能通过图灵测试的系统。 争议： 尽管图灵测试在AI历史上具有标志性意义，但它也存在争议。一些批评者认为，通过图灵测试并不意味着机器真正理解或具有意识，它仅仅是模仿了人类的行为。此外，随着自然语言处理技术的发展，有些程序（如聊天机器人）在特定条件下可能通过图灵测试，但这些系统在许多方面还达不到真正的人类智能水平。 综上所述，图灵测试是评价机器智能的一种方法，对于思考和讨论AI的能力与局限提供了一个有价值的框架，尽管它不是衡量真正智能的唯一或最终标准。 ↩

  2. ELIZA是一个早期的自然语言处理程序，由麻省理工学院的计算机科学家约瑟夫·魏岑鲍姆（Joseph Weizenbaum）在1964年到1966年间开发。它被设计成一个模拟心理治疗师的对话程序，能够通过简单的文本方式与用户进行交流。 ELIZA的原理基于以下几个关键点： 模式匹配：ELIZA通过预设的模式来识别用户输入的文本。这些模式通常包括关键词和一些可选的填充词。当用户的输入与某个模式匹配时，ELIZA就会触发相应的响应。 关键词替换：在识别模式后，ELIZA会将模式中的关键词替换为用户输入中的相应词汇。例如，如果模式是“你很[关键词]”，用户输入“我很高兴”，ELIZA可能会回应“你高兴什么？”。 脚本化对话：ELIZA包含了一系列的脚本，这些脚本定义了程序如何根据不同的输入进行回应。这些脚本通常是基于心理治疗师的对话技巧。 反射和回声：ELIZA经常使用一种技术，即反射用户的话或者稍作修改后回声给用户，从而引导用户继续对话。 简单语法分析：尽管ELIZA不具备深入的自然语言理解能力，但它能够进行一些基本的语法分析，如识别简单的语句结构。 存储状态：ELIZA能够存储一些对话状态，例如用户之前提到的关键词，以便在后续的对话中引用。 转喻和简化：ELIZA有时会使用转喻，即用一个词或短语来代表用户之前提到的另一个词或短语，以及简化用户输入，忽略一些不重要的细节。 尽管ELIZA的技术和方法相对简单，但它在当时展示了计算机程序能够与人类进行自然语言交流的潜力，对后来的自然语言处理和人工智能研究产生了深远的影响。 ↩

  3. 尽管早期的AI研究和应用取得了一些成就，但与现代AI相比，仍然存在极大的差距： 计算能力：早期AI由于硬件技术的限制，计算能力有限。现代AI借助先进的硬件技术，能够处理更大规模的数据集和更复杂的算法； 算法复杂性：早期AI主要依赖简单规则和启发式算法，现代AI则使用深度学习、强化学习等高级算法，从大量数据中自动学习特征和模式； 数据量：早期AI因数据存储和处理能力的限制，可用数据量非常有限。现代AI受益于大数据技术，可以利用海量数据进行训练和学习； 应用范围：早期AI的应用范围相对狭窄，主要集中在学术研究和特定领域。现代AI已经广泛应用于医疗、金融、交通、教育等多个行业； 交互能力：早期AI的交互能力有限，主要通过命令行界面操作。现代AI可以通过语音、图像等多种方式与人类进行自然交互； 自主性：早期AI缺乏自主学习和决策的能力。现代AI在某些领域已经展示出一定程度的自主性，如自动驾驶汽车和智能机器人； 泛化能力：早期AI的泛化能力较弱，通常只能在特定任务上表现良好。现代AI具有更好的泛化能力，能够在多个任务和领域中应用； 伦理和安全性：随着AI技术的发展，伦理和安全性问题逐渐成为研究重点。早期AI在这方面的考虑相对较少，而现代AI在伦理和安全性上有更多的关注和讨论； 可解释性：现代AI越来越关注模型的可解释性，即如何让AI的决策过程更加透明和易于理解。早期AI由于其简单性，可解释性相对较高； 社会影响：现代AI对社会的影响远超过早期AI，其在伦理、法律、就业等方面的影响已经成为公众和学者关注的焦点；跨学科融合：现代AI的发展涉及计算机科学、认知科学、心理学、神经科学等多个学科的融合，而早期AI更多地集中在计算机科学领域； 国际合作与竞争：现代AI的发展是全球性的，不同国家和地区在AI研究和应用方面既有合作也有竞争。早期AI的研究则更多地局限于个别国家和研究机构； 这些区别展示了AI技术从基础研究逐步走向多领域应用的发展历程，同时也反映出社会对AI技术的期望和担忧。未来AI的持续发展依然蕴藏着巨大的潜力和挑战，离不开多学科的协作和全球的共同努力。 ↩

  4. IBM28的Watson代表了2000年代初人工智能领域一个显著的突破。IBM Watson是一个高级别的人工智能问答系统，它结合自然语言处理和机器学习技术来理解、推理和处理人类语言。 IBM Watson的发展： 问答系统的开发：IBM的研究员从2000年代初开始开发Watson项目。Watson的目标是能够以与人类类似的方式理解和回答复杂的问题。 自然语言处理：Watson系统结合了强大的自然语言处理能力，它不仅可以理解人类语言的表面文字，还能把握语言背后的具体含义和上下文。 知识库和学习：Watson系统访问了一个庞大的结构化和非结构化数据知识库，并能通过机器学习算法持续学习改进。 Jeopardy!挑战（2011）：Watson系统在2011年参加了美国流行的电视问答节目Jeopardy!。在这次比赛中，Watson战胜了两位Jeopardy!的最强冠军，展示了机器学习和自然语言处理在实践中的巨大潜力。 Watson在垃圾邮件识别上的影响： 垃圾邮件识别技术：Watson提供的各种技术，包括文本分析和模式识别，已经被用于电子邮件系统中垃圾邮件的识别（spam filtering）。29 模板匹配和机器学习：早期的垃圾邮件过滤器依赖于模板匹配和特定规则。Watson等系统推动了基于更复杂机器学习算法的垃圾邮件识别技术，它可以更准确地分类邮件和识别垃圾邮件的新模式。 持续影响：Watson和其他先进AI系统提倡的方法至今仍然影响着垃圾邮件识别领域，提高了识别的准确性和降低了误判率。 IBM Watson项目表明了机器学习和人工智能如何解决特定的实践问题并对各行各业产生长远影响。Watson系统在Jeopardy!的成功之后，其技术已经被应用于医疗、金融、客户服务等多个领域，并且在不断进步和发展。 ↩

  5. 反向传播算法：zhuanlan.zhihu.com/p/671055447 ↩

  6. 支持向量机（SVM）：zhuanlan.zhihu.com/p/537017061 ↩

  7. 随机梯度下降法（SGD）：zhuanlan.zhihu.com/p/357963858 ↩

  8. 杨立昆（Yann LeCun）是一位著名的计算机科学家，在人工智能、机器学习、移动机器人、计算机视觉以及更多领域都有深远的影响。他被誉为“卷积神经网络（CNN）之父”，因为在这些领域的贡献，杨立昆与Geoffrey Hinton和Yoshua Bengio共同获得了2018年的图灵奖。 在1998年与同事合作发布了MNIST手写数字数据集。MNIST是一个非常重要的数据集，它包含了60,000个训练样本和10,000个测试样本，所有样本都是手写数字，范围从0到9。这个数据集在机器学习和计算机视觉领域具有里程碑意义，因为它易于获取，且具有标准化的格式，因此成为了许多机器学习算法和深度学习模型的基准测试数据集。 以下是MNIST数据集的一些关键特点： 标准化：MNIST数据集中的所有图像都是标准化的，即它们都被调整为相同的大小（28x28像素），并且中心化在图像中心。 规模：该数据集的规模适中，包含70,000个样本，这使得它足够大，可以训练出有效的统计模型，同时又不至于太大，导致训练过程过于缓慢或需要大量的计算资源。 多样性：尽管MNIST只包含数字0到9，但手写样本的多样性使得它成为一个具有挑战性的数据集。不同的人有不同的书写风格，这增加了模型学习泛化特征的难度。 基准测试：MNIST数据集被广泛用于评估新的机器学习和深度学习算法的性能。许多算法在发布时都会在MNIST上进行测试，以展示其能力。 教育工具：MNIST数据集也是教育和入门深度学习的重要资源。由于其简单性和易于获取，它经常被用作教学示例，帮助学生和新入门者理解深度学习模型的工作原理。 历史影响：自发布以来，MNIST数据集已经作为基准被使用了二十多年，见证了机器学习领域的许多重要进展，包括卷积神经网络（CNN）的兴起。 深度学习的推动：MNIST数据集在深度学习的发展中起到了关键作用，特别是在计算机视觉领域。它帮助研究者们验证了深度学习模型在图像识别任务上的有效性。 ↩

  9. waymo模拟器：waymo.com/intl/zh-cn/… 所有软件、教程和文档：github.com/waymo-resea… ↩

  10. ImageNet（1300多万张图片构成的数据集）的创建者之一李飞飞也是ImageNet挑战的发起者，ImageNet挑战共计举办了7年时间。 image.png 2012年：这一年的ImageNet挑战赛中，多伦多大学的研究者Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton开发的深度卷积神经网络AlexNet取得了突破性的胜利，其识别准确率高达85%，比上一年的冠军高出10个百分点。 2016年：根据报道，这一年的ImageNet挑战赛中，中国团队表现出色，包揽了多个项目的冠军。例如，CUImage团队在物体探测任务中胜出，HikVision团队在场景分类任务中获得冠军，SenseCUSceneParsing团队在场景分析任务中获胜。 2017年：这一年是ImageNet挑战赛的最后一届，据报道，中国的360人工智能团队在物体定位任务中夺得了冠军。同时，Malong AI Research在WebVision图像分类任务中获得了最优成绩。 ↩

  11. 自然语言处理（Natural Language Processing，简称NLP）是人工智能和语言学领域的一个分支，它涉及到使计算机能够理解、解释和生成人类语言（如英语、中文等）的技术。NLP的目标是缩小人类语言和计算机之间的差距，让计算机能够执行如下任务： 语音识别：将语音转换成书面文本。 自然语言理解：理解自然语言的意图、情感、语境等。 机器翻译：将一种语言的文本翻译成另一种语言。 文本挖掘和文本分析：从文本中提取有用信息和洞察。 信息检索：根据用户查询返回相关信息。 语言生成：生成自然语言响应或文本。 NLP的关键技术和方法包括： 词法分析：包括分词（Tokenization）、词性标注（Part-of-Speech Tagging）等。 句法分析：分析句子的语法结构，如短语结构或依存关系。 语义分析：理解句子或文本的意义，包括指代消解、意图识别等。 情感分析：确定文本的情感倾向，如正面、负面或中性。 机器学习：使用统计模型和机器学习算法来提高NLP任务的性能。 深度学习：近年来，深度学习技术，特别是神经网络模型（如循环神经网络RNN、长短期记忆网络LSTM、Transformer等）在NLP中得到广泛应用。 NLP的应用非常广泛，包括但不限于： 聊天机器人和虚拟助手（如Siri、Alexa）。 语音助手和自动翻译服务。 社交媒体监控和情感分析。 搜索引擎和推荐系统。 医疗记录和法律文件的自动摘要生成。 智能客服和自动化客户反馈分析。 自然语言处理是一个不断发展的领域，随着技术的进步，其应用范围和能力也在不断扩展。 ↩

  12. GPU: baijiahao.baidu.com/s?id=179970… ↩

  13. 蒙特卡洛树搜索: blog.csdn.net/fearlesslpp… ↩

  14. AI在医疗影像自动诊断系统领域已经取得了一些标志性的成果，显著提升了诊断效率和准确性。以下是一些值得注意和被公认的里程碑级研究和应用： 1.Stanford University - CheXNet 成果：斯坦福大学的研究团队开发了名为CheXNet的神经网络模型，用于分析胸部X光图像以检测肺炎。 细节：该模型使用了超过100,000张带标注的X光图像进行训练，能够检测出14种不同的胸部疾病，并在某些任务上超过了放射科医生的准确性。 影响：展示了深度学习在医疗影像分析中的潜力，为将AI应用于实际临床诊断铺平了道路。 2.Google DeepMind - Retina Disease Detection 成果：Google DeepMind与Moorfields Eye Hospital合作开发了一种AI系统，用于分析眼底扫描图像，诊断眼科疾病如糖尿病性视网膜病变和黄斑变性。 细节：该系统使用了大量的视网膜扫描数据进行训练，并使用深度学习技术预测病变区域。 影响：在2018年投入使用后，显著提高了早期诊断的准确性和效率，减少了患者的失明风险。 3.IDx-DR - FDA认证的糖尿病性视网膜病变诊断 成果：IDx公司开发的IDx-DR系统成为首个获得美国FDA批准的用于诊断糖尿病性视网膜病变的独立AI系统。 细节：该AI系统使用非散瞳成像设备拍摄患者的视网膜图像，并自动进行分析和诊断，不需要眼科医生的介入。 影响：这一批准标志着AI系统在医疗诊断领域获得了重要的官方认可，并为其他AI医疗设备的推广树立了里程碑。 4.IBM Watson - 乳腺癌诊断 成果：IBM Watson利用AI技术分析乳腺癌患者的电子病历和医学文献，辅助医生进行治疗方案的制定。 细节：IBM Watson不仅能读懂医学文献和病理报告，还能根据最新的研究成果提供个性化的治疗建议。 影响：提高了乳腺癌诊断的准确性，缩短了诊断时间，成为AI在肿瘤学应用的重要实例。 5.Aidoc - 急诊医学影像 成果：Aidoc开发了多个用于急诊医学影像分析的AI模型，帮助识别包括颅内出血、脊柱损伤等在内的急症病变。 细节：这些AI模型能够迅速分析CT扫描图像，并在几分钟内提供诊断结果，极大地提高了急诊治疗的节奏。 影响：减轻了急诊科医生的工作负担，提高了急症处理的效率和准确性。 6.Zebra Medical Vision - 总体健康评估 成果：Zebra Medical Vision 开发了一系列AI工具，用于从多种医学影像（如CT、MRI、X光）中提取和分析健康指标，用于总体健康风险评估。 细节：这些工具可以检测多种疾病，包括心脏病、肺炎和骨质疏松症等，提供综合的健康风险评估报告。 影响：提供了更全面的健康检查手段，促进了预防医学的发展。 7.RadNet and PathAI - 病理图像分析 成果：RadNet与PathAI合作开发了用于病理图像分析的AI系统，重点在乳腺癌和前列腺癌的检测上。 细节：该系统利用AI技术对病理切片图像进行自动分析，识别癌细胞并提供分级诊断。 影响：提高了病理诊断的准确性和效率，使得病理科医生能够更快、更准确地做出诊断。 这些标志性的成果不仅展示了AI在医疗影像领域的巨大潜力，也为未来的医疗实践提供了新的工具和方法，有望进一步推动医学进步和公共健康改善。 ↩

  15. 里程碑发展： 1.2012年：AlexNet在ImageNet挑战中的成功 事件：AlexNet赢得ImageNet大赛，通过大型卷积神经网络（CNN）极大地提升了图像识别精度。 影响：标志着深度学习在视觉任务中的突破，触发了对深度神经网络的广泛研究和应用。 2.2013年：RCNN的提出 事件：Ross Girshick等人提出了Region-based Convolutional Neural Networks (R-CNN)。 影响：提高了目标检测的精度和效率，推动了物体检测领域的发展。 3.2014年：GANs的引入 事件：Ian Goodfellow等人提出生成对抗网络（GANs）。 影响：使得逼真图像生成成为可能，影响了数据增强、图像修复和深度伪造技术的发展。 4.2015年：ResNet的提出 事件：何凯明等人提出了残差网络（ResNet）。 影响：解决了深层神经网络训练中的梯度消失问题，极大提高了图像分类和目标检测的性能。 5.2015年：YOLO的提出 事件：Joseph Redmon等人提出了You Only Look Once (YOLO)目标检测算法。 影响：实现了实时目标检测，大幅提高了检测速度，成为边缘设备应用的可能方案。 6.2015年：支付宝推出Smile to Pay 事件：支付宝在2015年的CeBIT展会上推出“Smile to Pay”人脸支付系统。 影响：展示了人脸识别技术在支付领域的实际应用，开创了更便捷的支付方式。 7.2016年：微信支付推行人脸识别支付 事件：微信支付开始推行人脸识别支付，推动了这一技术在日常消费中的广泛应用。 影响：进一步推动了人脸识别在支付领域的普及，同时展示了该技术的可靠性和便捷性。 8.2016年：AlphaGo战胜围棋冠军 事件：DeepMind的AlphaGo战胜了世界围棋冠军李世石。 影响：展示了AI在复杂策略问题中的潜力，激发了对深度学习和强化学习结合的研究。 9.2017年：Face ID发布 事件：苹果公司在iPhone X中引入了Face ID技术。 影响：提升了人脸识别在消费电子产品中的安全性和用户体验，带动了该技术的普及。 10.2018年：DeepFace和Facial Recognition Technology的广泛应用 事件：Facebook的DeepFace等技术在现实世界中被广泛应用。 影响：广泛应用在人脸识别、社交媒体、安防和支付验证，增强了识别的准确性和可靠性。 11.2019年：WideResNet、EfficientNet的推出 事件：推出了WideResNet和EfficientNet架构。 影响：提升图像分类和目标检测性能，同时优化了计算资源的使用，使应用更为高效。 12.2019-2020年：人脸识别的法律和伦理讨论 事件：广泛的隐私和伦理讨论引发许多地区制定相关法律和规范。 影响：促进了技术的发展，同时推动了公平性、透明性和隐私保护研究的深入，以及相关政策和标准的制定。 ↩

  16. 自然语言生成（NLG，Natural Language Generation）技术的优化指的是通过改进算法、模型和技术，使计算机能够更自然地生成和理解人类语言文本。这种优化提高了NLG系统的生成质量，使其输出更接近人类所写的文本，覆盖更多语境，满足更多复杂的用例。 理解自然语言生成（NLG）技术的优化 1.概念与背景 自然语言生成（NLG）： NLG是人工智能与自然语言处理（NLP）的一个分支，旨在使计算机能够生成自然的、连贯的文本。其应用范围包括文本摘要、报告生成、对话系统、内容创作等。 优化目标： 提高生成文本的自然性、连贯性、准确性和多样性。 2.关键技术突破和优化手段 a.大型语言模型的出现 事件：OpenAI的GPT（Generative Pre-trained Transformer）系列模型，如GPT-2、GPT-3 以及之后的版本。 原理：基于Transformer架构，使用大量文本数据进行预训练，然后通过微调（Fine-tuning）来适应具体的生成任务。 优化效果：显著提高了文本生成的质量，使输出文本更加自然和连贯。 b.注意力机制（Attention）和Transformer模型 注意力机制：在生成文本时，模型能够专注于相关的单词和句子结构，这提高了上下文理解和长文本生成的能力。 Transformer模型：如BERT、GPT等，采用自注意力机制，支持并行处理，极大地提高了训练效率和文本生成质量。 c.多任务和迁移学习 多任务学习：模型在多个相关任务上进行训练，提高泛化能力和性能。 迁移学习：通过在大量通用语料上进行预训练，然后在具体任务上进行微调，使得模型在具体应用场景中的表现更好。 d.条件生成和控制生成 条件生成：模型可以依据给定的条件（如关键词、主题、上下文）生成特定风格或内容的文本。 控制生成：实现对生成内容的更细粒度控制，如长度、风格、语气等，从而更好地满足用户和应用需求。 e.对话系统和交互式生成 提升对话质量：通过优化对话模型的结构，使得生成的回复更加连贯和自然，如使用BERT和GPT等作为对话模型的核心。 交互式生成：模型在生成过程中可以理解和适应用户的反馈，即时调整生成策略，提高用户体验。 f.强化学习和生成对抗网络（GAN） 强化学习：通过设计奖励机制，优化生成文本的连贯性、准确性等多维度指标。 生成对抗网络（GAN）：在文本生成中使用生成器和判别器相互对抗，生成更为真实和自然的文本。 ↩

  17. 以下是AI硬件加速器的普及过程中的关键时间节点和发展历程： 1.GPU的崛起 NVIDIA GPU 2006年：NVIDIA推出CUDA平台，使开发者能使用GPU进行通用计算，标志着GPU在AI和深度学习领域的首次大规模应用。 2010年左右：GPU被广泛应用于深度学习模型的训练，比如早期的ImageNet竞赛中使用的GPU显著提升了图像识别速度和精度。 AMD GPU 2012年：AMD推出的Radeon GPU系列同样开始被应用于深度学习和AI任务，为市场提供了多样化选择。 2.专用集成电路（ASIC） 谷歌TPU（Tensor Processing Unit） 2015年：谷歌首次在内部公布TPU，用于增强其数据中心的AI计算能力。 2018年：TPU v2和TPU v3在Google I/O大会上发布，随后在Google Cloud中商用，广泛应用于大规模深度学习任务，如自然语言处理和自动驾驶。 3.现场可编程门阵列（FPGA） 英特尔FPGA 2015年：英特尔通过收购Altera进入FPGA市场，并推出如Arria和Stratix系列FPGA，支持AI推理任务。 2018年：英特尔推出了专门用于AI推理的Nervana神经网络处理器。 赛灵思FPGA 2017年：赛灵思推出Virtex和Zynq UltraScale+系列FPGA，支持多种AI应用，包括图像识别、机器学习和数据分析。 4.神经网络处理单元（NPU） 华为昇腾（Ascend）系列NPU 2018年：华为发布Ascend CPU，包括Ascend 310和Ascend 910，用于AI推理和训练，率先在云端和边缘计算中得到应用。 其他NPU厂商 2017年：苹果在iPhone X中发布了A11仿生芯片，包含神经引擎（Neural Engine），用于提高AI处理能力，如Face ID。 2019年：三星在其Exynos处理器中集成了NPU，用于图像处理和人工智能任务。 5.深度学习加速器 Graphcore IPU 2018年：Graphcore发布了IPU（Intelligence Processing Unit），用于处理AI和机器学习任务，高效执行大规模并行计算。 Cerebras Wafer-Scale Engine（WSE） 2019年：Cerebras Systems推出全球最大的单芯片计算机WSE，用于AI训练和推理，大幅提升计算能力。 6.量子加速器 D-Wave 量子计算机 2011年：D-Wave发布首款商用量子计算机D-Wave One，尽管主要用于特定优化问题但逐步涉足AI领域。 硬件加速器的发展和普及概述 这些关键时间节点和硬件加速器的发布标志着AI和深度学习研究与应用的重大进展。GPU的崛起打破了传统CPU在AI计算中的局限性，而专用加速器如TPU和FPGA则进一步优化了深度学习任务的效率与性能。近年来，NPU、深度学习加速器和量子计算的发展表明，AI计算的需求正在不断推动计算硬件技术的创新和演化。 随着硬件加速器技术的不断成熟和普及，AI应用的成本和资源需求将进一步降低，这将助力AI技术更广泛地渗透到各行各业，推动社会的智能化发展。 ↩

  18. DeepFake 数据集: zhuanlan.zhihu.com/p/695260373 ↩

  19. 尽管深度学习在过去十年中取得了显著突破，推动了人工智能（AI）领域的繁荣，但它也面临一些重要的缺点和挑战。这些问题需要研究人员和从业者在未来的努力中认真解决。 1.数据依赖性强 问题：深度学习模型通常需要大量标注数据进行训练，数据的质量和数量直接影响模型的性能。 原因：模型复杂度高，参数众多，需要通过大量数据进行迭代优化。 影响：获取高质量标注数据成本高，某些领域的数据可能并不容易获得。 2.计算资源消耗大 问题：训练深度学习模型尤其是大型模型（如GPT-3）需要大量的计算资源和能量消耗。 原因：复杂的神经网络结构和大量参数的优化过程需要高效的计算设备（如GPU、TPU）支持。 影响：不仅增加了训练成本，也对环境产生了负面影响，尤其是高能耗问题。 3.可解释性和透明性问题 问题：深度学习模型通常被视为"黑盒子"，难以理解其内部决策过程。 原因：神经网络的高度非线性和复杂关系使得模型的行为难以追踪和解释。 影响：在关键应用（如医疗和金融）中，决策的不可解释性可能限制其使用和信任度。 4.过拟合与泛化能力不足 问题：深度学习模型易于在训练数据上过拟合，而在未见过的测试数据上表现较差。 原因：模型参数过多，如果缺乏足够的数据和正则化，有可能记住训练数据而不是学习到实际规律。 影响：模型泛化能力不足，难以应对实际应用中的多变场景。 5.偏见与公平性问题 问题：模型训练数据中的偏见可能导致深度学习模型在某些群体上的不公平表现。 原因：训练数据集可能不平衡，反映了数据收集和标注中的固有偏见。 影响：在面临人脸识别、招聘、信贷评分等决策时，可能导致社会不公和道德风险。 6.可扩展性与迁移学习的局限 问题：深度学习模型在一个特定任务上的优秀表现难以直接迁移到另一个任务或领域。 原因：模型高度专门化，适应特定数据和任务的特性不一定适用于其他场景。 影响：需要重新进行大量的数据收集和训练调整，降低了效率和灵活性。 7.安全性和对抗攻击 问题：深度学习模型易受到对抗样本攻击，即特意扰动输入数据，使模型做出错误决策。 原因：模型复杂性和高度非线性使得它们对输入数据的小变化敏感。 影响：在安全敏感的应用（如自动驾驶、安防系统）中，对抗攻击可能导致严重后果。 8.训练和部署成本高 问题：训练一个大型深度学习模型不仅需要强大的硬件支持，还需要相当的经济成本。 原因：高性能计算平台（如GPU集群）以及消耗巨大的电力资源增加了成本。 影响：对于小型企业或研究团队而言，过高的成本可能阻碍其进入深度学习领域。 持续改进的方向 数据高效学习：探索少样本学习、无监督学习和半监督学习，以减少对大量标注数据的依赖。 绿色AI：开发更加能效优化的算法和硬件，以减少计算资源和能源消耗。 可解释性AI：研究可解释性模型和解释技术，提高深度学习模型的透明性和可理解性。 公平性评估：建立和推广算法公平性评估方法，减少模型偏见，增强其在不同群体中的公平性能。 对抗防御：设计并应用对抗防御策略，提高模型的安全性和鲁棒性。 迁移学习：推进迁移学习技术的发展，使模型能更广泛地适用于不同任务和领域。 开放资源：通过开放数据集和模型库，降低进入AI领域的门槛，促进社区协作和创新。 总体而言，尽管面临多种缺点和挑战，深度学习在过去十年的突破为AI领域带来了前所未有的繁荣。通过持续的研究和改进，未来有望克服这些挑战，进一步推动AI技术的发展和应用。 ↩

  20. ChatGPT是美国初创公司OpenAI于2022年11月30日发布，ChatGPT3.5（2023年1月23日），ChatGPT4.0（2023年3月14日），2024年6月25日消息，据官方推送的邮件通知中明确指出，自7月9日起，OpenAI将开始阻止来自非支持国家和地区的API流量。 大模型全景：llm.juejin.cn/view ↩

  21. AlphaFold 2: baike.baidu.com/item/AlphaF… ↩

  22. 新型冠状病毒肺炎: baike.baidu.com/item/%E6%96… ↩

  23. 在新冠疫情期间，人工智能（AI）确实在多个领域展现出其广泛的应用和对抗疫情的巨大潜力，以下是一些通过AI实现的具体成果： 1.疫苗开发支持 a.协助识别病毒的蛋白质结构：例如，谷歌旗下的DeepMind使用其AI算法AlphaFold成功预测了新冠病毒部分蛋白结构，为研究人员提供了关键信息，加速了疫苗的研发流程。 b.助力药物筛选：AI平台如BenevolentAI使用知识图谱来分析相关科学文献和数据库，识别了几种可能对新冠病毒治疗有效的药物候选，如已经用于治疗风湿性关节炎的药物巴瑞替尼布。 2.病毒扩散模型预测 a.实时监测与预警系统：例如加拿大初创公司BlueDot的预警系统，在疫情初期就预测了病毒可能从武汉蔓延到其他城市，提前提醒了公众和卫生机构。 b.模拟疫情传播路径：多家组织和研究团队开发了动态模型来模拟新冠病毒的传播，帮助政府和卫生部门进行风险评估和应对策略规划。 3.医疗影像分析 a.自动化CT和X射线图像诊断：利用AI，如阿里巴巴、华为等公司开发的系统能够迅速识别出新冠病毒引起的肺炎特征，辅助医生在病人数量激增时作出快速诊断。 b.提高影像学筛查效率：通过深度学习模型，AI能够在海量的肺部影像中快速发现疾病迹象，减少医务人员的工作负担，并提高诊断的准确性。 ↩

  24. AI在自动驾驶汽车中的应用是多方面的，涵盖了从感知环境、决策规划到车辆控制等多个关键环节。以下是一些主要的应用领域： 环境感知：AI技术使得自动驾驶汽车能够通过各种传感器，如雷达、激光雷达（LiDAR）、摄像头等，实时感知周围环境。这些传感器收集的数据被AI系统处理，用以识别行人、车辆、交通信号和其他障碍物。 高精地图和定位：AI在自动驾驶中用于精确定位车辆在道路上的位置，并与高精度地图数据相结合，为车辆提供导航。 决策与规划：AI系统根据感知到的环境信息进行快速决策，规划车辆的行驶路线和策略，包括速度控制、车道变更、避障等。 控制与执行：AI技术还涉及到控制算法，这些算法能够精确地执行驾驶任务，如转向、加速和制动，确保车辆平稳安全地行驶。 车联网（V2X）：AI在车联网技术中发挥作用，实现车辆与其他车辆、基础设施、行人和网络的通信，提升交通效率和安全性。 仿真和测试：AI技术在自动驾驶汽车的仿真测试中至关重要，通过模拟各种交通场景来训练和验证自动驾驶系统的性能。 端到端自动驾驶：一些先进的AI模型能够实现端到端的自动驾驶，即直接从传感器输入到生成驾驶指令的全过程。 可解释AI：在自动驾驶系统中应用可解释的AI技术，有助于提高系统的透明度和信任度，同时在发生问题时能够更好地进行分析和解释。 传感器融合：AI技术用于融合来自不同传感器的数据，提供更全面和可靠的车辆周围环境信息。 车路协同：AI在车路协同中发挥作用，通过路侧设备和车辆的智能协同，提高自动驾驶的安全性和效率。 ↩

  25. Midjourney与Stable Diffusion的区别：zhuanlan.zhihu.com/p/635702301 DALL-E、Midjourney和Stable Diffusion是当前AI图像生成领域的三个突出工具，它们各自具有独特的特点和工作原理。 DALL-E 2： 由OpenAI开发，使用超过100亿个参数训练的GPT-3模型。 能够根据文本描述生成图像，使用CLIP（对比语言-图像预训练）网络来学习物体的视觉和文字表示之间的联系。 工作原理包括将文本转化为CLIP文本嵌入，然后创建图像嵌入，并最终通过Decoder生成图像。 适合企业使用，尤其在涉及多个人物的图像生成中表现较好。 Midjourney： 以其艺术风格闻名，擅长创造具有幻想和科幻场景的图像。 通过Discord机器人使用，用户通过“/imagine”命令输入文本提示生成图像。 生成的图像通常具有艺术感，看起来像一幅画，而不是照片。 适合创意设计师和普通用户，易于上手，但在精确控制图像内容方面存在挑战。 Stable Diffusion： 一个开源模型，基于Latent Diffusion Model（LDM），使用CLIP ViT-L/14文本编码器。 工作原理涉及从有噪声的状态开始，逐步改善图像，直到接近文本描述。 能够生成细节丰富的艺术作品，适合生成复杂的、有创意的插图。 对于一般的图像生成可能存在一些不足，需要对复杂的文本提示进行解释。 ↩

  26. 2022年英伟达在中国AI加速卡市场份额为85%，华为市占率为10%，百度市占率为2% baijiahao.baidu.com/s?id=176113… ↩

  27. 中国的《新一代人工智能伦理规范》：2021年9月25日发布，旨在将伦理道德融入AI全生命周期，提出了增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养等6项基本伦理要求，并针对管理、研发、供应、使用等特定活动提出了18项具体伦理要求。www.most.gov.cn/kjbgz/20210… 欧盟的人工智能伦理准则：2019年4月8日发布，以“建立对以人为本AI的信任”为题，提出了“可信任AI”的三项基本原则：符合法律规定、满足伦理原则、具有可靠性，并进一步提出了七项关键要求，包括人的自主和监督、可靠性和安全性、隐私和数据治理等。 联合国教科文组织的《人工智能伦理问题建议书》：2021年11月通过，是全球首份人工智能伦理标准，涵盖了数据管理、透明度、监督、问责等多个方面，强调了人权、尊严、自由、隐私和环境的保护 ↩

  28. 1997年5月，在纽约，卡斯帕罗夫输掉了一场六局制比赛，对手是 IBM的深蓝（Deep Blue），当时世界上最强大的国际象棋计算机。关于这场比赛，至今仍有许多争议。首先，“深蓝”的设计者有机会事先根据卡斯帕罗夫的战略和风格以及所有的公开对局对深蓝的程序进行针对性的改编。而卡斯帕罗夫就无法了解“深蓝”的历史记录，因为“深蓝”在每次对决之后就被会被微调，所以他完全就是在盲下。其次，人们忘记了，深蓝挑战赛分两场，而卡斯帕罗夫赢得了1996年在费城举行的第一场。在两场比赛之间，IBM重新编码了它的计算机，于是卡斯帕罗夫指控IBM作弊。 影响：IBM的“深蓝”通过“穷举法（brute force）”或者说暴力计算的方式，在计算游戏步数的能力比人类强太多。输掉比赛后，卡斯特罗夫也承认：机器在游戏领域占上风，是因为人类会犯错误。这次人类的失败，也引发了人们新的思考：在国际象棋上赢了人类后，机器下一个争夺的领域会是什么？会是围棋吗？ ↩

  29. Spam识别系统通常包括以下几个组成部分: 规则基础的过滤器：最早期的垃圾邮件过滤器大多基于特定的规则，例如检查邮件标题和内容中的关键词、发件人的信誉度，和一些邮件头信息的模式。这种方法简单直接，但容易被新型的垃圾邮件绕过。 贝叶斯过滤器：贝叶斯过滤是垃圾邮件检测中一种比较有效的技术，它使用统计方法来判断一封邮件是不是垃圾邮件。贝叶斯过滤器会分析邮件中各个词的出现频率，并计算邮件是垃圾邮件的概率。这种方法可以随着用户的反馈"学习"并提高判断准确率。 机器学习算法：随着人工智能的发展，基于各种机器学习算法的垃圾邮件识别方法变得日益流行。这包括支持向量机、决策树、神经网络等算法，它们可以从大量样本中学习并不断优化过滤模型。 内容和行为分析：现代垃圾邮件过滤技术还会考虑邮件内容外的其他信号，如发件人的行为模式、邮件发送频率和用户与邮件的互动等，进一步提高垃圾邮件识别的准确性。 黑名单和白名单：垃圾邮件过滤器通常会维护黑名单和白名单来帮助识别。黑名单包含已知的垃圾邮件发送者的地址，而白名单包括用户信任的发件人地址。挑战-响应系统：一些过滤器会使用挑战-响应系统来验证发件人是否为合法用户。这通常涉及向发件人发送一个需要回应的挑战（如输入一组字符或回答一个问题），如果没有正确回应，邮件可能被标记为垃圾邮件。 Spam识别是一个持续进化的领域。为了与日益狡猾和高度适应的spam发送者竞争，过滤技术必须不断进步。此外，良好的用户体验也很重要，需要避免过度过滤导致的误杀（误判合法邮件为spam）和漏杀（未能识别出真正的spam）。 ↩

avatar
文章
阅读
粉丝