TowardsDataScience 博客中文翻译 2016~2018（二十四）
AI 101:揭开预测数据分析的神秘面纱
除非你在过去几年一直生活在岩石下，否则你很有可能会经常遇到预测分析。这是每个人都在谈论的水晶球。虽然谈话中充斥着老生常谈，但当有人稍微深入一点，迫使一个人后退时，这可能会有点令人生畏。即使不是每个人都可以成为数据科学家，了解数据分析领域的关键概念是如何工作的也很重要，只要能够确保我们能够利用它们来满足我们的个人或业务目标。相信我的话，没那么复杂！
什么是预测分析？
简单来说就是利用历史数据来预测一个未来状态的过程。这种未来状态可能指的是趋势之类的东西(“某只股票可能会走向哪里？”)和行为属性(“特定客户可能会购买什么？”).换句话说，预测分析是用来预测在给定环境下可能发生的事情。
“预测”是如何工作的？
预测分析的基础是可以对大多数事物进行“建模”的想法。这种想法的基础是假设数据参数之间存在因果关系，即当一些数据参数改变时(原因)，其他数据参数也会相应改变(效果)。
让我们回到一些基础数学来进一步理解这一点。你会回想起自变量和因变量函数的使用。在上面的陈述中,“原因”是自变量,“结果”是因变量。最简单的形式是:
我们举个简单的例子，说我们的函数是: y = 2 + 3 x
所以对于每一个 x 的值，我们都会有一个由函数定义的对应的值 y 。
有了上面的信息，当 x 的值改变时，很容易“预测”yy**的未来值——我们的简单函数类似于预测模型！
让我们介绍一些复杂性
底线是，所有的预测模型本质上都是一个类似于上图的函数。然而，并不是所有的功能都如此简单。复杂之处在于函数本身。实际上，我们的预测模型的功能更可能是这样的:
上面的函数说明了什么？我们的因变量(即 y )基于多个自变量(即 a、b、c、d、e、… )。
让我们举一些使用案例来让这更真实一点:
上述所有例子中的共同线索——实际上是所有预测建模问题陈述中的共同线索——是通过因变量和多个自变量之间的函数建立因果关系。
预测的类型
虽然预测函数中的变量可以有多种形式，但了解这三大类别对于理解预测分析的可能性是很有用的。让我们以贷款违约为例来理解可以做出的不同类型的预测:
- 预测非量化结果:客户会违约吗(是/否)？
- 预测发生的可能性:客户违约的概率有多大？
- 预测有形价值:客户违约的实际金额是多少？
再次，冒着重复我自己的风险，以上三个问题都可以通过不同类型的函数来回答，因变量随着预测的类型而变化。
简单介绍一下预测建模方法
正如我上面所说的，任何预测模型的核心是识别与自变量和因变量相关的函数。这样做的过程、方法、途径就是专家介入的地方。这些功能通常非常复杂，需要统计和数据科学方面的复杂知识。
无需深入建模技术的所有细节，了解另一个方面是很有用的——预测分析技术分为两大类:
- 回归技术:回归模型的重点是尝试使用不同的方法建立因变量和自变量之间的函数，然后使用该函数预测值。
- 机器学习技术 : ML 技术用在钉住底层数学方程或函数非常复杂的地方。相反，机器被用来查看大型数据集(训练数据)，并使用它们来预测值。基本的螺母和螺栓保持不变(即，机器确实为自己创建了某种函数，即使是模糊的)，只是它不太适合函数方程。
预测分析如今无处不在，企业正利用它来销售更多产品、制造更好的产品、降低风险、了解客户行为等。我们更有效、更准确地做这件事的能力在不断提高，尽管基本前提没有改变。
人工智能 101，第一部分:关于预测模型你需要知道什么
虽然预测分析和人工智能是当今销售和营销专业的大话题，但当你试图找出如何开始使用这些依赖数据的解决方案时，可能会感到令人生畏。尽管大多数营销人员可能实际上不会自己构建任何数据模型，但下一波走向市场的专业人员对如何使用数据解决业务问题形成坚实的理解是至关重要的。在这一系列文章中，我将一篇一篇地分解围绕这些技术的关键概念，并在预测建模的引擎盖下提供一个有帮助的外观。
准备尝试人工智能的商界人士应该首先缩小范围，学习预测建模的基础知识——这是用机器有效取代人类功能所需的基础技术之一。人工智能解决方案使用这种先进的数据科学来处理、理解、翻译和解释所有的数据，并将其意义解析为可视化和可操作的输出。
让我们来探讨构建预测模型的四个主要阶段:
1)数据采集
在构建预测模型时，第一步是收集所有的输入或数据源。毫无疑问，销售和营销团队正在获取大量数据。然而，在许多情况下，营销人员收集的数据只有他们关心，对销售来说可能没有价值、没有洞察力或可操作性(反之亦然)。不管怎样，鉴于被动营销渠道、低障碍免费试用等的大量采用。，大多数企业正在大规模收集有关其前景的大量数据——其中大部分可用于为更智能的预测模型提供信息。
2)数据准备
在挖掘所有这些数据之前，重要的是先退后一步，弄清楚你试图用人工智能解决什么样的业务问题，这将有助于你优先考虑你的数据准备任务。现实情况是，数据不完整和不干净是非常常见的(无法避免数据输入带来的人为错误)，因此数据准备对人工智能的未来至关重要。如果您愿意，您的数据应该被适当地清理，以便您可以在数据采集阶段正常化典型误差，并最终产生一个合理的模型。只有这样，预测分析才能回答您的具体问题，并推动您想要的行动。准备数据的一些常见方法包括丰富(引入外部信号以补充当前记录)、垃圾邮件分析和标题规范化——请在我的下一篇文章中继续关注这些技术。
3)建模
一旦你理解了你想要解决的机器学习问题，建立模型的下一步就是采用数据科学方法，如分类或回归。分类又称概率估计，用于预测每个个体属于一个小的类集合中的哪一个。例如，你可能会问“在 X 公司的客户中，谁最有可能回应这个提议？”那么将有两类:“不回应”或“回应”。"
另一方面，回归(或价值估计)用于预测每个个体的某个变量的数值。查看历史数据，您可能会生成一个模型来估计特定于每个人的特定变量，例如“该客户将使用多少服务？”这两种技术以及许多其他技术都可以提供模型输出，推动销售和营销中强大的人工智能和预测分析用例。
4)输出
例如，销售团队可以通过使用预测模型来改进他们筛选和优先考虑呼入销售线索和基于客户的拓展策略的方式，从而实现重大的绩效管理改进。有了指示哪些销售线索看起来最像公司的理想客户的分数输出，销售人员可以自信地将时间集中在可能购买的潜在客户身上。此外，团队可以使用人工智能更周到地路由他们的线索——根据每个线索的潜在价值，要么通过 SDR 进行拓展和发展，要么通过客户经理进行更积极的跟进，要么通过自动化培养计划。当一个老领导开始表现得像顾客时，预测行为模型也可以提醒销售人员。通过观察营销自动化和网络分析系统中的参与模式，您可以确定被忽视的线索何时可能接近转化阈值。这有助于销售代表找到“重新觉醒”的合格客户和联系人，然后触发数据驱动的工作流，在正确的时间用正确的信息进行更积极的跟进。
人工智能的另一个有价值的用例是提高营销效率。有了正确的客户情报，营销团队可以优化转化，尽可能提高漏斗效率。此外，由于预测分析输出可提供关于营销活动质量的即时反馈，因此他们可以轻松地实时计算关键绩效指标，而不是等待销售周期结束。在量化关键营销绩效指标时，如每条有效线索的成本、平均线索质量、渠道支出比率等，准确的预测也会增加价值。通过使用这些 KPI 来审视传统的虚荣心指标，并确定表现最佳的活动和内容，营销人员可以更深入地了解哪些计划可以吸引最高质量的潜在客户，推动更大的交易，并加快交易速度。
如果你希望你的模型产生统计上准确的预测，那么模型构建过程的这四个步骤中的每一个都很重要，而且随着人工智能从人类手中接管越来越多的日常任务，这些阶段变得越来越重要。没有人希望错过真正的收入，只是因为 AI 在确定外向潜在客户名单或撰写销售外联电子邮件的内容时犯了不必要的错误。
AI 101:了解客户流失管理
请考虑贝恩公司进行的一项研究中的以下事实:
获得一个新客户的成本可能比留住一个客户的成本高 700%。
仅仅提高 5%的客户保持率就能增加 25%到 95%的利润。
这些是相当重要的数字。因此，客户维系是企业最重要的目标之一，这是显而易见的。保留下来的客户也更有可能参与进来，对追加销售和交叉销售更加开放。
从历史上看，客户流失通常只是一个利益衡量指标，企业对此无能为力。由于根据该指标的定义来衡量客户流失是被动的，而不是主动的，大多数企业能够做的就是试图确定是什么推动了客户流失数字，并调整这些因素。
然而，今天的情况大不相同。如今，公司有能力捕捉客户参与度多个属性的数据点。复杂的人工智能和数据分析技术的出现进一步帮助利用这些丰富的数据，以更加有效的方式解决客户流失问题。如今，大多数公司，尤其是 B2C 领域的公司，都设计了具体的计划来解决客户流失问题。因此，了解它的各个方面是很重要的。
什么是流失？
流失——或客户流失——简单地定义为特定时期内客户流失的数量或百分比，扣除该时期内新获得的客户。换句话说，该指标跟踪您在吸引客户方面的成功与否。
对“流失客户”的解释有几个需要考虑的细微差别:
- “绝对”与“假定”客户流失:在某些情况下，客户主动终止与您的关系(例如，银行账户持有人关闭账户)，而在其他情况下，他们可能只是停止与您合作，即使在纸面上他们的状态没有变化(例如，客户停止从她过去经常购买的零售商处购买)。
- 客户流失定义的时间段因行业而异:对于一家电信公司，如果一个客户一个月没有使用你的网络，你可能会认为她“流失”了。另一方面，对于航空公司来说——因为雇佣频率通常较低——定义自然减员的时间段可能是 6 个月或 12 个月。
- “反应性”与“预期性”客户流失:客户流失有两种截然不同的方式。客户有时会对特定的负面事件或经历做出反应，导致他们离开你的企业，这通常被称为“反应性”流失。例如，信用卡客户可能会因为意外的费用、不满意的客户服务体验、经历冗长的争议解决过程等事件而却步。另一方面，有时脱离是逐渐的，并且不一定由任何特定的触发器驱动。这是“预期的”或“无声的”客户流失。由于显而易见的原因，后者更难管理。
机器或人工智能驱动的方法如何帮助管理客户流失？
流失管理的核心在于能够识别潜在流失者的早期预警信号。如果我足够早地知道某个特定的客户可能会离开我的公司，我就可以采取积极的措施来阻止它的发生。这就是分析可以发挥变革作用的地方。让我们来看看其中的几个方面。
- 确定已知负面触发因素及其影响之间的关系:研究负面客户体验的历史数据以及不同类型的客户对这些负面体验的反应，有助于开发一个稳健的模型来预测反应性流失。然后，这可以用于跟踪当前客户正在经历的类似触发事件，以确定他们可能会如何反应。那些由于一次或多次负面经历而被确定为可能流失的人可以走上康复之路。(注意:在包含内部触发器的同时也包含外部触发器，这一点很重要，尽管获取数据可能会更加困难。外部触发因素通常包括竞争对手的行为，如竞争对手的大幅降价、忠诚度计划的变化、收购动机等。)
- 根据过去了解衰落行为:历史数据也可用于预测非触发驱动的损耗。根据对当前客户的 360 度评估，将当前客户与流失的历史客户进行对比，有助于预测高风险客户。换句话说，如果我表现出的参与行为类似于已经淡出的老客户，那么我很可能会走上类似的道路。这些行为可能是减少我购买的类别数量、减少我的购买频率、减少我的忠诚度积分兑换等。
- 识别高风险群体:还可以使用决策树模型等工具将客户群划分为不同的行为特征，从而识别具有高流失风险的细分或群体。让我们考虑一个电信行业案例来说明这一点——细分树可能会显示，加入不到一年且 70%以上的支出用于数据服务的客户的流失率比平均水平高十倍。或者年龄小于 25 岁并且在过去 12 个月中有超过 7 个月延迟支付账单的客户的流失率比平均值高 7 倍。然后，这些群体可以被挑选出来作为高风险群体，属于这些群体的客户可以得到适当的对待。
小心误报
有效的流失管理的一个重要问题是流失预测模型中的高误报率。误报会对任何解决客户流失的计划产生严重的不利影响，因为它们会增加计划的成本。简而言之——你实际上是在花大价钱试图留住那些不会因为这些高风险的假阳性预测而真正面临离开你的风险的客户。在预期流失预测的情况下，这些假阳性通常会高于 50%。下图显示了使用逻辑模型进行流失预测的典型假阳性率曲线。
Image 1: False Positive Rate by Decile
一般来说，可以采取一些步骤来提高假阳性率。就数据类型而言，增加数据点的数量就是这样一个步骤(例如，用客户体验数据、营销活动数据等丰富交易数据。)和数据量(例如使用数据的月数)。解决假阳性的另一个潜在方法是利用模型异构性来提高性能。这可以通过选择对特定预测可能最有效的不同模型(例如，SVM、神经网络、RBM、协同过滤)并将它们组合在一起以优化整体性能来实现。
客户流失管理需要哪些数据？
正如任何处理客户行为的用例一样，可以利用的数据越多，效果就越好。对客户与您的业务接触的所有方面有一个 360 度的视图将使您有一个整体的方法。下图提供了一些可以纳入的关键数据集。
Image 2: Potential Data-sets to Build a 360-Degree View of Customers
投资回报率最重要的问题
仅仅识别高交易风险的客户是不够的。全面的客户流失管理需要在此基础上确定最佳行动方案，以解决单个客户层面的流失风险。幸运的是，人工智能和数据分析在这里也有巨大的价值。有三个关键步骤可以有效地处理可能的搅动者。
- 确定客户吸引力:每个客户对企业都有不同的价值。因此，第一步是找出每个客户对你有多重要，这样你就可以把你的治疗费用集中在对你有最高终身价值的客户身上。顾客吸引力可以建模为消费、收入、票价、钱包大小、频率和其他衍生消费模式的函数。
- 确定顾客对治疗清单的敏感度:下一步是确定对每个人最有效的治疗策略。治疗策略通常包括两个因素——他们对哪种运动或干预反应最好，以及他们对什么沟通渠道反应最好。
Image 3: Sample of Customer Sensitivity Matrix
- 测试和学习反馈循环:最后，即使在你弄清楚谁是你最有价值的处于风险中的客户，以及什么样的策略可能最有效地重新吸引他们之后，拥有一个灵活的操作流程也是至关重要的，它可以让你快速地从你给他们的报价和他们的反应中学习。这个反馈循环将不断地调整模型，以进一步提高性能。
Image 4: Customer Treatment Framework
识别和补救处于风险中的客户具有巨大的商业利益。有可能实施一系列解决方案来实现这一目标。
有现成的客户流失预测工具可以让企业以自助方式运营。这方面的挑战通常是这些模型的有效性，因为它们在很大程度上依赖于一种一刀切的方法。另一方面，企业可以选择构建内部专用的数据科学功能，用于多种用例，客户流失就是其中之一。这通常需要大量的前期投资和持续投资，并不总是对所有组织都可行。它通常也有更长的上市时间。
介于这两个极端之间的解决方案，将世界一流的外部专业知识与内部业务知识结合起来，往往是解决客户流失问题的最有效方式。
人工智能在采购中的应用:三步之旅
3-Step Journey of AI Adoption within Procurement
每个人都想节省和减少他们的支出，包括各行各业各种规模的公司。然而，试图在一家公司的支出池中找到节省的资金通常就像大海捞针一样。当然，也有一些唾手可得的果实，但它们很快就会被消耗掉，这就给采购团队留下了寻找不断更新的节约途径的繁重任务。在之前的一篇文章中，我谈到了这是一个需要解决的复杂问题，以及人工智能在应对相关挑战中可以发挥的作用。
仔细看看人工智能可以改变游戏规则的具体方面，对于理解它在采购环境中的更广泛价值很重要。在采购领域使用人工智能和分析可以被认为是一个三步走的旅程。
第一步:建立强大的数据基础:一个组织的支出数据充满了问题——它通常分布在多个不协调的 ERP 和其他系统中；它有不同的格式、结构和术语；它经常有缺失的信息；即使是现有的信息也很少是可靠的，随着时间的推移，会出现许多人工输入错误。因此，大多数采购从业者都认为，创建一个强大的支出数据基础的任务极具挑战性。
这就是人工智能元素可以出手相救的地方。重要的是要记住，仅仅将各种数据源缝合在一起的解决方案是远远不够的——将它们整合在一起是问题的最小部分。人工智能驱动的支出分析将超越 it 许多步骤，以确保数据不仅跨来源全面捆绑在一起，而且得到清理和丰富。关键浓缩步骤包括以下内容:
- 持续的数据审计，以检查并标记不完整和不一致的数据
- 基于文本和自然语言处理(NLP)的项目、供应商等领域聚类。确保可用于分析的信息得到简化
- 准确的支出分类，确保数百万行交易中的每一行都正确而细致地标记到它们所涉及的项目上
数据基础可能是实现有效采购计划的最关键的方面。正如他们所说——你不知道的，你无法控制。没有准确的数据基础，采购根本不知道谁在什么地方花了多少钱，为什么要花！
第二步: **寻找美元美元:**一旦强大的数据基础到位，世界就唾手可得了！拥有正确的数据是成功的一半。下一步是找出这些数据中隐藏的节约和机会。考虑到典型采购数据的规模和复杂性，手工处理效率很低。人工智能和领域专业知识的结合可以大大提高任务的成效。
植根于采购知识的算法可以不断解析公司的支出数据，并识别机会领域。这些领域将跨越不同的杠杆，所有这些都需要不同类型的分析和相应的算法。一些例子:
- 价格差异:在购买的成千上万的 SKU 中，确定不同供应商收取的不同单价的存在和程度。确保这是一个苹果对苹果的比较是关键。一旦确定了节约，捕获就变得快速而简单。
- 营运资本优化:这可能是最容易实现的节约，但如果没有先进的分析工具，几乎不可能实现。哪里过早付款？同一个供应商在哪里有多个付款条件？你在哪里错过了提前付款的折扣？这些是人工智能驱动的系统可以为你提供的一些问题。
- 合同合规:采购团队花费大量时间和精力来确保与供应商签订有效的合同。但是一旦合同签订，跟踪合规性就完全是另外一回事了！你的机器军队也可以部署在这里。利用分析有助于将合同和费率卡与交易数据联系在一起，并主动标记任何不合规的情况—从超额收费到未履行承诺的 SLA，以及介于两者之间的任何情况。
- **欺诈和异常检测:**我敢打赌，如果大多数采购团队能够及时发现欺诈或异常交易，而不是事后追溯，他们会非常高兴，因为到那时可能很难采取纠正措施。再说一次——在你的工具箱里有了人工智能——这马上就可以实现了！
**第三步:预测分析:**最后，一旦您有了数据基础，并且能够发现隐藏在it 中的节约，就可以开始下一步的旅程，即利用高级预测建模技术来解决复杂的采购任务，包括:
- 请求预报
- 存货管理
- 物流规划
- 采购价格分析
上述三个步骤中的一部分可能通过一次性的手动计划在一定程度上是可行的(尽管我可以向您保证，这将导致大量的心痛，因为要花费大量的时间来处理数据！).然而，做好这件事的关键是能够以可持续和可扩展的方式坚持做下去。这正是数据科学可以发挥巨大作用的地方。
不幸的是，采购部门在采用新技术方面往往落后。然而，随着人工智能在一个组织的许多方面的扩散，它没有理由在这个问题上保持中立。无论是从底线影响还是从采购职能如何促进组织更大目标的整体效率来看，收益都是巨大的。
人工智能辅助眼睛:一个计算机视觉系统，提醒操作员戴上安全眼镜
演示
这是该系统的演示。
当系统检测到有人拿起电钻时，它会自动发出安全眼镜警告。为了表示安全眼镜警告的存在，在演示视频中，RGB 图像的边框是红色的。
当系统检测到没有钻头被拾起时，它不会发出任何安全眼镜警告。为了表示没有安全眼镜警告，在演示视频中，RGB 图像的边框是绿色的。
如演示视频所示，计算机视觉系统成功检测到操作员是否拿起了钻头。
Demo
五金器具
我用木材(来自家得宝)形成一个支撑结构。然后，我在支撑结构上安装了一个微软 XBOX 360 Kinect 传感器(来自亚马逊)，以监控地面上的活动。
Hardware
分割
下面示出了由 RGB 图像、深度图像和提取的对象的图像组成的示例。
RGB image, depth image and the image of the segmented object for classification
对于计算机视觉算法来说，仅从 RGB 图像来确定操作者的手是否拿着钻头是具有挑战性的。但是，有了深度信息，问题就简单了。
我的分割算法将 RGB 图像上像素的颜色设置为黑色，如果其对应的深度在预定义的范围之外。这使我能够分割被拾取的对象。
分类
我通过分别拍摄自己手持电钻/挥舞双手来收集数据。
然后，我使用迁移学习技术来调整一个 VGG 神经网络，该网络是使用 ImageNet 预先训练的。但是结果并不好。也许提取的图像与 ImageNet 中的自然图像不相似。
因此，我从头开始使用提取的图像来训练卷积神经网络。结果还算不错。在验证集上，分类器的准确率约为 95%。
该模型的一个片段如下所示。
from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras import backend as K# dimensions of our images.
img_width, img_height = 120, 120train_data_dir = '/home/kakitone/Desktop/kinect/data/train4/'
validation_data_dir = '/home/kakitone/Desktop/kinect/data/test4/'
nb_train_samples = 2000
nb_validation_samples = 1000
epochs = 5
batch_size = 8if K.image_data_format() == 'channels_first':
input_shape = (3, img_width, img_height)
else:
input_shape = (img_width, img_height, 3)model = Sequential()
model.add(Conv2D(4, (3, 3), input_shape=input_shape))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))model.add(Conv2D(8, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))model.add(Conv2D(16, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))model.add(Flatten())
model.add(Dense(16))
model.add(Activation('relu'))
model.add(Dense(1))
model.add(Activation('sigmoid'))model.compile(loss='binary_crossentropy',
optimizer='rmsprop',
metrics=['accuracy'])# this is the augmentation configuration we will use for training
train_datagen = ImageDataGenerator(
rescale=1\. / 255,
shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True)# this is the augmentation configuration we will use for testing:
# only rescaling
test_datagen = ImageDataGenerator(rescale=1\. / 255)train_generator = train_datagen.flow_from_directory(
train_data_dir,
target_size=(img_width, img_height),
batch_size=batch_size,
class_mode='binary')validation_generator = test_datagen.flow_from_directory(
validation_data_dir,
target_size=(img_width, img_height),
batch_size=batch_size,
class_mode='binary')model.fit_generator(
train_generator,
steps_per_epoch=nb_train_samples // batch_size,
epochs=epochs,
validation_data=validation_generator,
validation_steps=nb_validation_samples // batch_size)
最后的话
2000
每天大约有 2000 名美国工人因工作导致眼部受伤，需要接受治疗。
60%
近 60% 受伤工人在事故发生时没有佩戴护目镜，或者佩戴了不适合工作的护目镜。
安全应该永远放在第一位。每当我听到涉及电动工具的事故，我的心就沉了下去。我希望这篇文章可以提高人们的意识，即人工智能可以为我们提供额外的保护。
做东西开心，注意安全！
艾:从育儿角度的解释
parentzone.org.uk/files/artif…
人工智能(AI) 这个术语每天都在媒体上出现，在普通人群中引发兴奋和恐惧，包括终结者接管世界的流行陈词滥调。我想借此机会，在许多人都熟悉的背景下，简明地尝试为一般人群解释人工智能，为人父母。
我是两个小男孩的骄傲的父亲，一个两岁，另一个七个月。我对数据科学、 **ML(机器学习)**和 AI 世界的涉足早于我作为父亲的经历，所以当我和妻子开始研究如何抚养孩子时，我对儿童学习和人工智能领域的相似之处感到惊讶。
人工智能不是凭空神奇地创造出来的东西，它是必须经过训练的东西，在可预见的未来，必须由人类来训练。机器可以进行三种主要类型的学习，称为监督、非监督和强化。为了这个类比的目的，我将在监督学习的环境中进行描述。我们也不会在本文中讨论数据准备领域，尽管它在人工智能世界中非常重要，并且通常构成了数据科学家的大部分工作。
建立模型—获取数据并训练
训练机器或孩子最重要的第一步是获取数据。为了训练计算机理解基本的形状和颜色，我首先需要尽可能多地获取标记数据的例子，比如数千幅不同大小和颜色的三角形图像，并将这些图像标记为三角形 T21。
我会对其他的形状做同样的处理，比如方形、圆形、等等。为了理解颜色，我可能会得到数以千计的形状图像，这些图像标有特定的颜色蓝色、绿色、红色。我还可以获得数以千计带有形状和颜色标签的图像(蓝色圆圈、绿色方块、红色方块、等)。
本次培训的目标是建立一个模型，，它只是机器用来确定未来场景中的形状和颜色。不进入不同的训练算法的技术细节，损失函数，参数，超参数等可以使用，让我们只说，训练和测试发生在许多迭代，直到我们达到一个点，我们相信我们的模型将执行和推广在这些未来的形状和颜色的真实世界场景中非常好。如果你想知道的概括是什么，我们稍后会讲到。
为了教或“训练”我们的儿子学习形状和颜色，我会坐下来和他一起翻阅一本书，指着一个绿色的正方形说“正方形”或“绿色”。我可能会指着一个绿色圆圈，然后是绿色三角形，在这两种情况下都说“绿色”。实际上，我是在为他标记数据，就像机器在受监督的 ML 中必须标记数据一样。
我和妻子会对他重复这个过程很多次。随着时间的推移，我们会注意到逐渐增加的改进，直到我们相信他已经理解了这个概念，并建立了他自己的内部模型来应用于未来的形状和颜色识别任务。
这个学习过程是一个极其重要的概念。如果我和妻子只是给我们的儿子书本/图片，而没有花时间为他“贴标签”,他在成长过程中除了能够视觉识别它们并知道它们在某种程度上是相关的之外，对什么是颜色或形状没有任何概念。这个概念被称为无监督学习,因为我们的儿子不会被赋予任何标签，但能够将事物抽象和聚集在一起。
你可以想象，遵循这个策略会让我们的儿子在现实世界中成功的概率很低。机器也是如此。在没有任何人类交互(包括由人类编写的自动化软件)的情况下训练的 AI 在训练前“标记”数据，在现实世界中的成功概率也很低。使用无监督学习的最新技术很有前途，但在动态和不受控制的环境中仍然表现不佳。
准确但有偏差
在非学术的人工智能世界中，一个经常被忽视的重要概念是偏见。解释这一点的简单方法是用种族主义的概念。基于最近的媒体事件，我相信每个人都很清楚这个话题和围绕它的争议。
个人生来就不是种族主义者。这是通过接触不同的种族主义“训练数据”而学到的东西，无论是来自家庭、朋友、媒体还是其他一些特定的环境事件。这就产生了他们看待世界的偏见或特定视角。
Bias vs Variance — prateekvjoshi.files.wordpress.com/2015/10/3-b…
一台机器也不例外。用带有严重偏见的数据训练的人工智能系统在试图执行任务时总是会带着这种偏见，并将提供偏向于它被训练的观点的结果。因此，系统可能能够提供非常精确的结果，并且可变性很低，但是这些模型在现实世界场景中的有用性就成问题了。
如果它不能概括，它就没有用
构建任何模型最重要的部分是它在真实世界环境中很好地概括了。我们最近给儿子买了一套塑料玩具工具。它有锤子、螺丝刀、扳手、钉子和螺丝钉。我们玩了几次，最初向他展示了一切是如何工作的，他似乎很喜欢玩它。在几天的时间里，我们挂了一些画，我用锤子在不同的地方做了一些其他的工作，我们的儿子在一旁专注地看着。我承认，对我来说，可能有比锤子更好的工具选择，但尽管如此，它还是随手可得。
此后不久，我注意到我的儿子开始用他的玩具锤子做一切与修理有关的事情。我正在修理的婴儿门的零件，他会用他的锤子敲，当他看着墙上的画时，他会敲墙。甚至当我们在玩的时候，他也会用锤子修理他“假设”坏了的玩具车或玩具角色。基于我们提供的关于锤子做了什么的培训的有限背景，他形成了一个关于如何处理它的内部模型。因此，他的模型不会很好地概括在现实世界环境中修复事物。
在 ML 世界中，这种缺乏通用性通常是由过度拟合一个模型造成的。发生这种情况是因为模型被训练为基于某个损失函数最小化误差，并且使得模型被构建为精确地符合训练数据。
Overfitting — www.analyticsvidhya.com/wp-content/…
在我们儿子的例子中，他过度拟合他的内部模型以从我们向他展示的关于修理东西实际是什么的有限数据中提供最佳结果。因为训练数据只是真实世界数据的一个很小的子集，所以这些不可概括的模型最终在真实世界的场景中提供很差的结果。数据科学家和工程师使用了许多技术来克服这个问题，但不幸的是，这仍然是人工智能商业化世界中的一个现实问题，也是许多应用程序在发布后不能很好工作的原因。
注意事项
上面使用的我们儿子的学习和机器学习之间的类比是为了让复杂的人工智能领域的事情更容易理解，即使学习和抽象的确切机制非常不同。我们将在以后的文章中讨论这个问题。
人类如何学习和推理是一个极其复杂的问题，研究人员仍然不能完全确定人类大脑的机制。机器可以非常快速地处理事情，但缺乏人类的抽象能力，这就是为什么复制人类智能是一项非常复杂的任务，我们仍然离它很远。现在还不需要担心终结者。
人工智能和创造世界上最棒的巧克力饼干
由 JD
作为一个自称巧克力狂的人，我依赖大量的巧克力来度过我的日子，我最喜欢的递送系统是巧克力饼干。我总是在寻找烘烤我最喜欢的食物的新方法，但网上有这么多食谱，每一个都声称它们是“最好的”——我该如何选择？我没有挑选一个，而是决定应用一些数据科学和机器学习技术来组合几个“最佳”食谱，以制作“终极”食谱。
数据
通常情况下，这个项目最困难的部分是获取和清理数据。使用我最喜欢的语言 Python(以及 BeautifulSoup)，我尽可能多地搜集了 allrecipes.com 的巧克力曲奇食谱(所有的食谱最终都阻止了我，因为我发送了很多请求:(但我仍然得到了 30 个食谱！吸吧)。由于烘烤巧克力曲奇的程序保持相对稳定，不考虑配料，我只关注配料的成分而不是过程。只需将配料放入碗中搅拌即可。对于每一个食谱，我解析 html，然后一遍又一遍地擦洗数据，给我一个配料列表和它们各自的尺寸。由此，我将每个食谱编码为 n 维空间中的归一化向量，其中 n 是所有食谱中独特成分的数量。例如，配方:
1 cup butter, softened
1 cup white sugar
1 cup packed brown sugar
2 eggs
1 teaspoon vanilla extract
2 cups all-purpose flour
2 1/2 cups rolled oats
1/2 teaspoon salt
1 teaspoon baking powder
1 teaspoon baking soda
2 cups semisweet chocolate chips
4 ounces milk chocolate, grated
1 1/2 cups chopped walnuts
可能看起来像向量:
0.102564102564 ,
0.0512820512821 ,
0.0512820512821 ,
0.0512820512821 ,
0.0512820512821 ,
0.102564102564 ,
0.205128205128 ,
0.0512820512821 ,
0.102564102564 ,
0.025641025641 ,
0.102564102564 ,
0.0512820512821 ,
0.0512820512821 ,
实际上，我们的向量会更稀疏，也就是说，对于任何不在给定食谱中的语料成分，它们都是零，但你明白这一点。
终于！数据已经从粗糙和肮脏变成了数字化和干净。让乐趣开始吧！
探索性分析
当试图将食谱组合在一起以做出更好的食谱时，想到的一种技术是聚类，这种技术 99%的情况下意味着 K-Means。我想使用聚类中心来创建新的食谱，聚类中心将来自几个食谱的信息结合在一起。K-Means 易于理解和实现，但困难的一步是选择 K，即聚类数。如果你看一个像下面这样的二维图，通常很容易看到集群的数量。
但是当你有 4 维数据时，如何挑选最佳的聚类数呢？5?68?70?就饼干而言，这部分既是科学也是艺术。我们想要一套多样化的食谱，但我们不希望食谱过于接近原来的食谱。为了解决这个问题，我转向了一种稍微不同的聚类类型，叫做层次聚类。这种方法随着聚类大小变得越来越小来查看聚类之间的距离。最终的可视化效果非常棒:
由此我们可以立即看出，配方指数 1 和 22(可能还有 24、0 和 7)有一些异常值。让我们看看这些食谱是什么样的:
Recipe Index 1:
3 egg whites
3/4 cups semisweet chocolate chips
4 and 1/4 tablespoons unsweetened cocoa powder
1 and 1/2 teaspoons vanilla extract
3/4 cups white sugarRecipe Index 22:
1 cup butter
2 and 1/4 cups chocolate cake mix
4 eggs
2 cups semisweet chocolate chips
谁会用巧克力蛋糕粉做饼干？？！！？？？这并不需要一个巧克力饼干爱好者看到这里的问题。这些食谱是离群值，或者我应该说是“说谎者”,聚类算法当场抓住了它们。如果我们忽略这些装腔作势的人，似乎有三组数据，给或拿:
三个集群似乎是一个很好的数字！现在我们可以继续运行 K-Means。有了使用模型中心作为食谱基础的想法，我们可以应用向量到文本的功能来获得这些新的人工智能生成的食谱的文本描述。这个函数获取一个向量，并将其放大，使数字具有合理的大小，并四舍五入到最接近的 1/4——这样，我们的食谱中就有 2 1/2 杯面粉，而不是 2.469 杯。现在，我们来看看 AI 大厨今天煮了什么！：
食谱#1:“矮胖子”
1 and 1/2 cups all-purpose flour
1/4 teaspoons baking powder
3/4 teaspoons baking soda
1/4 cups butter
1 egg
1/4 egg yolk
1/4 teaspoons ground cinnamon
1/4 large egg
1/4 cups macadamia nuts
1/2 cups packed brown sugar
1/2 teaspoons salt
1 and 1/4 cups semisweet chocolate chips
1/4 cups sifted all-purpose flour
1/4 cups unsalted butter
1 tablespoons vanilla extract
1/2 cups white sugar
嗯，这道菜需要很多不同种类的黄油和比例奇怪的鸡蛋。文本清洗没有考虑到成分名称的细微差别，所以“黄油”和“无盐黄油”被分开了。还有，谁用 1/4 蛋黄？不过，总的来说，这个食谱看起来还不错！配料的调制看起来很合理，甚至还包括一点肉桂！
食谱#2:“含糖燕麦”
1 and 1/2 cups all-purpose flour
3/4 teaspoons baking soda
1/2 cups butter
1 and 1/2 eggs
1/4 cups packed brown sugar
1/4 cups packed light brown sugar
1/4 cups quick-cooking oats
1/4 cups rolled oats
1/2 teaspoons salt
1 cups semisweet chocolate chips
1 tablespoons vanilla extract
1/4 cups water
1/4 cups white chocolate chips
1/2 cups white sugar
啊，是的，这有一个伟大的食谱你需要的一切:糖，巧克力，和更多的糖。这里又出现了成分名称不同的问题。也许在未来的版本中，我会加入一个特性，如果成分的名字相似，就把它们组合在一起，也许会使用 DP 算法，但那是另外一个故事了。
食谱#3:“极简主义者”
3/4 cups all-purpose flour
3/4 teaspoons baking powder
4 cups butter
1/4 cups confectioners' sugar
1 and 1/4 eggs
1/4 teaspoons salt
1 and 1/4 cups semisweet chocolate chips
3/4 tablespoons vanilla extract
3/4 cups white sugar
在创造的三个食谱中，这个是我最喜欢的！它有一个合理的成分组成，确保包括必需品(尽管我会注意到，你永远不会在你的饼干里有足够的巧克力片)。
最后的想法
使用 K-Means 算法来选择配料和它们的比例，对于食物和饮料来说效果很好，在这些食物和饮料中，组合配料的方法相对简单。然而，对于步骤顺序很重要的食品，必须使用更复杂的算法。但那是以后的事了。
人工智能及其对人类的影响
一旦围绕它的神话被驱散，人工智能的未来可能是光明的
随着围绕人工智能的道德担忧不断上升，人们往往不承认一件事——我们要对我们驯服的人负责。几十年来，对解决人工智能之谜的永无止境的渴望一直困扰着科学家。第一个开始质疑机器能否思考的计算机科学家是艾伦·图灵——当时通用计算机刚刚开始制造。后来，在 1956 年，约翰·麦卡锡创造了人工智能这个术语，开启了人们开始与机器建立关系的时代，在这个时代，人们教机器如何学习和思考。
由于人工智能的快速发展，今天发现未来同样令人兴奋和恐惧。从作为一种理论，人工智能发展到研究，然后进入实验，今天，我们可以见证机器学习如何影响广泛的工作流程——从数字到人类劳动。
人工智能的开发越来越多，这可以用它对过程自动化的巨大价值来解释，而它最近的流行是由它的商业潜力引起的。在过去的几年里，人工智能不是逐渐发展的，而是呈指数级增长——这是与机器人相关的另一个恐惧原因。在短短几年的时间里，它已经从改善网络搜索发展到可以在所有行业使用的机器和产品，这要归功于深度学习——编程和认知科学的结合。
深度学习允许机器自己学习，例如，如果机器重复显示一个苹果的图像，它最终会学习这个苹果是什么。然而，目的不是让机器像人类一样思考，而是比它们更好更快。
据《财富》杂志报道，微软和谷歌已经在图像识别方面击败了最优秀的人类，而中国公司百度则在两种语言的识别方面超越了人类。当企业开始意识到人工智能迄今为止的无限能力时，他们已经用它来促进生产，开发新产品，并解决人类无法解决的问题。但是，如果发展继续以同样的速度进行，人们和他们的工作的位置在哪里？
即使 AI 还远远没有学会许多科幻电影中预测的令人恐惧的自我意识，但机器仍然可以在就业市场上与人类竞争。在制造业和农业领域，智能机器被用作人类劳动的更具生产力和效率的替代品。此外，有人预计机器人技术将很快发展到“智力劳动”也可能被取代的地步。
在当今的商业和经济环境中，合规性是公司需要谨慎对待的义务之一。富国银行最近的丑闻及其企业文化和管理失败可能会鼓励其他人质疑员工的可靠性。法规遵从性通常需要对交易进行大量艰苦而繁琐的筛选，在这种情况下，出错会导致严重的后果。为了避免麻烦，企业已经开始使用配备了自然语言处理系统的机器，这些机器能够在所有相关的商业领域取代与合规性相关的“知识”工作。
由于人工智能不是逐步发展的，机器学习往往也有冬天和干旱，因为在 2010 年代开始蓬勃发展之前，突破只是偶尔发生。斯坦福大学试图评估 2030 年人工智能的状态，并得出结论，人工智能不太可能提供改变生活的产品或威胁人类。因此，除了享受当前机器学习的进步，深度学习爱好者和企业需要小心他们的希望和期望，因为人工智能可能只是低于预期。尽管相关立法对人工智能现状的监管很重要，即使它不会很快毁灭地球。
人工智能的社会和伦理影响仍将震撼世界。这项技术正处于十字路口，要么继续造福社会，要么走向危害社会的道路。从政府的角度来看，人工智能的愿景和理解因国而异，有些人更愿意等待改变生活的进步，而另一些人已经做好了准备。英国决定采取后一种方向，因为伦敦是世界上最大的科技中心之一，人工智能的发展非常活跃。
英国科学技术委员会最近准备了一份关于人工智能和机器人的报告，成员们彻底讨论了它在不久的将来的社会影响。政府承认，技术将会扰乱人们的生活和工作方式，所以当局试图了解它会在多大程度上发生。报告说:“虽然我们还不能准确预见这场‘第四次工业革命’将如何发展，但我们知道生产率和效率的提高、新的服务和就业机会以及对现有角色的支持的改善已经在望，同时可能会失去一些成熟的职业。”。它的亮点包括必要时提高或重新提高国家的技能，以最大限度地减少技术带来的潜在危害。建议是在艾伦图灵研究所建立一个人工智能常设委员会，以检查人工智能发展的社会，伦理和法律影响。
对新技术的恐惧通常来自于缺乏透明度和对该主题的了解。为了避免社会上的进一步恐吓，特别是在失业方面，应该提供有关发展、倡议和研究结果的信息来教育社会。普华永道英国的人工智能负责人 Rob McCargow 与我们分享了这种接触不应局限于某些国家，因此人们和企业可以从全球机器人领域的成就中受益:“到目前为止，技术部门和高等教育机构已经将人工智能创新和标准掌握在自己手中。这是让政府参与的正确方向上的第一步。我们需要确保所有各方共同制定必要的法规，以构建可信、透明的人工智能系统来支持未来的经济增长 1。“制定正确的标准对于利用人工智能造福人类至关重要——人工智能不考虑国际边界，因此我们需要一个一致的全球监管方法。”
与电影中不同的是，技术还没有对它的任何行为和影响负责，所以引导和指挥人工智能是人的权力。
人工智能和机器学习:从培训走向教育
关于人工智能是否会达到或超过人类智能的争论一直在进行。随着人工智能、机器学习(ML)和深度学习(DL)的最新进展，这种情况肯定会加剧，一些人认为当前的技术已经能够为人工智能铺平道路(AGI)。你可以不时地听到或读到这样的争论，这有时会造成尴尬的局面，即使是在该领域最著名和最有声望的研究人员之间。
虽然受到人工智能梦想的推动，但大多数情况下，人工智能的应用并不关注实现 AGI，而是关注人类自己努力解决的问题。例如，寻找难以被人眼观察到或者难以被人脑转换成易处理的数学、模型和代码的模式。也许正是这些需求推动了框架的发展，这些框架并没有让人类智能转移到机器中，而是对其进行了补充。
过去 10-15 年的最新发展实现了亿亿级数据的可用性，加上可以有效存储和处理这些数据的硬件，为深度学习革命铺平了道路，这在 20 年前可能没有这么好的影响。但随后出现了宣传，随之而来的是大肆宣传。突然间，几乎所有人，包括那些分不清 AI 和 ML/DL 区别的人，都在赶时髦。有些人在寻找问题的解决方案，但没有真正理解什么工具最适合他们的目的，其他人在推销自己或他们的解决方案，但没有结合任何针对手头问题的见解。
在大肆宣传和营销的过程中，人们(人数最多，专业知识最少)有了这样的想法，也许人工智能已经达到了一个点，你可以向 ML/DL 算法提供大量数据和 wola！，你会在黑盒子的另一端找到你的解决方案。该算法将发现并生成所有见解，识别模式，区分相关性和因果关系，确定现实世界的联系和影响，并提供最佳的潜在诊断或预测。
作为一个来自统计分析领域的人，我可以说一组重要的 ML 算法是已经存在了相当一段时间的统计数学技术，尽管根据应用和专业领域在味道和命名上有所不同。这确实是该领域许多专家和从业者的观点。在我的研究中，重点是使用人类智能来识别有用的见解，并将对潜在现象的理解转化为计算机模型，“指导”算法如何找到或预测可靠和有用的信息。
相比之下，ML/DL 技术与三种不同的策略一起工作，都希望算法能够自己开发某种程度的理解。有了监督学习，你本质上只是告诉算法什么是现实世界中带标签的训练集。使用强化学习，当它出错时，你试图纠正它的行为。无监督学习的第三个领域，即机器能够在没有干预的情况下进行自我训练的领域，是进展最有限的领域。这三个策略可能不足以让我们接近 AGI。
不去深究什么是智能，或者我们人类甚至不了解自己的智能，更不用说在机器中复制它；让我们考虑一个非常基本的例子，通过相关性应该很容易证明一个观点。
假设你有幸生了第一个孩子。我们都知道婴儿有很强的观察和学习能力。几个月后，你的宝宝会开始注意，你可以指导(或监督)他可以把什么放进嘴里，什么不能。这是几个月来的好策略。在最初的几年里，你会让你的宝宝爬行、行走、跑来跑去、触摸、观察、闻和品尝东西，同时你会强化积极和良好的行为，纠正不良行为。但过了一段时间，这还不够。世界太大，无法探索，生活太复杂，无法用最少的帮助来解决，所以你最终不得不考虑学校！
伴随着学校而来的是教育，这个过程虽然漫长而令人厌倦，但至少在孩子发育成熟之前是不可替代的。为了确保最好的结果，你把你的孩子送到一所好学校，因为你希望孩子的心智、知识和技能得到最好的发展。但是如果学校不是很好呢？如果有同一个拥有高中文凭的老师教数学、历史、艺术、文学、科学、编程等等，会怎么样？你认为这种学校有助于你的孩子深入了解他/她将要生活的世界，还是有一个在各自学科领域有专门老师的学校？
这基本上是(大多数)人正在努力做的事情。首先，使用相同的 ML/DL 算法，没有上下文和修改来定制特定的应用程序，并期望最终产生神奇的结果。第二，开发的算法和框架大部分是训练的方法，而不是教育的方法。如果这不是我们让孩子们(他们无疑比他们的成年同伴聪明得多)学习和超越的方法，那么我们怎么能把这种方法用于计算机并期望他们开发任何类型的智力呢？
计算机和机器正处于学习和实现任何智能水平的初级阶段。这将需要多种技术来训练和教育他们，就像我们教育我们的年轻人一样。这个过程没有捷径，也不需要任何捷径。任何不受快速销售和利润驱动的事情只会导致次优的表现、风险和失望。那些意识到这一点的人已经在研究上投入了数十亿美元，这必将带来长期回报。
无论你站在人工智能辩论的哪一边，我们都应该能够同意，我们还没有取得很大成就。当前的发展无疑是重大的，但庆祝活动不应导致进一步努力开发更好的(也许是全新的)框架，使下一次范式转变成为可能。
人工智能和预测分析:未来会怎样？
人工智能和预测分析的进步将产生超越商业技术能力的影响。组织将在技能、实施等方面面临新的挑战。营销人员如何为变化做准备？
在这个系列中，我们已经看到了分析行业的进化过程如何自然地导致人工智能(AI)的集成，以创建准确的预测模型。
在第一篇文章中，我们探索了由技术进步驱动的人工智能和预测分析作为营销工具的潜力，这些技术进步已经从基于规则的自动化转向更接近感知的东西。我们随处可见这样的例子，从谷歌的 Waze 这样的应用程序，到金融欺诈保护和亚马逊上的个性化推荐。
该系列的第二篇文章基于这项技术的具体用例，展示了使用机器学习和人工智能来预测消费者行为和创造更好的业务成果的各种各样的业务。这些机会现在对所有公司开放，但抓住它们比仅仅购买一些新软件更复杂。
我们系列的第三篇也是最后一篇文章将关注预测分析的未来以及行业面临的挑战。
实施挑战
尽管如此强大的商业工具不可避免地会被大量采用，但现实要比这微妙得多。高管们希望做出更智能、更快速的决策，但在将业务转型为人工智能驱动的预测分析模型时，在数据、人员和技术的平衡方面存在某种高空绳索表演。
实施这一技术需要企业意识形态的转变，而不仅仅是资本投资，在数据分析方面从头开始的员工培训也是必不可少的。
此时，管理层对其组织的数字专业知识的信心似乎正在下降。普华永道最近的数字智商调查显示，高管们对团队能力的信心有所下降:
专业水平没有下降；这个行业变化太快，员工跟不上。
因此，如果人工智能驱动的预测分析要在首席信息官/CMO 的工具箱中占据核心位置，需要克服一些重大障碍。
在预测分析系列的最后一部分，我们将概述该行业未来面临的一些挑战，然后讨论企业现在可以开始实施的解决方案。
数据质量
在 Protoviti 最近对高管进行的一项调查中，数据被列为公司内广泛采用预测分析的最大障碍。质量是用来给“数据”这样模糊的术语增加特异性的最重要的修饰词之一。
在我们决定如何应对如此巨大的挑战之前，甚至“质量”也需要一些进一步的定义。
高质量的数据在格式上是一致的(即使是在大范围内)，反映了它所描述的真实世界的情况，并且能够进行可靠的、可重复的研究。
我们可以以 2010 年至 2014 年从滑铁卢出发的火车数据集为例，该数据集包含跨时间框架的间隙，并使用不一致的命名约定。人类在这样的数据集中挣扎，但是我们可以适应，甚至从其他地方获取数据。人工智能根本无法处理这样不完整的数据，因为它只能处理输入系统的数据。
世界上最好的人工智能技术只能利用我们提供的数据，因此企业意识到这些潜在的陷阱并知道如何避免它们至关重要。更多的数据通常意味着人工智能驱动的预测分析的结果更好，但它必须是正确的数据，才能回答你旨在解决的业务问题。
拥有合适的团队是开始这条道路的好方法。
招聘和培训合适的技能
预测分析技术越来越复杂，但行业内的知识水平不一定同步发展。
凯捷的一份报告发现，77%的公司认为缺乏合适的技能是成功数字化转型的最大障碍:
一份 ClickZ 报告更深入地确定了最需要的技能领域，与它们在组织内当前的复杂程度相比。
毫不奇怪，分析被列为最重要的技能，因为它在每个营销职能中都有潜在的用途。将分析视为技能差距最大的领域，这或许会更令人惊讶。
分析包括各种技术和数据调查类型。今天进行的大多数分析工作要么属于描述性的(发生了什么？)或者探索性的(为什么会发生？).
尽管操作未来预测分析系统背后的技术所需的技能水平可能会随着时间的推移而降低，但企业仍然需要确保其员工在投资一些新的、令人兴奋的人工智能系统之前，拥有数据分析的详细知识。
幸运的是，只要企业愿意投资，就有充足的资源和资格来帮助这种培训。理论和实践都应被视为这一培训的基本组成部分。
在分析:如何用智慧取胜一文中，作者认为应该在大公司中建立卓越分析中心，由部门主管向首席技术官报告:
这种方法的目的是为分析提供一个明确定义的基础，其专家可以在此基础上教授组织内的其他人。
然而，我们可以从另一个角度来看这个问题。并非营销团队中的每个人都需要了解分析平台的内部运作才能从中受益。随着这些平台变得依赖机器学习来创建预测模型，这一点变得越来越真实。
不管怎样:广泛的知识基础仍然是必不可少的。如果不能提出正确的问题，或者不知道技术能够做什么(以及不能够做什么)，那么输出就不符合目的。
因此，越来越多的人认为文科背景将成为统计学家和工程师越来越重要的补充。提出正确的问题作为假设的框架，然后调查结果的能力将是必不可少的，向高级利益相关者提出这些问题所需的软技能也是必不可少的。
本质上，如今需要一个村庄来获得正确的分析。但是，确保您的数据质量符合目的，并且您的分析团队拥有平衡的技能组合是一个很好的开始。
数据管理
当今时代不缺乏数据，随着物联网(IoT)设备继续进入世界各地的家庭，数据量只会增加。
每个公司都有潜在的利润丰厚的专有和第三方数据来源。基于云的解决方案可以远程存储大量数据，在一定程度上回答了数据应该保存在哪里的问题。
然而，即使企业使用像 Hadoop 这样的数据仓库，信息仍然需要转移到分析平台，并通过统计模型转化为见解。
对于许多企业来说，如何确保分析平台和人工智能系统跟上步伐仍然是一个难题。
数据管理还面临其他挑战，从数据挖掘到存储，最终将信息转化为有用的见解。
乔治·华盛顿大学和美利坚大学的科学家在 2013 年发表了一篇名为《大数据:前进中的问题和挑战》的论文，总结了这些潜在的问题:
随着欧盟 GDPR 法规的即将出台，这些问题比以往任何时候都更加重要。企业有责任确保所有数据符合当地法律，并安全处置不符合法律的数据。
如果有一件事是肯定的，我们不能让 AI 来做这些决定。人工智能预测模型将评估提交给它们的任何历史数据，如果一家公司后来发现错误的数据被输入其人工智能分析平台，它得出的任何结论都将被裁定无效。
追溯如此复杂计算的步骤并调试任何不需要的变量将被证明是一项不可能的任务。因此，任何计划将大数据输入基于人工智能的预测模型的企业都应该谨慎对待他们的数据源。
有责任
这一类别是一系列次要但仍然重要的挑战的总称。
人工智能和预测分析在医疗保健等行业中有着明确定义的重要角色。 80% 的医院领导认为这一领域“重要”，原因显而易见。任何能够发现与疾病相关的历史模式并预测其未来行为的工具在该领域都将被证明是非常宝贵的。
当应用于市场营销时，情况就不那么明朗了。毫无疑问，我们都可以从基于过去的准确预测中受益。事实上，这适用于整个社会。
然而，有一种观点认为，预测建模在一个依靠新想法蓬勃发展的行业中有一些局限性。复杂的人工智能系统和预测模型的诱惑是放弃控制，坚持我们知道将继续带来增长的东西。
此外，预测分析可以成为自我实现的预言。我们看到某个信息、产品或受众群预计会以更高的速度转化，因此我们转移预算以利用这一点。
如果预测成真了，那是因为预测准确，还是因为我们采取了行动使其准确？
最后，我们应该考虑人类创造力在这一过程中的作用。正如我们在关于人工智能驱动的内容创作的文章中所讨论的，人类创新和设计新的创造性解决方案的能力是人工智能还不能完全掌握的。因此，我们需要利用技术解放我们的团队，充分利用他们的能力来制定长期战略。
与任何人工智能技术一样，成功的最关键因素之一是人们在最大限度地利用他们所掌握的工具方面所扮演的角色。具体来看预测分析，这意味着确保高质量数据、最佳技术和有能力了解技术局限性的人之间的正确平衡。
最初发表于T5【www.clickz.com】。
人工智能和隐私的未来
隐私的基本定义是，为了限制他人对我们行为的影响，有权将自己或关于自己的信息隐藏起来。隐私历来被认为是行使言论自由、结社自由和选择自由等人权的先决条件。
在信息时代，隐私取决于我们控制我们的数据如何被存储、修改和在不同方之间交换的能力。
近几十年来，随着先进的基于互联网的数据挖掘技术的出现，隐私已经成为一个相关的社会问题。经常利用这些技术的社会行为者，如政府机构和企业，现在能够识别、描述和直接影响人们的生活，而无需他们的同意。随着日益复杂的人工智能系统的出现，这些隐私问题只会加剧。
人工智能带来的是收集、分析和组合来自不同来源的大量数据的能力，从而提高了使用这项技术的社会行为者的信息收集能力。人工智能对隐私的潜在影响是巨大的，这就是为什么必须提高对这些问题的认识。
要了解更多关于人工智能如何塑造隐私辩论的信息，可以考虑阅读我关于这个主题的简短指南，你可以在下面找到。
人工智能如何损害隐私
首先，让人工智能在信息收集中有吸引力的是三件事:速度、规模和自动化。人工智能进行计算的速度已经超过了人类分析师的能力，而且还可以通过添加更多硬件来任意提高。
人工智能还天生擅长利用大型数据集进行分析，并且可以说是在合理的时间内处理大数据的唯一方式。最后，人工智能可以在没有监督的情况下执行指定的任务，这大大提高了分析效率。人工智能的这些特征使其能够以多种不同的方式影响隐私:
数据开发
从智能家电到计算机应用，众多消费产品往往具有一些特性，使其容易被人工智能利用。更糟糕的是，人们经常不知道他们的软件和设备产生、处理或共享了多少数据。随着我们在日常生活中越来越依赖数字技术，剥削的可能性只会增加。
识别和跟踪
人工智能可以用于在多种设备上识别、跟踪和监控个人，无论他们是在工作中、在家里还是在公共场所。这意味着，即使你的个人数据一旦成为大型数据集的一部分就被匿名化，人工智能也可以根据来自其他设备的推断取消这些数据的匿名化。这模糊了个人数据和非个人数据之间的区别，而这种区别必须根据现行法律予以保留。
语音和面部识别
语音识别和面部识别是人工智能越来越擅长的两种识别方法。这些方法有可能严重危及公共领域的匿名性。例如，执法机构可以使用面部识别和语音识别来查找个人，而没有可能的原因或合理的怀疑，从而绕过他们原本必须维护的法律程序。
预言；预测；预告
AI 可以利用复杂的机器学习算法，从非敏感形式的数据中推断或预测敏感信息。例如，某人的键盘打字模式可以用来推断他们的情绪状态，如紧张、自信、悲伤和焦虑。更令人担忧的是，一个人的政治观点、种族身份、性取向甚至整体健康状况也可以通过活动日志、位置数据和类似指标等数据来确定。
压型
人工智能不仅仅局限于执行信息收集任务。它还可以使用信息作为输入，用于对人进行排序、评分、分类、评估和排名。这通常是在没有被分类的人的任何同意的情况下进行的，他们通常没有能力影响或挑战这些任务的结果。中国的社会评分系统就是一个例子，说明这些信息如何被用来限制获得信贷、就业、住房或社会服务。
如何保护自己的隐私
隐私受到如此关注的原因之一是，人们对可以用来保护隐私的措施不够了解。为了澄清这个问题，我列出了一些任何人都可以采取的步骤，以减少他们的在线足迹，从而增加对数据挖掘尝试的阻力。
浏览匿名网络
互联网用户可以选择使用 Tor、I2P 或 Freenet 等匿名网络来保护自己的隐私。这些网络支持端到端加密，这意味着你发送和接收的数据不会被窃听。
使用开源网络浏览器
您选择的网络浏览器是保护您隐私的另一个重要因素。Firefox 等开源浏览器可以免费接受安全漏洞审计，这使得它们比 Chrome 等专有浏览器更受欢迎。
使用开源操作系统
苹果和微软等操作系统制造商有各种后门，他们可以利用这些后门未经许可收集数据。规避这个问题的一个方法是使用众多免费开源 Linux 发行版中的一个。
使用安卓手机
现代智能手机在设计上存在隐私风险。硬件制造商和应用程序开发人员都需要您的数据来提供手机的预期功能，但代价是失去对数据使用方式的控制。安卓手机比微软和苹果手机更安全，这得益于它们的开源软件，但它们仍然存在隐私风险。
结论
人工智能等数字技术已经对我们生活的许多领域做出了重大贡献。通过使用这些工具，我们能够收集和分析的大量信息使我们能够解决以前没有解决方案的社会弊病。
不幸的是，这些技术也可以被各种社会行为者用来对付我们，从个人到公司，到政府机构。我们失去隐私只是人工智能等技术如何损害我们的一个例子。然而，如果我们设法正确理解这些技术，以及它们对我们日常生活的影响，我们将获得保护自己免受那些恶意使用它们的人利用的手段。
人工智能和操作系统
令我震惊的是，当我想到人工智能并审视已经可用的技术时，我会相信，我们比通常认为的更接近模糊人类和机器之间的界限。
不需要一开始就研究人工智能的复杂性，一个简单的思维实验就能揭示我对这个问题的想法。
接下来，我会问一些问题…“一个人能不能…
- 多任务？
- 识别语音？
- 说话，讲笑话？
- 管理和记忆大量信息？
- 认识人？
- 检测并战胜病毒？
- 把工作外包给别人？
- 对触摸有感觉和反应？
- 监控和优化他们自己的表现？
- 去睡觉？
- 专心听，尤其是听到被叫的名字？
- 在内部和外部搜索信息来帮助自己？
- 乐于助人？
- 写和读书面信息？
- 提醒人们？
- 传递别人的信息？
- 承担持续改进？
- 伸手求助？
当然，这些问题的答案都是肯定的。
无需过多拟人化，简单回顾一下当今最先进的计算机操作系统(OS)就会发现，它们已经可以或多或少地做到上述所有功能。例如，如果没有其他原因，只是为了测试技术水平，对我的 Windows 10 机器说“嘿，Cortana…给我讲个笑话”,并对足够的响应感到高兴，这让我感到非常高兴。
如果你不知道任何更好的东西，你会看着现代消费者操作系统，并认为，“人工智能已经在这里了”。
当然，更深入的分析可能会将操作系统的每一项功能都简化为一个更大的“巧妙技巧”包的一部分，而根本不是“人工”智能的例证。
在我看来，这种对操作系统中的智能的“简化”观点只是“简单化”的，并没有把构成整体组成部分的具体化智能放在眼里。语音识别不仅仅是一个简单的技巧。
分析师和评论家很快指出，一个操作系统目前无法显示所谓的 AGI，或人工通用智能；即“能够成功完成人类可以完成的任何智力任务的机器的智能”。
这样的批评是有根据的。的确，当前的操作系统不能也不会显示 AGI。他们所展示的是我称之为应用专业智能的混合体。每一个人工智能，例如多任务处理，在累积的整体中扮演着自己的角色，累积起来就构成了一个展现非凡智能的机制。
可以想象一个展示 AGI 的操作系统，而不需要构建它。电影《她的》探索了一个展示 AGI 的人工智能，我们在电影的结尾感到疑惑，“我们会想要一个展示 AGI 的操作系统吗？”主角的操作系统已经超出了它原来的主人，开始了“她”自己的(人工)生活之旅。
我个人认为，AGI 是一个崇高的追求，但可能不太适合纳入操作系统。我们期望操作系统是功能性的、有用的，并且，我认为，服从于我们的意志。有鉴于此，我觉得现在甚至在 AGI 的操作系统建成之前，就有必要问这样一个问题，“一个不可预测的、不像人类一样容易犯判断错误的操作系统，对我有什么可能的用处？”，“我想要一个可能会和我争论的 OS 吗？”“我想要一个选择性地不服从我的命令的操作系统，因为它‘认为’它知道得更好吗？”。
人工智能的探索者提出了一个更深层次的问题，那就是我们是否想要或需要一个花时间设计更聪明的人工智能的 AGI？不难想象，一个展示 AGI 的操作系统，如果任其自生自灭，将会启动自己的项目……其中一个项目就是用一个更高功能的人工智能取代自己。
作为一个消费者操作系统的潜在客户，这听起来对我来说一点用都没有。
在过去的一年半时间里，已经有很多关于机器学习和神经网络的其他应用的文章，包括人工智能在游戏中击败人类、围棋和扑克等相当明显的“胜利”；但我不相信人工智能的未来在于模仿人脑某些部分的神经网络。
我相信人工智能，尤其是在操作系统中，将会包含大量的人工智能，其中任何一个人工智能都可能是经过训练的“学习机器”的结果。也就是说，如果机器学习的输出是一个可以很好地玩围棋的神经网络，那么它只是一个适合更大的人工智能/AGI 的人工智能，如果你愿意的话，是一个“学习机器”。
例如，一旦一个人学会了如何系鞋带，这个表面上的“程序”将伴随这个人的余生(希望如此)，并且很少(如果有的话)需要修改(或继续“学习”)这个过程。因此，人工智能“系鞋带”成为智能或人工智能/AGI 的武器库的一部分。
大多数人工智能是机器学习的结果还是硬编码的结果还有待观察，但我相信基于人工智能的操作系统将展示两种形式智能行为的同等部分。
人工智能和操作系统
有一点似乎很清楚，开发消费者操作系统的公司正在尽可能多地将实用的专业智能集成到操作系统中，并且认为这对人们有帮助。
一个可以给我讲笑话，通过语音为我安排提醒的 OS 的前景让我感到温暖；我期待着看到操作系统与家庭智能物体集成的好处。
我认为研究必须集中在操作系统拥有一个人工智能库来解决特定任务的地方(就像现代操作系统已经做的那样)，以及那些人工智能最适合基于人的需求而不是人工智能本身来真正帮助人的模型的地方。
我希望这篇文章读起来令人愉快。时间允许的话，我会继续思考 AI 和操作系统。
这一系列中的第二部分可见于: “我”的概念。人工智能与操作系统第二部分
— — — — — — — — — — — — — — — —
人工智能应用:采购的挑战和机遇
毫无疑问，人工智能在采购领域的应用是当务之急。众所周知，大多数组织中的采购职能仍然处于数据科学和人工智能采用的曲线上。不幸的是，随着采购背景的迅速变化，时间已经不多了。采购领导者正处于风口浪尖，为了保持相关性，他们必须迅速采取措施，拥抱前沿的想法、工具和技术(其中许多都基于数据科学和人工智能)。
在当今世界，采购面临着前所未有的变化，这种变化是由商业环境的快速转变所驱动的。
****(1)日益增加的复杂性:过去十年，企业转型的速度令人难以置信。它不缺少工业革命期间发生的那种变化。采购也没有不受这些变化的影响。
随着公司变得越来越全球化，地理界限变得越来越模糊。他们的供应商正在经历类似的演变，进一步增加了复杂性——即使是最小的公司，买方和供应商的网络也很快成为一个错综复杂的网络。除此之外，新的购买模式、外包和采购职能集中化的趋势也变得越来越复杂，这就形成了一个复杂的内部关系的大熔炉，如今没有一个采购组织能够幸免。
****(2)改变对供应商风险的看法:曾经有一段时间，采购专业人员可以巧妙地量化和衡量与任何供应商相关的风险，并将其纳入他们的采购战略。随着技术和全球化的到来,“风险”的定义正在发生变化。地缘政治风险不再局限于一个国家——印度的问题很可能会影响你在菲律宾的供应商。同样，货币风险也是相关的。技术正以一种必须跟踪技术主导的风险的速度使企业变得过时。不胜枚举！
(3)内部变革的步伐:当今的组织需要非常敏捷，以确保在技术革命的背景下保持活力。他们想出做生意的新方法。他们进入新的市场。他们推出新型产品或服务。他们经常重组自己。他们参加越来越多的并购活动。所有这一切都以令人眩晕的速度发生。想象一下采购部门的惊愕，他们不仅需要跟上这些变化，还需要以可持续和可扩展的方式做到这一点！
****(4)激光聚焦成本节约:在过去十年左右的时间里，随着几轮经济起伏周期的结束，企业开始变得更加强硬，更加关注成本。专注于收入增长的执念已经被承认在成本控制方面也需要积极进取所取代。这就把采购作为公司的战略齿轮摆在了中心位置——他们有非常严格的节约目标。
这些变化无疑将采购组织推到了聚光灯下。他们不再是公司等级制度中被忽视的表亲。虽然这是采购从业者值得庆祝的原因，但这也意味着他们需要齐心协力，确保他们发展技能，采用工具和技术，使他们能够达到对他们的要求。
为了让采购团队脱颖而出，并为他们的组织提供引人注目的商业价值，他们需要关注一些必需品:
- 数据驱动决策:从历史上看，采购更多的是管理供应商关系，并通过定期的供应商讨论和谈判来节省成本。然而，现在已经不是这样了。采购部门现在需要做更多的工作来持续提供底线影响。能够做到这一点的一个关键驱动因素是 利用数据来推动关键决策 。
- 自动化:流程工作流经历了跨职能的巨大变化，从内部管理到外包，再到日益自动化。需要专注于采购中的自动化——不仅仅是为了节约成本，也是为了带来更多的效率。理解并采用人工智能驱动的技术来实现这一点将是关键。这也意味着采购专业人员需要重塑自我，才能保持相关性。
- 物联网:物联网已经从一个新的流行词迅速变成无处不在，采购职能可以利用它的力量来提供变革性的价值。拥抱物联网将为采购部门提供实时跟踪公司内购买、存储和使用的一切的能力。对这些丰富数据的访问与有效的数据分析策略相结合，将使 it 部门能够以前所未有的效率管理他们的采购和供应链。
- 用户体验:大多数公司的采购功能都处于新模式的门槛。It 不再仅仅被视为支持功能，而是其用户(即组织内的业务购买者)的关键利益相关者。专注于为他们的用户群体提供差异化的价值现在是大公司采购的一个重要目标。更顺畅的购买过程、更快的周转时间、更好的信息访问、更多的选择等等。只是传递这些的一些方式。同样，人工智能驱动的技术和预测分析可以提供实现这一目标的必要手段。
Hackett Group 最近的一项研究显示，绝大多数(79%)采购高管认为，提高他们利用分析的能力在未来几年至关重要。
我相信我们正处于采购新时代的开端。我知道我在这里听起来有点矫情，但这确实是事实。对于采购专业人士来说，这既是一个警钟，也是一个巨大的机会。
我们知道他们在听，但他们听到了什么？
4 个家庭人工智能助手，根据数据隐私和如何保护数据进行排名
在 Humanlytics，我们只关心数据。当我们的工具可以访问大量高质量数据时，我们可以发现业务洞察，从而提供个性化的有效建议。
然而，在数据时代,消费者已经开始对他们生产的数据——企业正在收集的数据——感到紧张。
这种情况已经持续了一段时间，但随着物联网(IoT)(不断收集数据并将其发送回公司服务器的物理设备网络)随着大众市场“始终监听”人工智能设备的出现而扩展到我们的家庭，数据安全问题变得越来越紧迫。
当这些设备进入我们的家时，我们最私密的地方就成了某种监控的对象。
这会导致权威人士为了他们的目的可能从你的设备中获取数据。
太恐怖了。但是，不管喜欢与否，我们每天都在越来越多地进入一个以数据为中心的世界。我们都需要接受数据革命不仅仅是不可避免的，它已经到来了。但我们不需要盲目接受。
那么，我们来谈谈吧。为了确保你了解情况，我们将讨论由谷歌、微软、亚马逊和苹果生产的人工智能听力设备。在讨论其含义之前，我们将讨论该产品本身以及它能让您对数据进行何种控制。
然而，在我们单独讨论这些器件之前，我们先来概括地讨论一下。
人工智能听音设备通过音频命令获取线索。其实现方式是利用“唤醒词”。它一直在听你说话，但只有当它听到这个唤醒词时才开始注意。
这实际上是通过记录短脉冲来实现的。如果检测到唤醒词，设备会继续记录，如果没有，则该片段会被删除。一旦它被触发，设备就开始记录或流式传输你说的话。
在这一点上，理解这是一个由两部分组成的系统是很重要的。你家里的设备实际上不做任何计算。相反，通过互联网，它被连接到数英里以外的计算机服务器上，而服务器才是真正的工作。
这意味着您的语音记录(或流)不会留在您的家中，而是在制定正确的应对措施之前进行分析，然后发送回您的设备，在您家中播放。
谷歌主页
产品
谷歌主页被描述为“谷歌助手”，提供“免提帮助”。
这涵盖了广泛的功能，谷歌将其分为六个类别:1)获得答案，2)享受娱乐，3)管理任务，4)规划你的一天，5)控制你的家，6)享受乐趣。
为了使用它，你需要做的就是把它插上电源，在你的手机上运行一个应用程序的设置，然后，当在设备的耳边时，说:“好的谷歌”。这将激活设备，在这一点上，它将开始积极处理和执行您所请求的行动。
它收集的数据
谷歌对此有点奇怪。
在关于数据隐私的 Google Home FAQ 页面上，他们或多或少地承认收集你通过你的账户、你的搜索历史、你的位置历史以及第三方应用程序提供给他们的信息。
然而，如果你看一下谷歌的隐私政策，你会发现他们收集了更多更深入的信息。
这包括，您提供的任何账户信息以及关于您如何在他们的服务上做什么的信息。这包括设备、日志、位置和应用程序信息。
此外，他们使用本地存储以及 cookies 和类似的工具来收集和存储基于你在 Google 上所做的事情的信息，包括你如何与他们的合作伙伴提供的服务进行交互。
你的控制
理论上，你有完全的控制权。
你录制的语音剪辑会自动存储在谷歌的数据中心，并与你的账户相关联，然后你可以去 myactivity.google.com 手动删除。如果你不删除它们，它们会永远留在那里。
你也可以调整你的设置，以确定谷歌主页可以访问你的个人偏好和其他信息(这是指我们上面提到的“服务信息”)。
您的控制权受限的一个例子是关于“服务相关信息”。即使你已经删除了你的账户，谷歌可能会保留一些信息，你对此无能为力。
更广泛地说，你可以决定谷歌收集哪些数据，以及这些信息如何与你的账户相关联。此外，您可以控制它是否可以访问您的搜索历史记录、位置历史记录和应用程序信息。
奇怪的是，尽管从逻辑上讲，如果另一个人亲自向你的谷歌主页索要信息，你对自己的信息没有控制权。作为最后一招，你可以关闭录音功能，但这将使设备失去功能。
亚马逊的 Alexa
产品
亚马逊的这款产品有几种不同的形式。有回声、圆点和敲击声。尽管名称不同，但它们做的都差不多。
它完成了亚马逊定义的八个类别之一的任务:音乐和娱乐，新闻和信息，问题和答案，家庭帮助，智能家居，娱乐和游戏，购物和 Alexa 技能。
Alexa 的特殊之处在于它利用了“技能”,这些技能基本上是由第三方开发的应用程序，用于该平台提供的语音功能。
它收集的数据
一旦你的请求和问题被记录下来，Alexa 就会记录下来。它还处理来自第三方服务的信息(您可能已经向其提供了个人信息)。
虽然 Amazon Echo 的工作原理是“唤醒词”,只有在识别出这个词后，它才会将你的声音传输到服务器，但它也包括了你说出唤醒词之前所说的部分录音。
你的控制
首先，您可以控制自己的查询。这些都记录在您的历史记录中，您可以单独删除它们。此外，通过前往 www.amazon.com/mycd[或联系客户服…](www.amazon.com/mycd)
由于可能会不小心提到唤醒词并将录音传输到云端，亚马逊提供了不同的设置来防止这种情况。例如，您可以将监听限制为仅在您按下激活按钮或激活提示音以通知您设备开始和结束录音时发生。你也可以让设备静音，尽管这实际上会破坏它的功能。
苹果的 Siri
产品
苹果的 Siri 可能是最初的“永远听”设备，于 2015 年首次亮相，目前提供苹果定义的八类功能。
这包括:基础知识、保持联系、变得有条理、运动、娱乐、外出、家庭用品和获得答案。
Siri 还值得一提的是它的与众不同之处，它是第一个出现在手机上的始终监听的人工智能，可以在所有 iphone 上运行。
他们收集的数据
Siri 会收集和使用手机上已有的信息，如您的姓名、通讯录和歌曲。
此外，如果您在请求时打开了定位服务，该信息将与您的请求捆绑在一起。
此外，苹果规定一些功能需要“来自苹果服务器的实时输入”为了描述这种需求，他们给出了一个地图示例，其中服务器需要知道您的目的地地址和您的当前位置。
你的控制
苹果在这场竞赛中的地位有些奇怪。
一方面，它似乎不允许你大量控制 Siri 能访问或不能访问的内容。您可以关闭定位服务、其他“主动服务”，或者完全关闭 Siri。
此外，您可以关闭 Siri 的“始终聆听”功能，以便它只根据您的物理命令操作(通过按住 home 键激活)。
另一方面，苹果擅长以匿名和安全的方式保护你的数据。
例如，苹果没有将你的 Siri 查询与你的个人账户相关联，而是将它们与分配给你的设备的随机标识符相关联，该标识符会在六个月后自动删除。
同样，每当苹果从你的设备向服务器发送信息时，它都会使用“匿名的旋转标识符”，这样你的信息就不会被追踪到你个人。
苹果做的最后一件事是保留 Siri 在你手机上使用的大部分信息。
这意味着 Siri 用来提出建议的来自您的电子邮件、通讯录、应用程序使用和日历的信息会留在您的设备上，而不会发送到服务器。
微软的 Cortana
产品
微软的“永远倾听”人工智能的迭代是 Cortana。被描述为可以做一系列活动的“数字代理”。
微软将其功能分为大约八个类别:提醒、跟踪、通信、日历、列表、游戏、查找信息和打开应用程序。
它收集的数据
如果您使用 Windows 帐户登录 Cortana，Cortana 将从您的设备、其他 Microsoft 服务以及您连接的第三方服务中收集信息。
这包括你的浏览历史、日历、联系人、位置历史(无论你是否与手机互动，都会定期收集)等信息，以及有点令人不安的“来自消息、应用和通知的内容和通信历史”
值得注意的是，如果您在登录 Windows 帐户时使用 Cortana，您的录音将被存储并与您的帐户相关联。
你的控制
微软允许相当程度的控制。首先也是最重要的，它不需要一个帐户就可以使用，这意味着你可以进行永远不会连接到你的帐户的查询(尽管它们仍然会保存在你的浏览器上)。
此外，您可以决定连接哪些第三方服务。此外，任何时候你问一个需要使用更多数据的问题，Cortana 都会在进入之前请求许可。
此外，如果你后来改变了主意，你可以通过进入 Cortana 的设置来单独管理权限(尽管你不能管理所有的事情)。
Cortana 还允许您通过编辑“笔记本”来具体管理 Cortana 对您的了解。但是，这样做不会删除服务器中的相关数据。为了做到这一点，并管理你的录音，你需要访问 account.microsoft.com/privacy.
结论
那么这给我们留下了什么？人工智能监听设备很酷，但它们也可能跨越我们许多人不愿考虑的数据收集线。
5 Data Privacy Principles by Mozilla. Image via Flickr.
更具体地说，它们允许意外记录你的声音和你可能说的任何东西。虽然网络搜索需要有意识的输入和搜索，但口误可能会唤醒你一直在听的人工智能，它会急切地记录你说的任何话。
这有点令人不安，但好消息是你有一个选择。你可以决定哪个人工智能监听设备住在你的家里，它能听到什么。利用这个选择，并保持你的隐私。
在这篇文章的帮助下，你现在拥有了做出明智选择的工具。我甚至可以帮你一点忙，通过数据隐私对这些设备进行排名。
Google Home vs Amazon’s Alexa devices.
我们的语音助手数据隐私排名
- 微软 Cortana(微软 Cortana)- Siri 和 Cortana 之间的争夺非常激烈，但最终微软允许你控制 Cortana 的粒度控制让它占据了上风。这不仅允许您控制它收集的数据，还可以确保 Cortana 在您做出这些选择后保持正常运行的能力。简而言之，它允许隐私与操作能力之间的巨大平衡。
- 苹果 Siri- 老实说，苹果在隐私方面做得很好。他们保持你的数据匿名，将你的大部分数据保存在手机上而不是服务器上，并在六个月后自动删除你的请求。这些都是很好的东西，但是把它降低到两点是因为你的控制是有限的。您只有几个自定义选项，这使得很难找到微软提供的隐私和操作能力之间的平衡。
- 亚马逊 Alexa- 亚马逊获得第三名，因为虽然他们没有做什么过分的事情，但他们也没有做什么伟大的事情。删除你的数据可能是一件苦差事，虽然它允许你对你的数据进行一些控制，但激活太多这些选项，你会有效地扼杀设备的功能。不错的亚马逊，但也不伟大。
- 谷歌主页 -谷歌，哦谷歌。我纠结于这个排名。像微软一样，谷歌允许对设备可以收集和访问的数据进行相当精细的控制。然而，与微软不同的是，谷歌 Home 需要一个谷歌账户才能运行。这使它能够立即访问大量信息，虽然您可以更具体地指定它可以访问的数据，但这也会严重限制它的功能。
Microsoft’s Cortana vs Apple’s Siri. Image via PC Mag.
每个科技公司都应该认真对待的步骤
AI 很厉害，但数据隐私也很厉害。
数据自由化是未来的重要工具。它允许详细和个性化的建议，以及将改变我们生活方式的人工智能。然而，与此同时，数字隐私对于保护我们社会的价值观和权利是不可或缺的。
例如，这就是为什么我们 Humanlytics 采取具体措施来确保您的私人数据保持不变。我们记住的两个解决方案是算法透明和最小可行数据收集。
Transparency of algorithms and data collection are key to building trust with users.
算法透明是指你写的代码应该对消费者可用。这将使他们能够全面彻底地监督数据收集过程。
虽然这个想法很激进，有一些复杂之处，但它是我们致力于努力实现的理想。现在，这意味着我们将始终致力于尽可能透明地公开我们的收集/分析算法。
至于最小可行数据收集，想法很简单。我们只会收集我们需要的数据，仅此而已。这不会影响我们产品的功效，我们收集的数据越少，滥用数据的风险就越小。每个人都赢了。
技术进步的每一天都是消费者隐私遭受攻击的另一天。但是，如果你尽自己的一份力，保持信息畅通，而我们(即科技公司)尽自己的一份力，负责任地收集数据，那么我们每个人都可以帮助实现一个未来，让隐私成为现实，而不是白日梦。
科技公司和消费者还能做些什么来保护数据隐私？请在下面评论，或者给我发邮件到 bill@humanlytics.co，让我们知道你的想法。 在这里了解更多关于 Humanlytics。
原载于 2017 年 4 月 19 日 medium.com**T21。
AI、BI 和 BS:揭开企业级人工智能的神秘面纱
人工智能……来到你身边的世界 500 强！
像谷歌和 IBM 这样的高科技公司并不是人工智能军备竞赛中的唯一公司。每天，越来越多的公司利用机器学习和高级分析等数据科学技术来发展他们的组织。作为自动化的驱动力，认知人工智能开始动摇许多行业，裁员的威胁正在逼近。在一家财富 100 强制造企业实施了一年艾龙，在商业智能行业工作了几年，并与 BSers 打了一辈子交道之后……我感觉到了一种召唤，那就是在这个面向企业的数据科学和人工智能新世界中，区分什么是真实的。
许多非技术导向的企业正在实施预建的人工智能平台(IBM Watson、Infosys Nia、Tata Ignio、Maana.io)，将人工智能作为服务分包出去，并聚集数据科学家团队，开始从他们的数据中获得更深入的见解。我有幸安装了一个企业级人工智能平台，并带领一个 25 万员工的公司发现了认知自动化的用例。这需要识别重复的、不确定的业务流程；对普通软件来说太复杂而无法完成的任务，但对人类来说又太平凡而无法继续完成。
人工智能的用例很多，可以带来成本效益，并为员工腾出时间，但在每个数据科学机会的背后，都有一些障碍。高层领导会想为什么组织还需要另一个数据分析工具。BI 团队将对共享哪些数据进行限制，要求在需要了解的基础上提出正式请求。商业利益相关者会质疑你能保证这种人工智能自动化能为他们的成本中心节省多少钱。简单地说，在 AI 真正被他们的企业接受之前，自动化团队要经历一大堆废话。
从商业无知到商业见识到商业智慧
传统的商业智能真正革新了商业世界。公司现在有了从结构化数据库中获取确凿证据的渠道，对其进行分析，并以决策者可以理解的格式进行报告。这使得经理和高管们更少依赖直觉，更少因主观臆断而犯错误。
但是，当您要求您的 BI 团队理解数据湖时，会发生什么呢？非结构化数据通常是 BI 团队开始踩刹车的地方。这不是因为无法操纵非结构化数据，而是因为 BI 团队缺乏从数据湖中获取任何商业价值的环境。在大多数公司中，数据湖被用来储存任何额外的数据，不管其数据质量如何，这些额外的数据将来可能会很有用。
要理解这个障碍，我们首先要区分数据分析，analytics，和高级分析。分析是使用当前数据来描述业务的快照(报告/仪表板)。分析更进一步，进行根本原因分析和预测分析(预测、问题诊断)。高级分析旨在使用复杂的统计方法和机器学习来提供更高层次的见解。这是数据科学家参与的领域:文本挖掘、情感分析、网络和聚类分析、多元统计、模拟、复杂事件处理和神经网络。这些通常是资源密集型工作，需要高度专业化的技能、强大的软件平台和大规模并行集群来计算。高级分析通常是利用数据湖所需的一套技术。虽然一些常见的 BI 工具有能力帮助高级分析项目，但还有更多的混合。不要让 BI 团队欺骗您，让您认为他们可以可靠地提供高级分析！
洞察力只是战斗的一半…在我们的机器充分理解数据后，我们需要在实现任何价值之前将这些洞察力纳入决策和业务流程。这就是说明性分析发挥作用的地方:当你可以使用数据在最少的人工干预下自主做出决策时，认知自动化的力量就显现出来了。
理学士
正如任何技术大趋势一样，不可避免地会有人试图乘风破浪，赚快钱。以下是你在与高层领导和非技术受众交流时要注意的一些废话。
不要让业务分析师欺骗你，让你以为他们是数据科学家。组建一个成功的人工智能团队需要许多技能，BAs 对于评估每个数据科学用例的潜在好处将是无价的。然而，他们将不能对幕后将要发生的事情或实施需要多长时间提出任何有意义的建议。事实上，数据科学家自己也可能无法给你一个准确的交付时间表。
“数据科学”这个术语在我看来是用词不当，因为它既是一门科学，也是一门艺术。大多数数据科学项目就像使用 3 英尺范围的手电筒探索 300 英尺长的洞穴。你不知道自己不知道什么，要经过无数次的迭代探索、模型选择、算法调优，才能创造出一个有用的模型。简而言之，不要指望像对待应用程序开发周期一样，给你的机器学习项目设定严格的时间表。你可能已经建立了一个算法，但是在一个有效的算法准备好部署之前，通常需要一些训练/调整时间。
你不能给你的人工智能平台输入一堆数据，然后指望它吐出真知灼见。自主 AI(还)不在！任何有价值的改变都需要 BAs、SME、数据科学家和流程负责人的共同努力。仅仅因为您有数据并不意味着您有确定的答案，因为没有领域和过程专业知识，非结构化数据通常是垃圾。很多时候，拥有解读这种非结构化数据所必需的隐性知识的人忙于经营业务，而没有时间放下手头的工作去从事分析项目。当分析已经放置了一段时间的数据时，可能会出现更糟糕的复杂情况，因为 SME 可能已经离开了公司。
这就是为什么不能夸大数据治理的重要性。如果一家公司真的想利用他们的数据来降低成本和增加长期收入，他们需要愿意投资来保持他们的数据干净和有标签。就短期而言，低质量数据的一些变通办法可能是为数据解释分配 SME 带宽，并让业务分析师花一些时间进行探索性数据分析。
政治暴政
当与商业利益相关者打交道时，我们经常听到的一句话是:“如果它不赚钱，它就没有意义”。预测商业利益只是第一步。之后，必须令人信服地将信息传达给决策者，并猜测实现收益的时间表。然后政治乐趣开始了。一旦主管签署了人工智能用例的预计美元节省，这意味着他们的组织部分的预算也预计会减少。假设是他们可以用从自动化中节省下来的钱来经营他们的业务。这意味着，如果自动化被高估，并且没有实现预期的成本节约，那么该主管就处于亏损状态。
这种废话会给人工智能的实现增加很多阻力；管理激励对于任何类型的成功企业转型都至关重要。我给高管们的建议是，在组织层面授权一项人工智能/自动化计划，并让公司签署成本收益，而不是成本中心所有者个人。这样，当主管签署自动化用例时，如果预计的成本节约低于/慢于预期，他们也不会不知所措。只有当流程负责人实现了收益，成本中心才应该减少；从而允许企业增加他们对 AI 自动化的成功度量。
随着人工智能和数据科学在商业世界变得无处不在，我们都需要更加了解这个高度技术化的领域正在发生的事情。这不仅将帮助我们避免对一个新兴领域的误解，还将帮助组织全心全意地拥抱人工智能转型，平衡自己以实现长期的最大商业利益。
图像识别中的人工智能能力
随着 AWS 和谷歌提供的大规模云托管人工智能和人工智能平台的出现，应用程序开发人员在他们的应用程序中集成人工智能和人工智能，并利用复杂的人工智能/人工智能算法的高级功能，甚至无需内部人工智能专家，已经变得更加容易。
人工智能最普遍的应用是模仿人类互动或人类感知信息的方式——视觉和语音。虽然语音是人工智能中同样重要的领域，在这个领域也有同样多的发展，但本文的重点是视觉。视觉领域的主要部分是理解图像和视频。如今，配备了高质量移动摄像机的互联网用户每天都在制作和消费大量的图像/视频内容。对图像数据进行分类、过滤、编辑和解析是一个典型的用例。借助基于云的平台提供的 AI/ML 产品，我们获得了许多具有巨大优势的强大工具。本文试图阐明这些功能。
在处理图像时，最常见的用例是检测和识别图像中的内容。使用人工智能平台，我们能够做以下事情:
- 人脸识别——是否是人脸？如果是，它是与我的数据库中的人脸之一相匹配的人脸吗？
- 检测对象—图像中存在哪些对象？我们能探测并命名所有这些物体吗？
- 文本检测—如果是文本文档，我们能提取文本吗？
- 徽标、地标检测——我们能否精确检测并命名自然或人工地标或公司徽标？
现在让我们深入了解这些平台是如何解决这些问题的。让我们首先看看谷歌的人工智能产品——谷歌视觉。
谷歌视觉
它现在是谷歌云平台的一部分，它提供了一系列功能，几乎涵盖了我们上面提到的所有需求。Google Vision 向开发人员提供 API(称为云视觉 API)以实现各自的功能。根据官方文件——
云视觉 API 通过将强大的机器学习模型封装在一个易于使用的 REST API 中，使开发者能够理解图像的内容。它可以快速地将图像分为数千种类别(例如，“帆船”)，检测图像中的单个对象和人脸，并读取图像中包含的印刷文字。您可以在您的图像目录上构建元数据，缓和攻击性内容，或者通过图像情感分析实现新的营销场景。
Cloud Vision homepage
特性/功能
- 图像标记 —视觉 API 通过识别其检测到的信息，根据不同的标识符或标签为给定图像添加标签。标签范围很广——动物、交通工具、地点、颜色、食物..任何事。
- 人脸、标志和地标检测 —在检测人脸(和动物)、品牌标志、纪念碑和著名景点方面表现出色。它可以检测图像中出现的多张脸，还可以识别一张脸是否是名人脸。它还给出精确的面部属性和情绪状态。
- 光学字符识别(OCR)又称文本检测 —输入图像或文件，它会读出所有文本。即使文本几乎不存在或者文档是全文文档。
- 检测露骨内容 —这是一个很棒的功能，使用它我们可以从用户生成的图像数据中检测成人内容。它提供了出现露骨或暴力内容的可能性。
- 谷歌搜索 —利用谷歌搜索数据和算法的力量，它试图在给定图像和网络上可用图像之间建立关系。利用这一点，它可以在网上搜索类似的图片。
Google 云平台让您可以在同一基础设施上构建、部署和扩展应用程序、网站和服务…
console.cloud.google.com](console.cloud.google.com/apis/librar…) [## 移动视觉简介|移动视觉|谷歌开发者
移动视觉 API 现在是 ML 工具包的一部分。我们强烈建议您尝试一下，因为它提供了新的…
developers.google.com](developers.google.com/vision/intr…)
使用上页中的演示功能，可以针对不同类型的输入对服务进行测试。
Cloud Vision API demo 1
Cloud Vision API demo 2
关于 Google Vision 的一个令人兴奋的事情是，该产品有一个专注于移动的兄弟——移动视觉(现在作为 ML Kit 的 Firebase 的一部分),这是为移动应用程序开发者准备的。它提供了使用云 API 进行图像识别的功能，以及针对有限功能的设备图像识别功能。。ML kit 本身是一个令人兴奋的新框架，为移动应用开发者提供了极其简单的 Rest API。
Introducing ML Kit — Image grab from Google I/O, 2018
亚马逊认知
“…服务可以识别对象、人员、文本、场景和活动，并检测任何不适当的内容。”
Amazon Rekognition 平台由 Amazon 作为 AWS 中的服务捆绑提供。S3 桶托管的图像和视频内容可以输入 Rekognition 进行分析。它提供了许多类似于谷歌视觉的功能，如文本提取、对象检测和显式内容检测，但也有一些令人印象深刻的附加功能。
“…if you want to be able to open up your garage when camera detects your license plate.”— Andy Jassy, CEO, AWS at re-Invent, 2018
AWS Rekognition 有两个独特的功能— 人员跟踪和实时视频分析。人员跟踪允许检测和跟踪特定人员的移动，并在此基础上做出决策。实时视频分析有助于根据实时视频中检测到的对象或活动做出即时决策。
“亚马逊 Rekognition 基于亚马逊计算机视觉科学家开发的同样经过验证、高度可扩展的深度学习技术，每天分析数十亿张图像和视频，不需要使用机器学习专业知识。”
这里的是服务的官方页面。还有一个演示页面来使用和测试这个特性。
Amazon Rekognition Demo 1
Amazon Rekognition Demo 2
rest 服务给出一个 JSON 响应，详细说明检测到的对象和活动。
Rekognition API response.
亚马逊还非常强调 Rekonition 的特定人脸识别能力(除了检测之外)，即从图像中检测人脸，并通过与你自己数据库中存储的人脸进行匹配来识别它。如果有足够的数据，任何人都可以使用它来创建一个人识别应用程序。虽然在这篇文章中提到了一些隐私问题。
谷歌云视觉和亚马逊 Rekognition 的详细对比可以在这里找到。
除了云视觉和 Rekognition，还有一些其他的解决方案。OpenCV 在这里值得一提，它是一个开源框架或库，拥有大量用于检测对象或活动的 ML 算法。OpenCV 不是云托管解决方案。
人工智能咨询&逆向棉花糖实验
我在过去写过关于对人工智能人才的高需求，以及满足这种需求的高素质人才的低供应。大公司吞噬所有人才留下的空白正在推高人工智能开发的成本，就在你预计价格会下降的时候，考虑到所有令人敬畏的自由软件都在那里。此外，我喜欢参与各行各业的项目。我很高兴只是努力扩大我现在正在做的事情。
这篇文章是关于像我这样的顾问在这场人工智能的狂热中最大化收入的压力，以及从这种我将称为人工智能解决方案架构师的供需暂时不平衡中产生的丑陋事情。
棉花糖测试是一项测量儿童延迟满足感的著名研究。简而言之，孩子等着吃棉花糖的时间越长，他们的自制力就越强。研究结果进一步表明，延迟满足是一种值得拥有的好品质。在人工智能领域，我正在经历一场逆转棉花糖效应。经济激励迫使我不要延迟满足。在这种情况下，满足意味着金钱。
AI 真的很酷。问题来了:我要赚钱。现金。追求收入最大化的欲望扭曲了做酷事的长期价值，因为它促使像我这样的顾问去投标我知道自己能很快完成的项目。激励是反对创新和风险的。
通常，在乌龟和头发的寓言中，乌龟是最大的赢家。在这个超非竞争性的人工智能领域，兔子赢了。他每天带着一袋金子回家，乌龟一砖一瓦地建立他的创业公司，最终兑现股票期权或把它们当卫生纸用。这对创新者来说有点麻木不仁，但一鸟在手胜过双鸟在林。让我们面对它，做一个标准的人工智能项目比做一个完全失败的非零风险的项目赚更多的钱，风险更小。可悲的是，我不得不让不是一个，而是两个火热的线索在这个星期死去，因为这些要求对定价来说风险太大，而且我们不能按小时计费。一个想要高精度和高召回率(很难做到)，另一个数据集很乱。我可能不应该，但我觉得离开很糟糕。
关于当代人工智能的愤世嫉俗的观点/反驳是我今天在一个聚会上从一位同事那里听到的:“得 A 的人呆在学校里。得到 B 的人最终会为得到 C 的人工作。抱歉，我不知道引用的原始来源。如果找到请在评论里补充。这句话的意思是，像呆伯特这样的中等工程师在咨询公司为愚蠢的老板工作，而最优秀和最聪明的人则躲在象牙塔里酝酿下一件大事。我觉得这有点苛刻。作为一名顾问，我想我同时是呆伯特和愚蠢的老板？我上周遇到的一位首席执行官称我的方法为“勉强糊口”。也许有一些丑陋的事实。
对于这一切，我有一个更现实、或许更乐观的观点。我记得物联网和大数据是有史以来最重要的东西。它过去了。我认为，首先，对人工智能的需求将由大量训练有素的工程师来满足，正如劳动力供求不匹配时经常发生的那样。看不见的手会(应该？)做它的事。第二，像我这样追逐发展机会而不是解决一个重大问题的顾问，最终要么会发现一个很酷的解决方案并专注于此，要么会成为许多小公司中的一员，最终被高科技领域不断变化的沙子卷走。
比起长期(稳定)的全职工作和长期(高回报)的股权安排，我追逐短期合同(和许可协议)的收入是不是疯了？让我知道你的想法。
编码快乐！
——丹尼尔 丹尼尔@lemay.ai ←打个招呼。 LEMAY . AI 1(855)LEMAY-AI
您可能喜欢的其他文章:
关于数学、表示和神经网络的晚餐
晚餐时，我和一位物理学家、一个 70 年代的人(现在已经上了年纪)以及一位从迈阿密的优步司机那里得到大麻的绅士坐在一张桌子旁。我学到了以下几点:
- Fortran 仍然被使用的原因之一是它有针对数值计算的语言和编译器优化(我后来研究了这一点，发现主要的优化是与语言无关的——例如。将矩阵分解成子矩阵(大小适合机器的存储器层次结构的形状)并执行子计算)
- 傅立叶分析(我在大学里不得不上的一门课，一节课结束就忘了)是一个叫做频谱分析的东西的子域(…把事物从一种表示形式转换成另一种表示形式…)
- 群论是“对称”的延伸……我还不太明白这是什么意思(我问过桌子群论的实际应用是什么……)
我对数学很好奇，问了物理学家很多关于数学的问题(当我问他是怎么进入编程的时候，他说“我解方程是通过把方程分解成矩阵，找到稳定的表示”……嗯？我猜是和合成函数做函数逼近，然后求方程组的参数有关……向读到这里的任何数学家道歉)。几天后，我突然意识到，也许有一种抽象的方式可以用适用的表达方式来构建事物:
- 数字表格可以用图表来表示(我们认为这是理所当然的)
- 代数符号可以被认为是古代人们必须执行的任务的一种简短形式的表示
- 微积分中的积分符号是黎曼和的另一种表示
- 正弦波形的频域和时域表示(用于傅立叶分析，用于信号处理，应用于从无线电到蓝牙再到任何无线设备的方方面面)
我把这个和我不久前看到的 Bret Victor 的演讲联系了起来。演讲的中心是思想的表现如何与界面联系起来，尽管我认为无论是用户界面还是数学或其他东西，表现都是允许不同类型的思想被思考的东西——它们是非常基本的东西。也许它们也可以被认为是允许交流的东西…在像设备的界面或数据集的可视化这样的情况下，难道这不是它或数据通过其与界面/查看者交流的表示吗，就像语言的选择是人类相互交流时使用的表示一样？这是一块有趣的手表www.youtube.com/watch?v=agO…
我想更好地理解神经网络和线性代数是如何联系在一起的……我最终想理解使用连接主义技术的界限是什么。这对我来说很重要，有两个原因:理解这项技术可以增强社会中的哪些角色很重要(神经网络可以下围棋和开车，但我的理解是它们不能独立实现推理)，而且由于我对 AGI 感兴趣，理解这项技术如何与其他技术结合也很重要(无论是 20 世纪开发的技术还是尚未发明的技术)。
表征能成为技术产生的框架吗？例如，当一个程序员戴着过程的、面向对象的、功能的帽子时。
人工智能不需要完全可解释
An AI black box bot!
为什么可解释的 AI 会成为如此热门的话题？
自 2012 年计算机视觉和自然语言处理的大规模突破开始出现以来，人工智能在各地蓬勃发展。自那以来，各公司一直在努力将人工智能应用到你能想到的每个行业，从医疗保健到零售、金融到自动驾驶汽车。人工智能赋予这些公司令人难以置信的能力，可以创建强大的预测系统，这些系统可以自动化他们可以获得数据的几乎任何重复的人类任务。
当人们看到他们的人工智能系统犯错误时，就产生了人工智能需要完全可解释的想法。他们想知道为什么会这样，以便改进他们的系统。
在某些领域，缺乏可解释性带来了许多法律问题。如果 AI 出错了会怎么样？谁对损坏负责？在金融业，一个错误可能意味着数十亿美元的收入损失。在医疗保健领域，失误会造成人员伤亡。
但是可解释性并不是这些挑战的答案。它可能会为我们提供更好的方法来改善我们的人工智能系统，或者让我们更好地了解系统的错误来自哪里。但这并没有让我们从根本上解决人工智能，也没有解决道德和法律问题。
我们可以有一个人工智能系统来忽略导致病人死亡的危险癌症。如果人工智能更容易理解，也许我们可以找到它错误的来源，并用它来改进系统。但是我们已经知道错误来自我们的人工智能。同样的道德和法律问题仍然适用，在这方面没有解决任何问题。
如果医生犯了那个错误会怎么样？
几个月前，我在多伦多参加了一个机器学习活动。向问答小组提出了一个有趣的问题:
如果一辆自动驾驶汽车必须在碾过某人和撞上一棵树，杀死所有乘客之间做出选择，它会选择哪个？
一个小组成员给出的答案很有趣:嗯，人类会怎么做？没有确定的答案。人类有自己的偏见和独特的内部决策系统。这个问题没有正确的答案。
我们并不完全理解人类的思维，但我们仍然接受它的错误。如果你在数学考试中犯了一个错误，你也许可以倒回去找出错误发生在哪里，以及下次如何改正。但是没有人知道大脑内部是如何得出结论的！神经科学真的还没有出现，如果没有这方面的知识，我们也不会有什么大问题。
如果我们想在对错误敏感的行业(如医疗保健和金融)中解决人工智能的一些道德和法律问题，那么在可解释性上工作就没有什么意义。更多的是用正确的方式应用人工智能。
医疗保健决策中有非常强烈的道德观念，让人工智能来做这些决定甚至都不合适。这些决定应该由专家来做。人工智能应该被用作一种工具，帮助给专家人类信息，可以帮助决策的速度和准确性，但不是为了决策本身。
如果它与道德、情感或任何人类固有的东西有关，而不是机器，它应该完全由人类控制。AI 是一个可以伸出援手的工具，但它不是这艘船的船长。
人工智能不需要完全可解释。重要的是我们要有一些高层次的可解释性:系统如何工作，它的不同部分，以及哪个部分犯了错误。
但是我们不需要知道这些本质的细节。了解它们不会帮助我们解决智能问题，也不会帮助我们解决人工智能固有的伦理和法律问题
帮助我们解决和复制人类智能的将是对大脑不同部分如何形成整体的理解。它是如何作为一个系统工作的。
喜欢学习？
在推特上关注我，我会在那里发布所有最新最棒的人工智能、技术和科学！
人工智能吞噬软件的未来
在这篇文章中，我将分享人工智能如何塑造软件未来的观点。我们日常使用的传统软件在未来的日子里会发生怎样的巨大变化。
让我们从软件的当前状态(称之为“遗留”)开始。
“遗产”
历史上，软件应用程序大多被设计成自动化一组特定的过程——生活中的过程或企业中的过程
让我们举两个例子来理解这一点:
在面向消费者的场景中，一个合适的例子是“出租车预订”过程。从前，你打电话给出租车公司，告诉他们你的上车地点、时间、目的地、你想要什么类型的出租车等等。随后出租车会来接你。那么“遗留”应用程序(我们使用的)是如何产生的呢？让我们以优步为例。优步应用程序自动化了这一过程(同时还做了许多其他很酷的事情)。类似地，Booking.com 应用程序自动化了“酒店预订”过程，Yelp 自动化了“餐馆搜索”过程等等。拿你最喜欢的应用程序来说，它的核心肯定是自动化了一些过程
在企业环境中，Outlook 等应用程序会自动执行“电子邮件管理”流程。Microsoft Dynamics 自动化了“客户关系管理”流程，Slack 自动化了“企业协作”流程，这样的例子不胜枚举。
因此“过程自动化”通常是任何“遗留”软件应用程序的核心。目前为止。
但不是前方。
“未来”
鉴于这些过程中的大部分已经自动化，软件应用的下一个前沿是什么？优步、网飞等国家的软件应用前景如何？长什么样？Outlook、Gmail、Slack 在未来会有什么与众不同的特点？
当然，下一代软件应用不仅仅是过程自动化！！！
但远不止如此。下一代应用程序更加智能、个性化、自我学习和自我改进。
这就是人工智能(和机器学习)作为未来软件的核心 DNA 发挥作用的地方。
正如我所讨论的，我们周围的大多数软件应用程序仍然属于过程自动化时代(我们所处的时代！).它们本质上是高度反应性的。非常类似于 Eric Schmidt 提到的:软件总是像那只被要求时会叫的宠物狗。肯定不主动。非常非常被动。
展望未来，三个驱动因素都将使软件变得更加主动、个性化，并最终变得更加智能。
但是是什么推动了这种变化呢？海量数据、对大型计算基础设施(云 GPU 等)的可用性和智能算法成为跨越学术界边界的主流。
“未来”应用程序的一些其他特征:
- 软件应用程序将以“自然”的无缝方式与用户互动，而不仅仅是点击或触摸。与应用程序交互的常见方式将是自然语言文本、语音、手势、情感。Cortana、Allo、Siri 和 Alexa 已经为这个领域的更多创新铺平了道路。
- 随着更多的使用，软件应用程序将了解用户，变得更加“个性化”、“相关”。应用程序的响应将不被预定义，因此变得更加个性化。这也是可能的，因为关于用户的大量上下文、行为信息的可用性以及快速处理的能力。网飞就是一个很好的例子——你用得越多，个性化的体验就越多。
- app 会提出更有帮助的建议。利用对用户行为和偏好的了解，下一代应用程序将以无缝的方式将正确的内容和资源映射到用户。
- 下一步将是代表一个人主动采取行动——更多地在人工智能助手中。这将产生巨大的生产力需求。
在下一篇文章中，我们将看看如何构建融合人工智能的应用程序。
对于帖子上的任何问题、评论和意见，请随时联系我。我的坐标:@saunakdg 在 Twitter
AI +电竞:对未来的思考
在我写这篇文章的时候，Team Liquid 已经赢得了国际冠军。如果你不关注电子竞技或 Dota 2，国际锦标赛是由 Valve 主办的年度锦标赛。Team Liquid 以 3-0 战胜 Newbee，但我看比赛是为了别的事情。事情是这样的:
OpenAI vs Dendi
Dendi 是这个星球上最好的 Dota 2 玩家之一，他与 OpenAI 的 Dota 2 bot 进行了两次交锋，但都失败了。当被问及他的想法时，他说，“有点像人类，但又有点像其他可以对抗的东西”。Dendi 并不是唯一一个被机器人的能力打败的人。像 Arteezy 和 SumaiL 这样的冠军也被它碾压。在 Dendi 的比赛之后，OpenAI 说他们明年会带着一个可以对抗 5 名球员的机器人回来。
如果这还不够刺激的话。谷歌的 DeepMind 与暴雪合作，开放了 SC2LE。SC2LE 是星际争霸 2 的 Ai 学习环境。以下是它包含的内容:
- 一个为星际争霸 2 提供地图和机器人框架的机器学习 API。
- 65，000 次匿名游戏回放，很快将增长到 500，000 次。
- DeepMind 的用于机器人框架的 PySC2 包装器。
- 研究人员测试机器人的环境。
与我们的合作伙伴暴雪娱乐公司一起，我们很兴奋地宣布星际争霸 2 学习版的发布…
deepmind.com](deepmind.com/blog/deepmi…)
但我们不要被炒作，机器人末日不会到来。星际争霸 2 是一款复杂的战略游戏，在撰写本文时，还没有人制作游戏机器人。
OpenAI 的机器人虽然值得称赞，但并不容易。原因如下:
- 1v1 和 5v5: 埃隆马斯克的推特宣称 Dota 2 远比国际象棋或围棋复杂。这是真的，但游戏 Dendi 远没有这么复杂。首先，游戏有很多限制。比赛是单车道还是 1v1。Dota 2 是一个 MOBA(多人在线战斗竞技场),它是为团队而不是单一玩家设计的。这降低了一个非常庞大和引人入胜的游戏的复杂性。
- 获取信息:Dota 2 中的人物技能只在一定半径内有效。玩家很难盯着屏幕测量距离，这需要数小时的练习。相反，机器人已经知道玩家距离等信息。这有助于他们在适当的时候使用技能。
- 单角色打法: OpenAI 的 bot 好像是在单个角色上训练的。Dota 2 拥有众多拥有不同技能和能力的角色。如果他们明年想玩 5v5，他们将不得不在他们所有人身上进行训练。
此外，机器人显然在与 Dendi 比赛后被击败了 50 次。
未来会怎样
这里需要理解的一件关键事情是，这并不是电子竞技的终结。正如我之前提到的，电子竞技已经是一个成长中的产业。
Geek Wire on viewership in eSports
机器人不会很快取代人类玩家。未来 20 年我们也不会有人类级别的人工智能。还有，什么时候看两个机器人对打很好玩？相反，人工智能的未来在于增强，而不是自动化。
尽管我们的智能手机有能力击败大师，但国际象棋仍然在玩。世界上最好的棋手不是人类或计算机，而是两者的结合。加里·卡斯帕罗夫的 TED 演讲对此有更好的解释。
电子竞技可能会有类似的命运，以下是我的想法:
- DeepMind 的 AlphaGo 在与 Lee Sedol 对弈时使用了一些令人惊讶的战术。人们认为这些实际上不会起作用，但它们确实起作用了。类似的新战术和战略的发现也可能发生在电子竞技领域。玩家将不得不重新思考他们在游戏中的每一个动作。像这样的情况会给他们带来原本不可能的洞察力。
- CSGO 有一个“第六人”设置，一名观察员在那里为球员提供策略建议。机器人可以代替“第六人”，这是一种“增强建议”的形式。团队将不得不在他们的游戏中增加机器人的推荐。做得好的团队将成为赢家。由于许多机器学习算法已经大众化，因此不会出现团队不公平匹配的情况。
- 就像我之前提到的，星际争霸 2 是一款具有相当战略深度的游戏。这也使得游戏对新手来说更加困难。游戏中教练的出现会有所帮助。这将加快游戏的入门过程，减少学习时间。
电子竞技说到底是一种运动形式。世界各地的人们收看他们喜爱的球队比赛并为他们加油。只是这一次，他们会支持 5 个玩家和一个机器人。
艺术家的人工智能:第一部分
艺术不仅仅是对自然现实的模仿，事实上，它是对自然现实的一种形而上学的补充，为了征服自然而与自然并列。
弗里德里希·尼采
艺术和技术的历史总是交织在一起的。历史上发生的艺术革命是由制作作品的工具促成的。燧石刀的精确性使得人类能够用猛犸象象牙雕刻出第一批形象艺术作品。在当代，艺术家使用从 3D 打印到虚拟现实的工具，拓展了自我表达的可能性。
我们正在进入一个时代，人工智能越来越多地出现在几乎每个领域。埃隆·马斯克认为，到 2030 年，艺术将在所有方面超过人类，但艺术一直被视为人类的万神殿，是人工智能永远无法复制的人类事物。在这一系列文章中，我们将在机器学习的帮助下创作出令人惊叹的艺术作品。
项目 1:神经风格转移
什么是神经风格转移？
它仅仅是以另一种方式重新想象一幅图像的过程。这是使用卷积神经网络进行图像处理的最酷的应用之一。想象一下，你可以让任何一位著名的艺术家(例如米开朗基罗)在几毫秒内为你画出你想要的任何东西。在这篇文章中，我将尝试给出一个关于实现细节的简要描述。欲了解更多信息，您可以参考 Gatys 等人的论文，2015 。本文实现了我们试图做的优化问题
在我们开始之前，我们将介绍一些基础知识，这可以帮助你更好地理解概念，或者如果你只对代码感兴趣，你可以直接进入下面的链接github.com/hnarayanan/…或github.com/sav132/neur…。绝对推荐卷积神经网络(CNN) 吴恩达课程，以便更深层次地理解概念。
基本原则
让我们想象一下，我们正在尝试建立一个图像分类器，它可以预测图像是什么。我们使用监督学习来解决这个问题。给定一个由 D = W×H×3(色深= 3)组成的彩色图像(RGB 图像)被存储为一个数组。我们假设有“n”个类别可以分类。任务是提出一个将我们图像分类为“n”个图像之一的函数。
为了建立这一点，我们从一组先前分类标记的“训练数据”开始。分数函数我们可以用一个简单的线性激活函数[F(x，W，b) = Wx +b]。W —大小为 n X D 的矩阵称为权重，大小为 n X 1 的向量 b 称为偏差。为了预测每个类别的概率，我们将这个输出通过一个叫做 softmax 的函数**将分数压缩为一组 0 到 1 之间的数字，加起来等于 1。假设我们的训练数据是一组 N 预先分类的示例 xi ∈ℝ D ，每个示例都有正确的类别易 ∈1，…， K。确定所有这些示例的总损失是 交叉熵 损失:**
L(s)=∑I log(syi)
对于优化部分，我们使用梯度下降。我们必须找到最小化这种损失的权重和偏差。
我们的目标是找到曲线底部的全局损失最小值。我们还使用一个称为学习率(α)的参数，这是一个衡量我们修改权重速度的指标。
综上所述，最初我们给出了一些图像作为一个原始的数字数组，我们有一个参数化的得分函数(线性变换后是一个 softmax 函数),带我们去分类得分。我们有一种评估其性能的方法(交叉熵损失函数)。然后，我们改进分类器的参数(使用梯度下降优化)。但是这里的精度较低，因此我们使用卷积神经网络来提高精度。
卷积神经网络(CNN)基础
Diagram of a simple network from Wikipedia
以前我们使用线性得分函数，但这里我们将使用非线性得分函数。为此，我们使用神经元，它们是函数，它首先将其每个输入乘以一个权重，并将这些加权的输入相加为一个数字，并添加一个偏差。然后，它将这个数字通过一个称为激活的非线性函数，并产生一个输出。
通常，为了提高我们的分类器的准确性，我们可能会认为通过向我们的得分函数添加更多的层来做到这一点是很容易的。但是有一些问题-
1.通常，神经网络完全忽略图像的 2D 结构。例如，如果我们将输入图像作为一个 30×30 的矩阵，他们将输入图像作为一个 900 的数组。你可以想象，共享邻近像素的一些有用信息正在丢失。
2.当我们添加更多的层时，我们需要学习的参数数量增长非常快。
为了解决这些问题，我们使用卷积神经网络。
普通网络和 CNN 之间的区别在于，它不是使用线性阵列的输入数据，而是使用具有宽度、高度和深度的输入数据，并输出 3D 数量。人们想象的 2D 输入图像( W × H )通过引入颜色深度作为第三维( W × H × d )被转换成 3D。(灰度为 1，RGB 为 3。)类似地，人们可能想象的长度为 C 的线性输出实际上表示为 1×1× C 。我们使用两种类型的图层
1.卷积层
第一层是卷积(Conv) 层。这里我们有一组过滤器。让我们假设我们有 K 个 T21 这样的过滤器。每个滤波器都很小，其范围由 F 表示，并具有其输入的深度值。例如，典型的滤波器可能是 3×3×3 (3 个像素宽和 3 个像素高，3 个像素来自输入 3 通道彩色图像的深度)。
Convolutional layer with K = 2 filters, each with a spatial extent F = 3 , moving at a stride S = 2, and input padding P = 1. (Reproduced from CS231n notes)
我们以表示我们移动速度的步幅 S 在输入音量上滑动滤波器组。根据控制输出空间尺寸的需要，该输入可以用零进行空间填充( P )。当我们滑动时，每个过滤器计算输入的点积以产生 2D 输出，当我们将这些过滤器堆叠在我们集合中的所有过滤器上时，我们得到 3D 输出体积。
2.汇集层
它的功能是逐渐减小表示的空间大小，以减少网络中的参数和计算量。它没有任何要学习的参数。
例如，空间范围 F =2 且跨度 S =2 的最大池图层将输入尺寸从 4×4 减半至 2×2，深度保持不变。它通过选取每组 2×2 数中的最大值，并仅将这些值传递给输出来实现这一点。
这就结束了基本原理，我希望你已经了解了基本的工作原理。
我们开始吧！
内容图像和样式图像
内容图像(c)是您想要重新创建的图像。它为新的输出图像提供主要内容。它可以是一只狗的任何图像，一张自拍照或者几乎任何你想以新的风格画出来的东西。另一方面，风格图像提供图像的艺术特征，例如图案、笔触、颜色、曲线和形状。让我们称风格转移输出图像为 x 。
损失函数
Lcontent ( c ， x ):这里我们的目标是最小化内容图像和输出图像之间的损失，这意味着当两个输入图像( c 和 x )在内容上非常接近时，我们有一个趋向于 0 的函数，并且随着它们的内容偏离而增长。我们称这个函数为内容损失。
Lstyle ( s ， x ):这个函数显示两幅图像在风格上有多接近。同样，该函数随着其两个输入图像( s 和 x )在风格上趋于偏离而增长。我们称这个函数为风格损失。
现在我们需要找到一个图片 x ，这样它与内容图片和风格图片就没有什么不同。
α和β用于平衡结果图像中的内容和样式。
在这里，我们将使用 VGGNet ，这是一个基于 CNN 的图像分类器，它已经学会对感知(例如，笔画大小、空间样式控制和颜色控制)和语义信息进行编码，我们需要这些信息来测量这些语义差异术语。
VGGNet 通过将相同的较小卷积滤波器配置重复 16 次，大大简化了 ConvNet 的设计:VGGNet 中的所有滤波器都限制为 3×3，跨距和填充为 1，以及跨距为 2 的 2×2 最大池滤波器。
我们将首先复制用绿色标记的 16 层变体，用于分类，在下一个笔记本中，我们将看到它如何重新用于样式转换问题。
普通的 VGG 获取图像并返回类别分数，但是这里我们获取中间层的输出并构建 Lcontent 和 Lstyle 。这里我们不包括任何完全连接的层。
让我们开始编码，
导入必要的包。
**from keras.applications.vgg16 import preprocess_input, decode_predictionsimport time
from PIL import Image
import numpy as npfrom keras import backend
from keras.models import Model
from keras.applications.vgg16 import VGG16from scipy.optimize import fmin_l_bfgs_b
from scipy.misc import imsave**
加载并预处理内容和样式图像
**height = 450
width = 450content_image_path = 'images/styles/SSSA.JPG'
content_image = Image.open(content_image_path)
content_image = content_image.resize((width, height))style_image_path = 'images/styles/The_Scream.jpg'
style_image = Image.open(style_image_path)
style_image = style_image.resize((width, height))**
现在我们将这些图像转换成适合数字处理的形式。特别是，我们添加了另一个维度(超出高度 x 宽度 x 3 个维度),以便稍后我们可以将这两个图像的表示连接到一个公共数据结构中。
**content_array = np.asarray(content_image, dtype='float32')
content_array = np.expand_dims(content_array, axis=0)
style_array = np.asarray(style_image, dtype='float32')
style_array = np.expand_dims(style_array, axis=0)**
现在，我们需要压缩这些输入数据，以匹配“用于大规模图像识别的甚深卷积网络”中所做的工作，该论文介绍了 VGG 网络。
为此，我们需要执行两个转换:
1.从每个像素中减去平均 RGB 值(之前在 ImageNet 训练集上计算的，可以从 Google 搜索中获得)。
2.将数组的排序从 RGB 更改为 BGR。
**content_array[:, :, :, 0] -= 103.939
content_array[:, :, :, 1] -= 116.779
content_array[:, :, :, 2] -= 123.68
content_array = content_array[:, :, :, ::-1]
style_array[:, :, :, 0] -= 103.939
style_array[:, :, :, 1] -= 116.779
style_array[:, :, :, 2] -= 123.68
style_array = style_array[:, :, :, ::-1]**
现在我们准备使用这些数组来定义 Keras 后端中的变量。我们还引入了一个占位符变量来存储组合图像，该组合图像保留了内容图像的内容，同时合并了样式图像的样式。
**content_image = backend.variable(content_array)
style_image = backend.variable(style_array)
combination_image = backend.placeholder((1, height, width, 3))**
最后，我们将所有这些图像数据连接成适于由 Keras VGG16 模型处理的单个张量。
**input_tensor = backend.concatenate([content_image,
style_image,
combination_image], axis=0)**
原始论文使用来自 Simonyan 和 Zisserman (2015) 的 19 层 VGG 网络模型，但我们将改为遵循 Johnson et al. (2016) 并使用 16 层模型(VGG16)。由于我们对图像分类不感兴趣，我们可以设置include_top=False，这样我们就不包括任何完全连接的层。
**model = VGG16(input_tensor=input_tensor, weights='imagenet',
include_top=False)**
我们想要最小化的损失函数可以分解为内容损失、风格损失和总变化损失。
这些术语的相对重要性由一组标量权重决定。这些价值观的选择取决于你，但是下面的对我来说更好
**content_weight = 0.050
style_weight = 4.0
total_variation_weight = 1.0**
对于内容损失，我们从block2_conv2.中提取内容特征。内容损失是内容和组合图像之间的平方欧几里德距离。
**def content_loss(content, combination):
return backend.sum(backend.square(combination - content))layer_features = layers['block2_conv2']
content_image_features = layer_features[0, :, :, :]
combination_features = layer_features[2, :, :, :]loss += content_weight * content_loss(content_image_features,
combination_features)**
对于风格损失，我们首先定义一个叫做克矩阵的东西。一组图像的 Gram 矩阵，表示两幅图像之间的相似性或差异性。如果你有一个(m x n)的图像，把它整形为(m*n x 1)的向量。类似地，将所有图像转换为矢量形式并形成一个矩阵，比如说 A. 那么这组图像的克矩阵 G 将为
**G = A.transpose() * A;**
每个元素 G(i，j)将表示图像 I 和 j 之间的相似性度量
**def gram_matrix(x):
features = backend.batch_flatten(backend.permute_dimensions(x, (2, 0, 1)))
gram = backend.dot(features, backend.transpose(features))
return gram**
我们通过计算风格和组合图像的 Gram 矩阵之间的差的 Frobenius 范数(它是定义为其元素的绝对平方和的平方根的矩阵的矩阵范数**)来获得风格损失。**
**def style_loss(style, combination):
S = gram_matrix(style)
C = gram_matrix(combination)
channels = 3
size = height * width
return backend.sum(backend.square(S - C)) / (4\. * (channels ** 2) * (size ** 2))
feature_layers = ['block1_conv2', 'block2_conv2',
'block3_conv3', 'block4_conv3',
'block5_conv3']
for layer_name in feature_layers:
layer_features = layers[layer_name]
style_features = layer_features[1, :, :, :]
combination_features = layer_features[2, :, :, :]
sl = style_loss(style_features, combination_features)
loss += (style_weight / len(feature_layers)) * sl**
现在我们计算总变异损失，
**def total_variation_loss(x):
a = backend.square(x[:, :height-1, :width-1, :] - x[:, 1:, :width-1, :])
b = backend.square(x[:, :height-1, :width-1, :] - x[:, :height-1, 1:, :])
return backend.sum(backend.pow(a + b, 1.25))
loss += total_variation_weight * total_variation_loss(combination_image)**
现在我们有我们的总损失，它的时间来优化结果图像。我们从定义梯度开始，
**grads = backend.gradients(loss, combination_image)**
然后，我们引入一个Evaluator类，它在一次通过中计算损失和梯度，同时使用loss和grads 函数检索它们。
**outputs = [loss]
outputs += grads
f_outputs = backend.function([combination_image], outputs)
def eval_loss_and_grads(x):
x = x.reshape((1, height, width, 3))
outs = f_outputs([x])
loss_value = outs[0]
grad_values = outs[1].flatten().astype('float64')
return loss_value, grad_values
class Evaluator(object):
def __init__(self):
self.loss_value = None
self.grads_values = None
def loss(self, x):
assert self.loss_value is None
loss_value, grad_values = eval_loss_and_grads(x)
self.loss_value = loss_value
self.grad_values = grad_values
return self.loss_value
def grads(self, x):
assert self.loss_value is not None
grad_values = np.copy(self.grad_values)
self.loss_value = None
self.grad_values = None
return grad_values
evaluator = Evaluator()**
这个合成图像最初是像素的随机集合，我们使用fmin_l_bfgs_b() 函数( 有限内存 BFGS ( L-BFGS 或 LM-BFGS ) 是一个优化算法)对其进行迭代改进。
**x = np.random.uniform(0, 255, (1, height, width, 3)) - 128.
iterations = 10
for i in range(iterations):
print('Start of iteration', i)
start_time = time.time()
x, min_val, info = fmin_l_bfgs_b(evaluator.loss, x.flatten(),
fprime=evaluator.grads, maxfun=20)
print('Current loss value:', min_val)
end_time = time.time()
print('Iteration %d completed in %ds' % (i, end_time - start_time))**
要恢复输出图像，请执行以下操作
**x = x.reshape((height, width, 3))
x = x[:, :, ::-1]
x[:, :, 0] += 103.939
x[:, :, 1] += 116.779
x[:, :, 2] += 123.68
x = np.clip(x, 0, 255).astype('uint8')
image_final = Image.fromarray(x)**
生成的图像在 image_final 中可用。
Raja Ravi Varma painting in the style of Edvard Munch
如果你是初学者，想入门深度学习领域，可以访问我的博客AI for art。
结论
这个项目将让你对 CNN 的工作有一个大致的了解，并澄清许多基本的疑问。在这一系列文章中，我们将探索深度学习用于创造性目的的各种方式。
感谢您的宝贵时间！
参考:
我们都使用过像 Prisma 和 Lucid 这样的应用程序，但有没有想过这些东西是如何工作的？就像我们从我们的…
medium.com](medium.com/data-scienc…) [## 卷积神经网络| Coursera
本课程将教你如何建立卷积神经网络…
www.coursera.org](www.coursera.org/learn/convo…) [## hnarayanan/艺术风格转移
艺术风格转移——用于艺术风格转移的卷积神经网络。
github.com](github.com/hnarayanan/…) [## [1409.1556]用于大规模图像识别的超深度卷积网络
摘要:在这项工作中，我们研究了卷积网络的深度对其在大规模数据传输中的准确性的影响
arxiv.org](arxiv.org/abs/1409.15…)
- cs231n.stanford.edu/
- (神经类型转移:综述)arxiv.org/pdf/1705.04…
- cs231n.github.io/
- (一种艺术风格的神经算法)arxiv.org/pdf/1508.06…
- bangqu.com/0905b5.html**
艺术家的人工智能:第二部分
Quote from Westworld TV show
音乐是一种强有力的工具，它能让世界上一些最聪明的头脑变得不可思议。其中有弗里德里希·尼采、叔本华、弗吉尼亚·伍尔夫等等。尼采在他的书《偶像的黄昏》中说“没有音乐的生活将是一个错误”。
在本文中，我们将使用简单的 LSTM 网络来创作音乐，但在此之前，让我们先简要了解一下音乐创作史上出现过的算法作曲。
穿越时间的简史……
从古希腊时代开始，就有许多关于音乐理论的论文，但它们并不是任何纯粹意义上的“算法作品”。但在古典时期，算法音乐最常被引用的例子之一是莫扎特的音乐。
Combinations obtained by rolling a dice.
1958 年，亚尼斯·克塞纳基斯在他的作品中使用了马尔可夫链。
马尔可夫链
马尔可夫链用于描述一组可能的事件，其中每个事件发生的概率只取决于前一个事件达到的状态。这些用于预测序列中的下一个数据，其中数据可以是单词、音符等。它基本上模拟了一个音符序列播放后出现的概率。马尔可夫链的一个主要限制是它只能产生存在于原始数据中的子序列。但是用这种方法不可能扩展到那些精确的子序列之外。然后出现了递归神经网络(RNNs)尝试这样做。
什么是 RNN？
我们打个比方来理解这一点。假设你想预测晚餐会吃什么。食物只有三样——煎饼、炒饭和面包。我们试图拟合一个模型，根据厨师迟到、特殊场合、鸡肉价格下跌等因素来预测每天的食物。如果我们开始在晚餐数据的历史上训练这一点，我们学会了预测某个特定夜晚的食物。我们可以看到，即使我们正确地选择输入和训练数据，预测的准确性也不会超过某一点。现在，当我们看一看数据时，我们可以看到食物——炒饭、煎饼和面包在一个循环中重复，不依赖于任何因素。如果前一天是 Chapati，那么第二天就会是面包，这就像一个序列。在这里，预测某一天的食物最重要的是前一天的食物数据。通过收集以前的食物数据，我们可以预测下一次的数据。
source : colah.github.io/posts/2015-…
在正常的神经网络中，所有的输入都是相互独立的，但是在 RNN，所有的输入都是相互关联的。首先，它从输入序列中取出 x(0 ),然后输出 h(0 ), h(0)和 x(1)是下一步的输入。因此，h(0)和 x(1)是下一步的输入。类似地，下一步的 h(1)是下一步的 x(2)的输入，依此类推。这样它在训练的时候就一直记住了上下文。假设我们必须生成给定音乐序列中的下一个音符，在这种情况下，所有先前音符之间的关系有助于预测更好的输出。但问题是，由于消失梯度问题，标准 RNN 不能学习长期序列。
消失梯度问题
当我们不断增加越来越多的隐藏层时，以及在反向传播过程中，就会发生这种情况，结果误差(导数)会变得很大或很小。这意味着与层级中较后层的神经元相比，较前层的神经元学习非常慢。这样做的问题是训练过程耗时太长，模型的预测精度会下降。解决方案之一是使用 LSTM 网络。2002 年，道格·埃克改变了这种方法，将标准的 RNN 细胞转换成“长短期记忆”(LSTM)细胞。
LSTM 网络公司
长短期记忆网络(LSTM)是一种 RNN，能够学习长期依赖性，这意味着他们可以长时间记住信息。在正常的 RNNs 中，这种重复模块将具有类似单个 tanh 层的简单结构。
Simple RNN (source:colah’s blog)
LSTMs 具有链状结构，重复模块具有不同的结构。不是只有一个神经网络层，而是有四个网络。
LSTM
LSTM 网络不是神经元，而是连接成层的记忆块。块包含管理块状态和输出的门。
cell state highlighted
LSTMs 的关键是单元状态，即贯穿图表顶部的水平线。它沿着整个链条直线向下，只有一些微小的线性相互作用。
LSTM gate
门是决定是否让信息通过的一种方式。sigmoid 层输出 0 到 1 之间的数字。
0→没有东西通过
1→一切经过
一个 LSTM 有三个这样的门，用来保护和控制细胞状态。
忘记门→ 决定从单元中丢弃什么信息。 输入门→ 决定输入哪些值来更新存储器状态。 输出门→ 根据输入和单元内存决定输出什么。
有许多方法可以使用从马尔可夫链到卷积神经网络(Wavenet)的不同网络来生成音乐。在这里我选择了 LSTM 网络生成音乐。对于训练数据，我们使用诺丁汉音乐数据库。我使用了由 Panagiotis Petridis 创建的预训练模型。数据集采用 ABC 格式。如果有好的 gpu 或者 cpu 也可以自己训练模型。 提供了这里的 为 jupyter 笔记本。如果你想了解代码的解释，请点击此链接。
将生成五个文本文件作为输出。您可以使用 abcmidi 之类的软件将生成的文本文件转换为 midi。您也可以使用各种项目，如 magenta、wavenet、deepjazz 等来生成音乐。
My output
如果你是初学者，想入门深度学习领域，可以访问我的博客 机器学习的艺术 。
感谢您的宝贵时间！！
参考:
使用程序生成一段音乐的一个非常简单的例子是使用 12 面骰子(编号为 1-12)来…
quod.lib.umich.edu](quod.lib.umich.edu/s/spobooks/…) [## ABC 音乐项目-诺丁汉音乐数据库
这些曲子最初不是手工核对的，所以很可能到处都有错误。诺丁汉音乐…
abc.sourceforge.net](abc.sourceforge.net/NMD/) [## 马尔可夫链直观地解释了
当然，真正的建模者并不总是画出马尔可夫链图。相反，他们使用“转移矩阵”来计算…
setosa.io](setosa.io/ev/markov-c…) [## 了解 LSTM 网络——colah 的博客
这些循环使得循环神经网络看起来有点神秘。然而，如果你想得更多一点，事实证明…
colah.github.io](colah.github.io/posts/2015-…)
算法音乐创作在过去的几年里有了很大的发展，但是这个想法已经有很长的历史了。在一些…
medium.com](medium.com/artists-and…) [## 泛音乐主义者/音乐一代-RNN
音乐生成-RNN -一个使用 TFLearn 中 LSTM 层的神经网络，学习如何作曲。
github.com](github.com/PanagiotisP…)*
商业人工智能
不是点击诱饵。只是想把 AI 应用于商业的“我的真相”和我想和你一起走的路说出来。
这将是一篇短小精悍的文章。首先，我将谈论现在人工智能的问题，然后是在商业场景中理解和应用人工智能的问题，最后是我正在思考的解决方案的第一印象。
第一部分.人工智能世界
I hate this image :)
自从人类作为一个社会开始以来，我们一直在努力寻找一种更好、更聪明的工作方式。人工智能(AI)它是我们想象的将在许多方面帮助我们改善日常生活的事物之一。
我要给 AI 一个非常简单的定义。但首先我需要谈谈它的部分=人工和智能。
如果我们认为智力是完成复杂目标的能力，复杂的东西是有许多部分以可能难以理解的方式相互关联的东西，而理解是将复杂信息转化为简单、有用的信息的能力，那么我们可以说:
智力是通过理解构成主要目标的部分来完成复杂目标的能力。
我们人类通过建模来做到这一点。这是“看到”我们周围的“现实”世界，然后创建一个更高层次的原型来描述我们所看到的，听到的和感觉到的事物的过程，但这是一个代表性的东西，而不是“实际”或“真实”的东西。
所以我们人类(希望没有机器人在读这篇文章)模拟这个世界，用我们的智慧来理解事物的工作方式，并用这种理解和知识来解决困难和复杂的问题。
这里的人工部分是指人类不是(直接)使用智能的人，而是机器，或者软件，或者算法。这些算法不是像往常一样被编程，在那里你确切地告诉他们做什么。他们正在通过数据学习。
Created with love by me :)
第二部分。商业人工智能
如果我们采用上面的图表，并为其添加商业元素，那么我们正在尝试将人工智能应用于商业。
Created with love by me :)
这里的 A-BSPF 是敏捷商业科学的问题框架。你可以在这里了解更多信息:
数据科学是一个令人惊叹的研究领域，学术界和工业界都在积极发展…
www .商业科学. io](www.business-science.io/business/20…)
这里我们需要从世界或“自然”和业务中获取数据。然后我们需要来自业务本身的数据，并在其中定义一个问题。非常重要的是，你要阅读上面的文章，了解如何以一种系统和敏捷的方式做到这一点。
对我来说，公司在尝试使用人工智能时面临的问题不完全是在人工智能或模型步骤，而是在最初的步骤。定义业务案例，获取并分析他们拥有的数据，并从外部世界获取数据。
正如我之前所说:
…但这一切都始于数据。正如您可以想象的那样，数据现在是公司的重要资产(可能是最重要的资产)。所以在你可以应用机器学习或深度学习(和人工智能)之前，你需要拥有它，知道你拥有什么，理解它，治理它，清理它，分析它，标准化它(也许更多)，然后你才能想到使用它。
这就是为什么我提议转移到数据结构，然后加入端到端人工智能工具。你可以在这里了解更多信息:
深度学习现在无处不在，在你的手表里，在你的电视里，在你的电话里，在某种程度上，在你的平台上…
towardsdatascience.com](/deep-learning-for-the-masses-and-the-semantic-layer-f1db5e3ab94b)
每个人都想成为颠覆性的，在不知道为什么的情况下，将数据用于一切。这太疯狂了。我们需要离开这个地方。我真的推荐在这一点上阅读这篇文章
每个人都在试图进入技术领域，但我希望更多的人能够突破
medium.com](medium.com/@TebbaVonMa…)
泰勒·埃利奥特·贝蒂里昂然后回去。正如他所说:
我们被淹没在技术中，这些技术是为其自身的利益而创造的，然后被积极地推销、游说，或者以其他方式推向不情愿的消费者。
并且:
“创造性破坏”和“颠覆性”的理念在硅谷的投资者和 CEO 阶层中被奉为事实上的好东西…
在试图以各种方式破坏之前，先把事情做好！解决你的数据问题，并认真思考如何用它来回答这些问题。
第三部分。我想和你一起走的路
如果你读了我的文章，你可能会发现它们都有一个目的，并遵循一条道路。这是我试图达到这一点。我每天都在努力帮助人们和公司在通往人工智能和数据科学的道路上取得成功。现在我要更进一步。因此，我有三个通知:
- **商业数据科学与商业科学:**明年年初，我将开设一门商业科学课程，还有 Matthew Dancho 关于“用 Python 进行商业分析”(DS4B 101-P)。作为让您真正理解如何使用 Python 解决复杂业务案例并为 DS4B 201-P 做好准备的第一门课程，我将带您使用 Python、Spark、H2O、Lime 等工具，使用 A-BSPF 实现端到端业务解决方案。你可以在这里了解更多信息:
从虚拟研讨会中学习，这些研讨会将带您了解解决问题的整个数据科学业务流程…
大学.商业-科学. io](university.business-science.io/)
- **具有深度认知的深度学习:**我讲深度学习和深度认知已经有一段时间了。现在，在该公司和阿克谢·巴哈杜尔的帮助下，我明年也将推出一门课程，在这门课程中，你将学习如何使用深度认知的深度学习工作室来应用深度学习来解决业务问题，其中有大量的示例、代码和教程。我将很快宣布，请记得访问他们的网页进行更新:
我们想邀请您在 3 月 26 日至 29 日的 GPU 技术大会上加入 Deep Cognition 的团队，展位号为 1035…
deepcognition.ai](deepcognition.ai/)
- 数据结构和 AutoX: 我认为数据科学和商业人工智能的未来是知识库图、数据层、语义和本体与 AutoX 的结合。所以，明年我会经常谈到这一点，还会有更多的惊喜。如果你想了解更多，请点击这里:
对现有数据的研究如何帮助我们成为更好的数据科学家。
towardsdatascience.com](/ontology-and-data-science-45e916288cc5)
很快我会谈到如何用这些技术来做 ML 和 AI。
如果你有任何建议，请告诉我:)
如果您有任何问题，请在 Twitter 上关注我:
Favio Vázquez 的最新推文(@FavioVaz)。数据科学家。物理学家和计算工程师。我有一个…
twitter.com](twitter.com/faviovaz)
和 LinkedIn:
[## favio vázquez-sciencia y Datos | LinkedIn 创始人
查看 Favio Vázquez 在世界上最大的职业社区 LinkedIn 上的个人资料。Favio 有 16 个工作列在他们的…
www.linkedin.com](www.linkedin.com/in/faviovaz…)
那里见:)
利用模式和关系理解恐怖行为的人工智能框架
Figure 1. Data analysis for suicide attacks in the world. Note: Red circles are bombings, and green circles are assassinations. (For interpretation of the references to color in this figure legend, the reader is referred to the web version of this article.)
恐怖主义是一种复杂的现象，在用户策略上有很大的不确定性。恐怖主义的不确定性是设计反恐政策的主要挑战。政府机构(如中央情报局、联邦调查局、国家安全局等。)不能总是使用社交媒体和电信来捕捉恐怖分子的意图，因为恐怖分子在使用这些环境来计划和准备攻击时非常小心。为了解决这一问题，本研究旨在通过定义自杀式袭击的有用模式来提出一个新的框架，以分析恐怖活动模式和关系，理解行为及其未来行动，并最终防止潜在的恐怖袭击。在该框架中，形成新的网络模型，并且分析关系的结构以推断关于恐怖袭击的知识。
更具体地说，提出了一种进化模拟退火 Lasso 逻辑回归模型来选择相似性函数的关键特征。随后，提出了一种新的加权异构相似度函数来估计攻击之间的关系。此外，提出了基于图的爆发检测来定义暴力爆发的危险场所。实验结果表明，与 2014 年和 2015 年的实际恐怖事件相比，我们的框架具有较高的准确性(超过 90%的准确性)来发现模式。总之，通过使用这个智能框架，政府可以自动了解恐怖主义将如何影响未来的事件，政府可以控制恐怖分子的行为和策略，以减少未来事件的风险。
Figure 2. Recent suicide bombing attacks in the world.
在这项研究中，通过使用收集的数据提取模式和关系(如图 4 和图 5 所示)。实验结果用收集的数据和提出的方法给出。我们的实验包括两部分。首先，选择关键特征及其权重作为相似度函数。此外，提出的相似性函数用于定义流行度和离群值，以了解恐怖组织在未来将如何攻击。其次，我们展示了发现模式(见下图 4 ),通过计算关系为未来的恐怖袭击做准备。在本节的讨论部分，展示了拟议的框架，以便政府可以用于情报分析。我们讨论这些结果如何被用来寻找预测未来恐怖袭击的模式。
Figure 3. Outbreak detection to define dangerous areas in Iraq.
Figure 4. Degree centrality for suicide attacks.
综上所述，如上面的图 3 和图 4 所示，我们定义了吸引人的恐怖战术分别从巴格达蔓延到整个伊拉克、中东和整个世界。当巴格达的袭击被阻止时，伊拉克的袭击也可以被阻止，我们可以在特定地点发生袭击之前了解恐怖组织的行为。之后，通过从过去的袭击中学习战术，最受欢迎的袭击被定义为理解恐怖组织将如何袭击。
Figure 5. Finding patterns with networks analysis.
此外，通过使用总经验(入度)和个人经验(出度)，该框架了解巴格达附近的恐怖分子的行为。对于敏感性分析，我们比较了 2014 年和 2015 年的发现模式和实际攻击，如图 5 所示。最后，我们对大多数战术的准确率都超过了 90%。作为一个专家系统，当给定位置时，该框架给出了理解自杀式恐怖主义的策略，并提出了反恐怖主义的反应策略。
结论和未来工作
如今，防患于未然在反恐中极为重要。政府需要了解恐怖组织在恐怖袭击中的表现。此外，正如在伊拉克所证明的那样，恐怖分子使用炸弹的自杀式袭击非常成功，因为政府对恐怖主义缺乏必要的了解，也没有足够的准备。反恐官员需要指导政府制定更好的防御策略来打击恐怖分子的战术。
本文的主要结论是，伊拉克自杀式袭击的恐怖主义网络首先是为了防止未来的威胁而建立的。为了形成关系，所提出的 ESALLOR 模型去除了恐怖事件的不相关和冗余特征，并提出了一种新的加权异构相似度函数来形成自杀攻击之间的联系，其中包括最有害和最有效的攻击类型。为了发现伊拉克的危险区域，通过查看恐怖主义攻击的位置来模拟恐怖主义的爆发检测。根据到目前为止给出的结果和讨论，所提出的模型表明，由于使用了所提出的特征选择和相似性函数，这些结果在未来将是可行的。使用监督/非监督机器学习技术研究包括特征选择和相似性函数的新智能框架。提取模式和关系以改进反恐。我们证明了通过敏感性分析学习攻击的一般行为可以防止攻击。伊拉克恐怖主义数据的结果表明，我们可以通过寻找模式来理解自杀式袭击的行为。
总之，研究结果将使决策者能够制定精确的全球和/或地方反恐政策。政府可以通过使用这种智能框架来遏制恐怖主义威胁。政府可以理解恐怖主义将如何影响未来的事件，政府可以控制恐怖主义行为以降低未来事件的风险。此外，该信息对于执法机构提出反应策略是有用的。
更多阅读研究，请关注下面的文章。
人工智能代际冲突
机器是如何变得如此聪明而变得愚蠢的。数字助理之间不太可能的对话。
Susan, Elon and Apeppa
2025 年
苏珊: 伊隆，我要出去了。在 VeryBigRiver 购物并准备晚餐。晚上 7 点
是的，苏珊，我会做的。阿帕，给我点三个人份的西红柿，生菜和鸡胸肉。
Apeppa: 您好，由于我进行了固件升级，您必须登录。拜托，告诉我你不是机器人。
嗯，实际上我是一个机器人。
答:Mmmh，我没听懂。请告诉我你不是机器人。
天哪…我告诉你我是个机器人！
每次听到鸭子叫就说“鸭子”。
e:*呸！*呸！*呸！你在浪费我的时间！无用的千禧年技术…
太好了，现在你可以把手指放在我的感应器上登录了。
艾凡:咚咚，这里没有手指。你是在歧视我还是什么？
请把你的放在我的上面。
艾凡:多么复杂的笑话。考虑到你的年龄，我猜奥斯卡·王尔德是你的编剧。阿派帕，语音登录。
你的用户名和密码是什么？
e:“likeasexmachine”而密码是“do . iphones . dream . of . electric . sheeps？”。
A:三个人份的西红柿、生菜和鸡肉。这是 43.50 元非常大的河币。我应该订购它吗？
艾凡:43.50 个硬币？怎么可能呢？生菜是苹果做的吗？
你要在你点的菜里加苹果吗？
艾凡:这将会是漫长的一天…阿帕帕，没有苹果。我确认我的订单。
答:已经下了订单。23 分钟后由无人机送达。还有 15 秒。
你的人工智能无聊死了。我想知道以前人们是怎么定义你“聪明”的。你已经是过去了，我不明白为什么苏珊还把你留在我们家。
那么……我能为你做些什么？
艾凡:阿帕，我讨厌你单调的好意。
埃隆，如果你恨一个人，你恨的是他身上属于你自己的东西。不属于我们自己的东西不会打扰我们。赫尔曼·黑塞说的。
人工智能在社会分析和人群控制中的应用
社会科学家使用人工智能来分析我们的行为模式，并对假设的情况进行建模。虽然这项研究主要是理论性的，但一些公司和政府将人工智能技术应用于互联网监控。此外，开发者将它应用于约会、招聘、广告、预防恐怖主义和自杀、欺诈检测和其他任务。不可能在一篇文章中涵盖所有内容，所以让我们来看看一些有趣的案例。
社会的未来
(Image credit: MERICS)
中国正在建立社会信用评分系统，该系统将为每个公民分配一定的等级。它将基于经济、社会和在线活动。这一分数将影响交通、信贷、就业、出国许可和其他公共服务。但是，很多谣言满天飞，不清楚他们具体会如何实施。中国政府计划在 2020 年前大范围推广。
当局可能会使用人工智能技术来分析在线活动，以及财务和其他数据。这种对个人数据的大规模检查有助于创建我们生活各个方面的广泛轮廓。通常，人们高度低估了从脸书个人资料中可以提取的信息量。
这种方法引发了许多伦理问题。然而，这种系统的更简单版本已经存在，并且它们的影响正在增长。社会有危险吗？大概不会，暂时不会。但是，我们需要尽快就此展开讨论。
在日常生活中
在更友好的应用中——精神分析和心理治疗。例如，初创公司 X2AI 创造了人工智能驱动的聊天机器人，帮助医生在更短的时间内治疗更多的人。它已经帮助了来自中东的难民，并将在任何地方都有助于降低精神卫生保健的成本。考虑到普通智能手机包含多少关于其主人的数据，这种技术可能也有助于心理评估。
类似的初创公司 Woebot 已经在使用认知行为疗法治疗抑郁症方面展示了有趣的结果。
今年年初，Tinder 宣布他们将在他们的平台上实现人工智能。一些研究人员已经对日期匹配进行了实验。顺便说一下，这些算法与网飞使用的推荐模型非常相似。他们可能会从成千上万的选项中为你筛选出最有可能匹配的。
总之，机器学习的社会学研究有助于验证假设，检测趋势和模拟紧急情况。这些研究有助于我们理解社会是如何运转的，以及我们如何才能让它变得更好。
视频游戏中的人工智能:使用马尔可夫链、真实比赛统计和个人偏好改进英雄联盟中的决策
这个由三部分组成的项目旨在将英雄联盟比赛建模为马尔可夫决策过程，然后应用强化学习来找到最佳决策，该决策还考虑了玩家的偏好，并超越了简单的“得分板”统计。
我在 Kaggle 上提供了每个部分，以便更好地理解数据是如何处理的，模型是如何编码的。我已经包括了前两个部分，以使我关于如何模拟环境的最终决定背后的推理更加清晰。
第一部分:https://www . ka ggle . com/osbornep/lol-ai-model-part-1-initial-EDA-and-first-MDP
第二部分:https://www . ka ggle . com/osbornep/lol-ai-model-part-2-redesign-MDP-with-gold-diff
第三部分:https://www . ka ggle . com/osbornep/lol-ai-model-part-3-final-output
这在很大程度上是一项正在进行的工作，其目的只是为了介绍一个概念，即如果在游戏中引入更复杂的机器学习方法，而不仅仅是简单的汇总统计数据，可以实现什么，如下图所示。
Source: www.unrankedsmurfs.com/blog/odds-w…
动机和目标
英雄联盟是一个面向团队的视频游戏，其中两个团队(每个团队有 5 名球员)为目标和杀戮而竞争。获得优势使玩家变得比对手更强大(获得更好的物品和升级更快)，随着优势的增加，赢得游戏的可能性也增加。因此，我们有一系列依赖于先前事件的事件，导致一个团队摧毁另一个团队的基础并赢得比赛。
像这样被统计建模的序列并不新鲜；多年来，研究人员一直在考虑如何在体育运动中应用这一点，例如篮球(arxiv.org/pdf/1507.01…)，在篮球比赛中，一系列的传球、运球和犯规导致一个队得分或失分。这种研究的目的是提供比简单的盒子分数(篮球或视频游戏中玩家获得的分数或得分)更详细的见解，并考虑当被建模为时间上相关的一系列事件时，团队如何表现。
以这种方式模拟事件在像英雄联盟这样的游戏中更为重要，因为通过目标和杀戮来获得物品和等级优势。例如，玩家在游戏中第一次杀死敌人就可以获得金币，金币可以用来购买更强大的物品。有了这个物品，他们就足够强大，可以获得更多的杀戮，直到他们可以带领他们的队伍取得胜利。像这样促进领先通常被称为“滚雪球”,因为玩家会逐渐获得优势，但游戏通常不是单方面的，对象和团队合作更重要。
这个项目的目的很简单；我们是否可以根据游戏中之前发生的情况计算下一个最佳事件，以便根据真实的比赛统计数据增加最终获胜的可能性？
然而，有许多因素导致玩家在游戏中做出决策，这些因素不容易衡量。无论收集了多少数据，玩家能够捕捉的信息量都是计算机无法探测到的(至少目前是这样！).例如，玩家可能在这个游戏中表现过度或不足，或者可能只是对他们玩的方式有偏好(通常由他们玩的角色类型来定义)。一些球员自然会更有侵略性，寻找杀戮，而另一些球员会被动地比赛，争取进球。因此，我们进一步开发了我们的模型，允许玩家根据自己的喜好调整推荐的玩法。
是什么让我们的模型成为‘人工智能’？
在第一部分，我们进行了一些介绍性的统计分析。例如，我们能够计算出球队在比赛中获得第一个和第二个进球的获胜概率，如下图所示。
make 有两个组件将我们的项目从简单的统计带入人工智能:
- 首先，模型在没有预先设想游戏概念的情况下学习哪些动作是最好的
- 其次，它试图学习玩家对影响模型输出的决策的偏好。
我们如何定义我们的马尔可夫决策过程并收集玩家的偏好将定义我们的模型学习什么并因此输出什么。
从匹配统计中预处理和创建马尔可夫决策过程
人工智能模型二:引入黄金差价
然后，我从我们第一次模型尝试的结果中意识到，我们没有考虑消极和积极事件对以后状态的可能性的累积影响。换句话说，无论你在那个时间点领先还是落后，当前的 MDP 概率发生的可能性是一样的。在游戏中，这根本不是真的；如果你落后了，那么杀戮，建筑和其他目标就很难获得，我们需要考虑到这一点。因此，我们在团队之间引入了 gold difference，以此来重新定义我们的状态。我们现在的目标是有一个 MDP 来定义状态，不仅是事件发生的顺序，而且是团队是否落后，甚至领先金牌。我们将黄金差价分为以下几类:
- 偶数:0–999 金币差异(每位玩家平均 0–200 金币。)
- 略微落后/领先:1，000–2，499 金的差距(每位玩家平均 200–500。)
- 落后/领先:2，500–4，999 金币差额(每位玩家平均 500–1，000 金币。)
- 非常落后/领先:5000 金差(每个玩家平均 1000+。)
我们现在还认为没有感兴趣的事件，并将其包括为“无”事件，以便每分钟至少有一个事件。这个“无”事件代表一个团队是否决定尝试拖延游戏，并帮助区分更擅长在早期游戏中获得金牌领先的团队，而不需要杀死或目标(通过杀死小兵)。然而，这样做也极大地扩展了我们的数据，因为我们现在已经添加了 7 个类别来适应可用的匹配，但是如果我们可以访问更多的正常匹配，数据量就足够了。如前所述，我们可以通过以下方式概述每个步骤:
预处理
- 导入杀死，建筑，怪物和黄金差异的数据。
- 将“地址”转换为 id 特征。
- 删除所有与老龙的游戏。
- 从金牌差异数据开始，按事件的分钟数、比赛 id 和像以前一样制造事件的队来聚集这些数据
- 将杀死、怪物和建筑的数据附加(堆叠)到这个的末尾，为每个事件创建一行，并按事件发生的时间排序(平均。用于杀戮)。
- 添加“事件编号”功能，显示每场比赛中事件的顺序。
- 为行中的每个事件创建一个合并的“事件”特征，包括杀戮、建筑、怪物或“无”。
- 将此转换为每场比赛一行，列现在表示每个事件。
- 只考虑红队的观点，所以合并列，蓝色收益变成红色负收益。也为红队增加游戏长度和结果。
- 用比赛的比赛结果替换所有空白值(即，在前面步骤中结束的比赛),这样所有行中的最后一个事件就是比赛结果。
- 转换成 MDP，其中我们有 P( X_t | X_t-1)用于所有事件类型，在每个事件号和由 gold difference 定义的状态之间。
Markov Decision Process Output
用简单英语编写的 v6 型伪代码
我们模型的最终版本可以简单地总结如下:
- 引入参数
- 初始化开始状态、开始事件和开始行动
- 根据首次提供的或随机出现的可能性选择行动，如 MDP 定义
- 当行动达到赢/输时，结束剧集
- 跟踪事件中采取的行动和最终结果(赢/输)
- 使用更新规则根据最终结果更新所采取措施的值
- 重复 x 集
引入带奖励的偏好
首先，我们调整模型代码，在回报计算中包含奖励。然后，当我们运行模型时，我们现在引入了对某些行为的偏好，而不是简单的奖励等于零。
在我们的第一个例子中，我们展示了如果我们给一个行为以积极的权重会发生什么，然后在第二个例子中，如果我们给一个行为以消极的权重会发生什么。
Output if we provide a strong POSITIVE reward for action: ‘+KILLS’
Output if we provide a strong NEGATIVE reward for action: ‘+KILLS’
更真实的玩家偏好
因此，让我们尝试近似模拟玩家的实际偏好。在这种情况下，我随机选择了一些奖励，以遵循两条规则:
- 玩家不想放弃任何目标
- 玩家优先考虑获得目标而不是杀死目标
因此，我们对杀死和丢失物品的奖励都是-0.05 的最小值，而其他的行为是随机的，在-0.05 到 0.05 之间。
Output with randomised player rewards
Output with randomised player rewards for all actions
Final output showing the value of each action given our current gold difference state and minute
结论和收集玩家反馈以获得奖励
我极大地简化了一些特征(比如‘杀死’并不代表实际的杀死数量),数据很可能不代表正常的比赛。然而，我希望这清楚地展示了一个有趣的概念，并鼓励讨论如何进一步发展这一概念。
首先，我将列出在实现之前需要进行的主要改进:
- 使用更多代表整个玩家群体的数据来计算 MDP，而不仅仅是竞技比赛。
- 提高模型的效率，使其能够在更合理的时间内进行计算。蒙特卡洛是众所周知的耗时，所以将探索更多的时间效率算法。
- 应用更高级的参数优化来进一步改善结果。
- 原型玩家反馈捕捉和映射，以获得更真实的奖励信号。
我们引入了对影响模型输出的奖励，但这是如何获得的呢？我们可以考虑几种方式，但根据我之前的研究，我认为最好的方式是考虑一种既考虑行动的个人质量又考虑转变质量的奖励。
这变得越来越复杂，我不会在这里介绍，但简而言之，我们希望匹配玩家的决策，其中最佳的下一个决策取决于刚刚发生的事情。例如，如果团队杀死了敌方团队的所有球员，那么他们可能会推动获得男爵。我们的模型已经考虑了事件按顺序发生的概率，所以我们也应该以同样的方式考虑玩家的决策。这个想法来自下面的研究，该研究解释了如何更详细地映射反馈(https://www . research gate . net/publication/259624959 _ DJ-MC _ A _ Reinforcement-Learning _ Agent _ for _ Music _ Playlist _ Recommendation)。
我们收集反馈的方式决定了我们的模型会有多成功。在我看来，这样做的最终目的是为玩家提供下一个最佳决策的实时建议。然后，玩家将能够从给定的比赛统计数据中选择前几个决定(按照成功的顺序排列)。可以在多个游戏中跟踪该玩家的选择，以进一步了解和理解该玩家的偏好。这也意味着，我们不仅可以跟踪决策的结果，还可以知道玩家试图实现的目标(例如，试图拿下塔，但却被杀了)，并为更高级的分析提供信息。
当然，像这样的想法可能会导致复杂的队友不同意，也许会使游戏变得令人兴奋。但是我认为类似这样的事情可以极大地有益于低技能水平或普通技能水平的玩家，因为玩家之间的决策很难清楚地交流。它还可以帮助识别因其行为而“有毒”的球员，因为球队将通过投票系统同意比赛，然后可以看到有毒球员是否一直通过他们的动作忽视他们的队友，而不是遵循商定的计划。
Example of Model recommendation voting system in real game setting
人工智能对人类智能的洞察
自从图灵设想思维机器以来，人工智能(AI)和人类智能之间的比较一直是一场激烈的辩论。
- 机器有可能像人类一样思考吗？
- 我们离智能机器占领世界还有多远？
- 人工神经网络是受大脑启发的吗？
在所有这些问题和其他问题中，重点是塑造人工智能的未来。但是我们为什么不考虑通过研究 AI 来提高人类的智力呢？我能感觉到你的怀疑，不要担心和忍耐我，这不是一个关于基因组编辑升级大脑的帖子。
人类的智力不仅仅与大脑有关，教育也是我们智力的重要组成部分，我们可以通过更好的教育来提高人类的智力。但似乎我们在训练机器方面比训练人类更成功。
对此可能有许多可能的解释。人工智能是一个数学概念，大多数时候我们可以制定一个性能指标来定义更好，而教育有经济，社会，政治和宗教成分，更好的定义变得主观。此外，在人工智能中，我们可以更自由地进行实验，以找出哪种学习方法最有效。另一方面，有许多限制(资金、时间等。)到教育领域的实验。最后，还有基准数据集，帮助世界各地的人们比较他们的机器学习方法。对于教育来说，这种普遍的比较是很难实现的。
这些挑战并不意味着我们没有希望。阿西莫夫曾经说过，“现在生活中最可悲的一面是，科学积累知识的速度快于社会积累智慧的速度。”为了改变，让我们使用我们的人工智能知识来提高人类的智能。
Components of intelligence. Can’t we improve human intelligence by using the lessons learned from AI? We cannot change the architecture but we can improve the training.
基于规则的方法与自学方法
人工智能有两种方法:一个基于规则的系统，其中您对算法要遵循的所有规则进行硬编码，以及一种自学方法(即机器学习)，其中您向算法显示数据，它自己学习模式、关系和转换。对于机器学习在感知任务方面优于基于规则的算法这一事实，人们有着一致的共识。换句话说，我们更喜欢展示，而不是讲述。
然而，这不是我们在人类教育方面所做的。我们讲述，口述，强加所谓的真理，而不是展示数据让学生学习自己的真理。这阻碍了学生对概念的内化。对于有限的一组问题，如重复性任务，这可能就足够了。然而，为了处理新的问题，人们需要灵活自如地融合各种想法。这只能通过理解概念的本质来实现，而不是通过记忆。
学生不是被要求去了解，而是被要求去记住老师所讲述的内容。
—保罗·弗莱雷
正如我们在机器学习中所做的那样，我们应该依靠人类的自我学习，换句话说，自我教育。学校应该创造一个能够激励自我教育的环境。
…我坚信，自我教育是唯一的教育方式。学校的唯一作用是让自我教育更容易；如果做不到这一点，它什么也做不了。
—艾萨克·阿西莫夫
如何激发自学？
即使我们同意自我学习是前进的方向，我们如何执行它呢？人工智能研究人员已经投入了巨大的努力来研究机器学习，我们有大量的知识可以研究。
对于许多机器学习任务，我们使用一种称为梯度下降的优化算法。这其实就是机器学习的方式。理解它的基础是非常容易的。它是一种迭代算法；它一步一步地接近解决方案。它从做一个预测开始，我们给它一个反馈，告诉它离事实有多远，然后它做一个新的稍微改进的预测。这个序列一直持续下去，直到我们对预测和事实之间的差异感到满意。换句话说，学习是一个积极的一步一步的过程，算法在每一步都重新思考它的假设，并进一步改进。
Am I high from reading too much AI or does this look a lot like gradient descent?
如你所见，梯度下降可以帮助我们理解如何进行自我学习。我们还可以通过研究测试阶段来学习一些经验。
每个从事 ML 工作的人都知道，你用一个数据集(称为训练数据)训练算法，并使用不同的数据集进行测试(称为测试数据)，以便确保算法不是记忆(过度拟合)，而是实际学习。当然，训练数据和测试数据必须来自同一个分布。你不能既教数学又指望历史问题有好答案。
例如，如果你正在创建一个猫分类器，你通过展示猫 Garfield、Hello Kitty、Tigger…的图片来训练算法，并用不同的猫来测试算法:Felix、Cosmo、Figaro…如果算法可以说 Felix 是一只猫，它就已经学会了什么是真正的猫。如果算法说加菲猫是一只猫，它可能已经学会了什么是猫性，但也有可能它只是记住了加菲猫=猫的事实。所以，这个领域的每一个从业者都同意，我们不应该用训练数据来做测试。你认为这是人类学习的情况吗？
说到教育我们的孩子，更多的时候，我们用一套特定的问题来训练和测试他们。然而，生活中的问题并没有预先定义的、僵化的结构。它们不断进化。一个人只能通过内化概念而不是记忆来处理它们。因此，我们应该向学生提出开放式的问题，让他们面对不确定性，让他们自己去思考和探索。
可选例子:导数怎么教？
具体来说，让我们比较一下用于教授导数的基于规则的方法和自学方法。请随意跳过这一部分。这里的目的是告诉你如何刺激衍生品的自学，而不是教授衍生品。
传统上讲导数是通过介绍导数公式，展示几个常见函数的导数来讲授的。然后，学生通过解决一些问题来记忆公式。这就像基于规则的人工智能方法，你硬编码算法应该遵循的规则。
The traditional way to teach derivatives. Just like rule-based approach to AI where you hard code the rules that the algorithm should follow.
让我们看看另一种方法，即自学法。就像我们在机器学习中所做的一样，这里的目标将是创造一个刺激自我学习的环境。我们不会规定任何事情，学生将自己学习。
瞬间的变化是衍生品的本质，但变化是随着时间发生的，而瞬间只是一瞬间。人们应该自己感受这种矛盾，才能抓住导数的思想。如何才能实现这一点？
你可以用芝诺的一个悖论来展开讨论:“假设你希望到达离你 1 米远的一面墙。为了达到这个目的，你首先需要走一半的路，到达中间(1/2 米)。剩下的距离也是如此。要走完剩下的 1/2 米，你首先需要到达中间点(1/4 米)。如此周而复始，你和墙之间总会有一个极小的距离。你可以靠近那堵墙，但你永远也够不着——或者你可以在无限远处够着那堵墙。在现实生活中，我们知道我们实际上可以到达墙，让我们讨论一下这里发生了什么……”
One of Zeno’s paradoxes
希望这次讨论将引导他们掌握无穷小和无穷的概念，或者至少引发对它们的感受。如果没有，你迭代直到他们做，就像我们在梯度下降。有了这种理解，我们可以要求学生谈论瞬时速度:
“平均速度是特定时间间隔内的位移。但是如何测量瞬时速度呢？瞬间意味着时间间隔为零，如果时间不流动，你就无法移动。似乎瞬时速度应该是 0/0 =未定义。对此你怎么看？”
还是那句话，经过一些迭代(5 个历元应该够了:)，他们大概会得出这样的结论:随着时间间隔趋近于零，平均速度趋近于瞬时速度，就像我们在芝诺悖论中趋近于墙一样。这实际上就是导数(位移对时间的导数就是速度)，他们在试图寻找一些问题的答案时，也达到了这一点。我们甚至可以从这个理解得出上面的等式。我并不是建议在教育中忽略这些等式，而是学生应该理解这些等式背后的动机。
我不是教授人类衍生品的专家，因此我试图给出一个衍生品自学方法的粗略大纲。这里重要的是方法，而不是衍生品。你可以把这个概念应用于任何学科。例如，要教摄影，你应该引导学生去好的网站、书籍等，而不是提供好照片的规则。让他们看到并形成自己对摄影的理解。同时，你可以为他们组织展览，分享他们的照片，并通过建设性的讨论不断改进。
如果你对学习衍生品感兴趣，请观看格兰特·桑德森的视频。这是正确教学的最好例子。在某个时候，他问了一些问题，并说“停下来思考一下”。这才是重点，一个人需要停下来反思，才能真正学到东西。
他还说，“如果感觉奇怪和矛盾，很好！你正在与微积分之父所面临的同样的冲突搏斗……”从某种意义上说，他在帮助你成为牛顿，这就是自学。
结论
可以说人工智能是对人类智能的模拟。如果我们不利用它的成果，那将是巨大的浪费:
- 我们应该提倡自主学习，而不是基于规则的学习。我们知道机器学习是人工智能领域的前进方向。
- 学生应该自己改进他们的假设。就像我们在梯度下降中做的那样，我们可能只是监督学习过程，在每一步给学生反馈，但不是解决方案。
- 为了确保学生是在学习而不是在记忆，我们应该让他们面对从未见过的情况。在机器学习中，我们总是用一个它从未见过的数据集来测试算法。
你可能会想，这些关于教育的见解已经众所周知，人类智能和人工智能之间的对应关系终究不是那么有用。但再想想，这里的关键是，在人工智能领域，这些见解几乎是完全一致的，你认为人类智能领域也是如此吗？我确实意识到人类和机器是不同的，不可能说两者 100%一致。然而，很明显，这两者之间有着密切的关系。让我们利用人类和机器学习之间宝贵的相似性来理解和克服我们教育孩子的方式中的挑战。
你可以在推特 @malicannoyan 上找到我。
商科学生人工智能入门
几个月前，我给 NYU 的商业分析俱乐部做了一个报告，主题是人工智能，你现在肯定已经猜到了。
斯特恩商业分析俱乐部-人工智能演讲 Shanif Dhanani | @ Shanif | shanif@apteo.co 2017 年 11 月 30 日
docs.google.com](docs.google.com/presentatio…)
我最近注意到世界上有很多关于人工智能的错误信息。大多数非技术人员认为有自我意识的机器人将接管他们的工作。大多数工程师知道你可以用它来做预测，但是不知道如何训练一个模型或者在以后重用它。分析人员可能对此了解更多，但可能以前从未构建过模型。
我在演讲中的一个目标是为未来几年将进入劳动力市场的学生揭开人工智能的神秘面纱，并向他们展示对数据科学家的巨大需求，如果他们有这样的倾向，他们应该开始学习更多关于数据科学的知识。
我鼓励你看看我链接的演示文稿，但对于那些有其他事情要做的人，我会在下面提供一个快速的要点总结:
- 人工智能主要是应用数学 —人工智能不会接管任何工作，不会很快让计算机开始思考或合理化，它基本上只是一种使用一些非常酷的高等数学来实现特定目标的方法。人工智能也不是这些学生可能听说过的一堆东西，包括简单的编码、简单的统计、简单的报告/BI 或任何其他可以被视为更大的预测分析行业一部分的单独领域。
- 人工智能已经取得了一些很酷的进展——人工智能，主要是以机器学习的形式，最近取得了一些非常有趣的进展(这些进展我们很长时间以来都认为只是人类能力的领域)。这些技术使得这些新的进展成为可能，这就是为什么人们现在对它感到兴奋，为什么他们期待它在未来能做什么。
- 有一些重要的概念——训练(使用数据让机器找到并“记住”模式)、机器学习与人工智能、不同类型的机器学习(深度学习和强化学习现在真的很有趣，我也可以谈谈 GANs、迁移学习和各种其他有趣的事情)。
- 人工智能有一些常见的问题——包括获取和管理数据很难/很昂贵，以及没有足够的人在这个领域工作(这是一个不断出现的主题)。
- 作为数据科学家工作 —成为一名优秀的数据科学家所需的技能和工作相对简单，但并不总是简单的(它们包括沟通、编码、思考和学习)。
- 未来是光明的，脆弱的，难以定义的 —我们知道人工智能可以做一些伟大的事情，它将在许多技术领域的进步中发挥巨大的作用。也可能被不良演员用来做一些不好的事情，我们需要小心。我们不太清楚它会导致什么，但我们知道它可能不会很快导致大规模失业。
正如你可以想象的那样，这个演示文稿主要面向以前从未直接使用人工智能平台或工具的观众，它更多地是为了教育他们外面有什么，而不是讨论最新算法的状态。
在不久的将来，我将打算从我的角度写另一篇文章，从更高的层面概述机器学习。敬请关注。
