本文整理自集智学园讲座知识图谱与认知智能——AI&Society 第十五期 撰稿人：陶如意，[wind](集智斑图 - 用知识连接探索者)
主讲人肖仰华，复旦大学计算机学院教授、博士生导师、青年973科学家、上海市互联网大数据工程中心执行副主任、上海市数据科学重点实验室知识图谱研究室主任、省部级重点实验室或工程中心专家委员、上市公司等规模企业高级技术顾问或首席科学家。主要研究兴趣包括：大数据管理与挖掘、图数据库、知识图谱等。领导团队构建国内首个知识库云服务平台知识工场平台。
认知智能——全新的智能化时代
过去10-20年间，很多自然科学在研究复杂性问题，如生命系统，社会系统等。这10多年的积累使得我们可以更有效的应对复杂性，使得我们可以用庞大的算力去应对数据和问题的复杂性。而正是因为我们在处理复杂性的问题上越来越自信，才让我们有能力去触碰、去思考一个更加具有挑战性的问题——智能问题。
复杂性问题和智能问题本质上是一体两面，而智能问题其实才是我们要解决的根本问题——我们将会创造出一个和我们一样聪明的物种——这个目标还很遥远，在眼下我们的任务是：逐步将我们的智能能力赋予机器，这其中最重要的智能就是认知能力。
近几年来人工智能技术一路高歌猛进，在很多方面表现出来的能力达到，甚至超过了人类：机器学习在图像识别的能力上的成功，基本上宣告机器在在信号识别处理和模式识别等，即感知能力达到了人类水平，这是感知智能；2016年AlphaGo在围棋比赛中的胜利，基本宣告了机器在常规的计算任务上超越了人类的最高水平，这是计算智能；而机器向星际争霸等游戏的挑战，则标志着人工智能开始向认知智能迈进。
(a).在图像识别的国际大赛ILSVRC(大型视觉辨识挑战竞赛)中，加拿大多伦多大学的研究团队基于深度卷积神经网络的模型[1]夺冠，把TOP5错误率降到15.3%，领先第二名超过十个百分比，震惊学术圈。(b).Google全资收购的DeepMind推出名为AlphaGo的围棋程序[2]，以4:1的总比分击败世界顶级职业围棋选手李世石,让全世界开始关注人工智能技术巨大的应用前景。(c). DeepMind联合游戏公司暴雪，宣布共同开发可以在“星际争霸2”中与人类玩家对抗的人工智能，并且发布了旨在加速即时战略游戏的人工智能应用的工具集[3]。
感知智能和计算智能是动物也拥有的智能，而认知智能是像人一样思考的能力，是人类特有的能力。
随着数据红利耗尽，以深度学习为代表的感知智能和计算智能即将达到天花板，而认知智能将是未来一段时期内AI发展的焦点，是进一步释放AI产能的关键
智能应用需要认知智能
大数据时代只是人工智能时代的序幕，当前各行各业都在进行智能化转型和升级，我们正在进入全新的智能化时代。而这种智能化转型升级对认知智能提出了大量需求，越来越多的行业应用要求机器实现认知智能。
（1）精准分析
大数据时代，我们已经可以实现全样分析，不再必须做数据采样。但是当前机器并不具备精准分析的能力。大数据的精准和精细分析需要认知智能的支撑：要想分析得准，必须要有背景知识，必须要让机器有一定的认知能力。
（2）智慧搜索
用关键词搜索匹配不到想要的结果，是大多数人体会到的一个技术痛点。因为机器不理解用户，不理解你的关键字。而要让机器精准理解用户的搜索意图，也需要让其具有基本的认知能力。
（3）智能推荐
从基于内容的推荐转向场景化推荐，任务化推荐等。场景化的推荐需要建立物品和物品，物品和服务直接的关联，而这些关联需要对现实世界的精准感知和理解。
（4）智能解释
解释已经成为了智能系统的基本要求。任何智能系统，尤其是跟人打交道的系统。比如司法智能，根据案情陈述可以给出精准的判决，但同时也必须给出相应的解释。再比如医疗智能，如果医疗机器人开了一个疗效很好的药方，但是无法给出解释，病人也无法安心。解释能力不实现，智能化还将遇到很多障碍。
（5）自然人机交互
我们现在的生活已经离不开与设备打交道，不过当前的交互还是需要我们在设备上操作进行信息的输入，得到结果的好坏依赖于我们搜索关键词是否精准。如果机器具备认知能力，那么人机交互方式就会更加自然，就像发生一场对话一样。一切皆可问答。
（5）深层关系推理
很多安全领域会有深层关系推理的诉求。例如金融安全领域，能否向某个请求者发放贷款，要看该请求者是否有一些潜在的风险因素，需要做出相应的推理。很多这种潜在关系是可以去深挖的，对于人们的决策非常有意义。
越来越多的智能化应用，需要我们机器具备认知能力。我们现在身处的时代，各行各业、各种应用已经对我们机器的认知智能提出了非常普遍的诉求。而让机器具备认知能力，就是让机器具备理解、解释、规划、推理、演绎、归纳等能力。
现在能不能做到把上述能力赋予机器，这是我们当前这个时代一个非常重要的使命。
在所有认知能力当中，在当下，理解和解释非常重要。早在艾伦图灵的时代，他就提出过这个问题 Can machine think like human：机器能否像人一样思考。
图灵当时把机器和思考这两个词关联在一起，是具有划时代意义的。从艾伦图灵时代开始，计算机科学家、人工智能科学家们就一直在探索，如何让机器具备思考能力，
知识工程（KE）的发展
知识工程从上个世纪70年代开始发展，曾经沦落过一段时间，但是到今天又开始再次崛起。
在上个世纪五六十年代。大家一谈到人工智能，想到的都是知识工程、知识表示，而不是像现在这样想到的是机器学习。
当时人们关注机器怎么能够表达人类的知识，能够利用知识进行推理，能够运用知识来解决问题。能否把专家知识赋予机器来解决问题。让机器能够操作符号化的知识实现智能，这是当时最关注的问题。这其实也是整个符号主义的基本的思想。
符号主义的基本观念是：认知就是计算。他们认为人类认知的本质是一个计算的过程，而在计算过程当中，知识的表示推理和应用是智能的一种非常重要的体现，涉及到的底层哲学系统，即物理符号系统。当时人类给“智能”下的定义，认为智能的本质就是符号的操作和运算。
Computer science as empirical inquiry: Symbols and search Newell, A, Simon (1975)
书籍：Dreyfus, Hubert (1979), What Computers Still Can't Do, New York: MIT Press.
其实对比过去，我们现在很大的一个问题是，还没有给“智能”下一个明确的定义，虽然把人工智能挂在嘴边，但是究竟什么是智能，很少有人去思考这个问题。
为了便于大家更好地理解这句话，在这里再举一个解题的例子。比如3×4等于多少，所有人都不假思索回答12而没有经过推理，因为你记住了乘法表，99乘法表其实就是知识。再比如123×987等于多少，如果不依赖计算器的话，就需要按小时候学的乘法运算规则去算，这就是推理。
所以什么叫“智能”，要么记住了知识，要么就去推理。
另外传统的六七十年代知识工程，作出了很多令人震撼的系统。知识工程最早解决的问题，是数学定理证明。另外还有在化学领域，探矿领域，计算机配置系统等领域的突破。
传统智能系统的成果
这些突破都给人们对人工智能领域的发展带来了很大的信心。
但是如果按照今天的视角再去看当年成功，其实这些应用还是很有局限性。他们的共同特点，都是在规则明确，边界清晰，应用封闭的场景取得了成功。
让机器证明一个数学定理，只要把原始的条件书好，按照给定的规则去推理就可以了，整个过程是清晰而明确的。但要让机器具备三岁小孩子智能水平，这可不是一件简单的事情。三岁小孩子所具备的智能，是能够具备很多应对复杂性、不确定性、以及开放性环境的能力。这个本质上的差别，就在于开放性。
无论是开放性的环境，还是开放性的问题，都是传统人工智能无法解决。传统的知识工程的成功，都是有严格的条件。比如说AlphaGo，为什么下棋成为了一个人工智能的突破点。因为围棋的规则是绝对明确的。当下的人工智能还没到能够应对复杂开放环境挑战的地步，开放性的环境要求很多常识性知识，有很多突发状况，机器目前是无法应对的。
传统KE的局限性
一直以来知识工程的基本目标，就是把专家的知识赋予机器，希望机器能够运用专家知识来解决问题。而传统知识工程之所以会有这么严格苛刻的条件，是因为传统知识工程非常依赖专家的干预，先要有领域专家，其次需要有知识工程师，把专家的知识变成计算机能够处理的形式，最终整个系统上线之后还需要有用户的反馈。
比如中医领域，我们国家一直想把中医知识传承下去，所以很多老中医都会配一个年轻的助手，这个助手是帮老中医把看病的过程全部电子化，把中医的思路，看病的想法，全部整理出来，助手的职责就是知识工程师。
所以传统的专家系统，非常依赖人的干预和参与。而如此依赖专家去获取和应用知识，就会存在很多问题和困难。
首先在知识获取层面的挑战。
1. 隐性知识、过程知识的形式化表达很困难。 很多专家知识其实都是隐性的。比如说老中医是怎么看病的，很多因素可能连他自己都说不清楚。再比如说蛋炒饭的知识，如果按照语义网络来表达的话，就是把米饭、鸡蛋、油、葱，画几条线关联起来，那么把这张图谱塞给机器，机器就会做蛋炒饭了吗？显然是不可能的。所以很多领域知识的形式化表达非常困难。
2. 不同专家之间知识可能存在不一致性。其实很多知识都没有一个标准答案。比如很多人认为医疗智能的标准化很好实现，因为对症开方，但实际上有标准治疗规范的疾病非常少，百分之七八十的疾病都不存在标准治疗规范，通常情况是看每个医生个人怎么治。更别说诸如经济，管理等争议性本身就比较强的领域了。
-
知识不可避免的会存在主观性，而这种主观性是必然的，这跟我们人类认知的模糊性有关。 比如说桌上放一个杯子，这个杯子再矮一点，矮到一定程度变成了扁平，那它到底叫杯子还是碗呢。可能有些人觉得他是碗，而有些人觉得它是杯子。所以人的认知存在模糊性，当概念细分到一定的程度的时候，专家也无法确定到底那个观点才是正确的。
-
知识表达很难完备。要想把人类的知识全部表达出来，是非常有雄心壮志的一件事情，人之所以伟大，就是在于我们任何一个普通人脑子里面的知识，可能是无边无界的。这个问题目前也还不知道怎么去回答， 我们现在想着办法穷举知识塞给机器，这个事情能不能做完，这是不是正确路径，其实都是要打问号。 因为人的知识很有可能是无法穷举完。
还有在知识应用层面的挑战。
-
很多应用都很容易超出预先设定的知识边界。比如很多人想做金融知识图谱，最终发现金融知识图谱并不是把金融知识梳理清楚就够了，很多非金融领域的知识都跟金融有关系。比如天气系统，刮龙卷风导致农作物产量就要下降，相应的农副产品的公司股票可能就要下跌。这种关联分析就是非常难以做到的事情，不仅金融领域如此，世界几乎万事万物都是普遍关联的。
-
很多异常情况难以处理。人的认知是能够容忍很多异常情况。例如大部分有翅膀的鸟都能飞，偶尔有一两个不能飞的也没问题。但是机器处理这种异常就比较困难。
-
还有知识更新的困难。如果仅仅靠专家来表达知识，获取知识。人会疲劳需要休息，人会生病，人与需要娱乐。人的这种特性会导致更新知识的过程会受到限制。
上述理由都对发展新型的自动化的知识获取的方法提出了迫切的要求。这就催生了新时期的知识工程，也就是知识图谱。
知识图谱——大规模语义网络
在认知智能实现的过程中，知识工程是一个非常重要的核心。而在大数据时代的背景下，知识图谱又引领了知识工程的再次崛起。
什么是知识图谱？简单来说，知识图谱就是一个大规模的语义网络。
一个语义网络就是实体、概念之间的各种各样语义关系。比如“c罗获得金球奖”这句话，，C罗是个实体，金球奖也是一个实体，它们之间的关系是，C罗曾经获得过这个奖。足球运动员、运动员都是概念，C罗是一个运动员，他们之间也有关系。
知识图谱富含实体、概念、属性、关系等信息，使得机器理解与解释成为可能
语义网络早在上个世纪六七十年代就提出，今天又重被提起，是因为在大数据的驱动下，现在的语义网络规模更加庞大。而当语义网络规模足够大之后，能够涌现出质变的特性，具备了很多小规模的语义网络所不具备的特点。大规模语义网络，又有了很多新的内涵。
知识图谱作为一种语义网络，是大数据时代知识表示的重要方式之一。
现在，知识图谱同时作为一种技术体系，是大数据时代知识工程的代表性进展。
人类在对人工智能的探索，经历了很多的困难，我们向人工智能这个山头发起了无数次的冲锋，前几次的结果都不够理想，而这一次，由于有了大数据、由于有了强大的算力，我们又有了新的机会。
知识图谱引领大数据时代知识工程
我们经历了互联网时代，后来是大数据时代，对知识工程的定义已经改变了。谷歌在2012年推出知识图谱的时候，使用的是“知识图谱”这一个全新的名词，而没有用语义网络。实际上就是在表达，这是一个区别于传统语义网络的全新技术
首先，不同于传统语义网络基于人工，由专家构建，现在的知识图谱是基于数据，由自动化方法构建的。
其次，知识图谱在当前互联网背景下的应用场景，和过去也非常不一样。
互联网应用的特点，第一，它是一个典型的大规模开放性的应用。大规模开放应用，意味着任何平台永远都不知道，用户下一个搜索关键词会是什么，用户在不断的创造各种各样的搜索关键词，这就是典型的开放性应用。
其次，互联网应用的搜索，其实并不要求精准匹配，而是有一个容错的范围。（比如百度搜索第一位是广告，我们也容忍了这么久，照样还是继续用）。
另外，互联网的应用其实都是很简单的应用推理，通常只涉及到一层两层的推理就足够，比如在搜索引擎中，真正要解决问题的人，都是会直接询问出问题，而不涉及到多层推理问题，所以互联网大部分都是简单的应用，只需要简单推理即可。
谷歌知识图谱的推出，基本上宣告了知识工程进入了一个新的时代，大数据时代，不单单是催生了知识图谱，也给知识图谱技术的发展奠定了很多坚实的技术基础。
第一个就是使得我们刚才说的传统知识工程一个瓶颈性问题——依赖专家的知识获取——被突破了。我们身处大数据时代，有Big Data。有各种machine leaning model，更有前所未有强大的计算能力，使得自动化的从数据中获取知识成为可能。从万维网中，从电商日志中，我们都可以挖掘出很多知识。比如很多人经常一起买猫砂、逗猫棒、猫主粮、猫抓板，那就意味着他们之间肯定有着很强的关联，这些都可以自动去挖掘出来，这就是一个场景知识。
Ref: Mining High-quality Phrase from Query logs in E-commerce, Under review
第二， 大数据时代有“众包”技术，互联网中有很多众包平台，可以充分利用众包让用户来贡献知识。比如像12306的验证码，每次的验证过程其实都是在给数据打上标注，给机器做训练。
另外一个大数据时代的重要机遇，就是高质量UGC，现在的用户贡献了很多高质量的社区和内容，像维基百科等等，都可以让机器从内容中学到很多知识。 Fei Wu, etc.. Autonomously Semantifying Wikipedia
还有很多知识表示没有发挥出其在大数据场景下的价值，将来都是我们的新的机会，正是在这个意义下，知识图谱能够引领知识工程的复兴。将来可能会各种各样的知识表示，帮助我们解决业务场景的各种问题。
知识图谱使能认知智能
刚刚说到各行业也都需要机器认知智能水平，这一点要想实现，就必须要依靠知识图谱。因为让机器具备认知能力，一个很重要的标志是让机器具备理解和解释能力，而让机器理解数据和解释现象的本质，都离不开知识。
“2013年C罗获得金球奖”这么一串字符，人之所以能理解，实际上就是“C罗”这两个字映射到大脑里面“C罗”这个实体，“金球奖”这三个字映射到大脑里”金球奖“这个实体，把“得主”这两个字映射到“获得奖项”这个关系。
可以说正是因为能够建立起从符号数据，到大脑知识中的实体和关系的映射，人才形成了某种理解。人对语言的理解是基于头脑中的知识库，而人的知识库是通过教育，通过生活体验积累而得。当然，大脑智慧到底是不是个符号化的表示，现在并不是一个定论，但是对于机器来讲，如果给机器塞一个这样的知识库，机器似乎也就能够理解这些数据了。
机器语言理解需要背景知识
人类智能发展里程碑上一个标志性事件就是语言理解，语言理解尤其需要背景知识库，两个人之所以能够理解彼此说的语言，是因为大脑中有类似的知识库。一个西方人讲的笑话，我们可能听不明白，就是因为我们脑中相关的知识库不一样。语言的理解是建立在认知的基础上，而认知的内容其实就是一个知识库，我们人类能够互相沟通，互相理解的根本原因，就是因为我们有着相类似的知识库。
那么要想让机器实现语言理解，塞给机器的知识库需要具备什么样的特征？
首先知识库的规模一定要足够大。人类的知识规模非常庞大，要想让机器也能进行语言理解，那么这个知识库就必须也要足够庞大。
第二， 语义关系要足够丰富。现实世界关系错综复杂，比如刚刚c罗与金球奖的“得奖”关系，知识库必须要有足够丰富的关系，才能让机器有真正理解语言所要表达的含义的可能性。
第三，是数据结构要友好。我们人类知识最大的载体是书籍，而书籍里面全是自由文本，这是一种非结构化的数据，对于机器来讲无法很好的消化。所以，必须要求现在的知识库中的数据是结构化的，对机器友好的。当然了，知识图谱存储的基本知识单元结构是三元组，所以它的结构非常友好。
第四，知识质量要精良。这个当然非常必要，正确的知识才会产生正确的认知。
如果以4个条件去看，真正能够让机器理解语言，所需要的背景知识库，似乎只有知识图谱能够满足。所以知识图谱已经成为了让机器理解我们人类语言，非常重要的背景知识库。
我们现在好比是在实现人工智能的弯道超车，要把人类的语言能力形成所积累的几万几十万年的时间，在短短几年几十年内，让机器形成和我们人类一样的，对语言的认知能力。
这是一件多么伟大的一件事情！语言理解某种程度上是人之所以为人非常重要的一个标志。
机器学习与知识图谱
过去10多年来，整个人工智能的发展，基本上是集中在机器学习领域。机器学习可以认为是以来数据驱动的统计学系。我们不否认机器学习是很多问题非常重要的解决工具。但是现在这种单纯的统计模式逐渐遇到了很多瓶，而知识图谱则带来了新的解决方案。
1. 开放性：知识图谱可以提升机器学习的开放性。
在前文中也提到了，在面对开放性问题上，机器学习几乎无能为力。比如在分类任务中，将数据分类到预定的类标签下。而真实的很多应用场景，会有很多新的类标签。
如果能够充分考虑了类标签的语义关联，即便是来一个新的标签，我们也可以去做一定的预测和判定，也就是利用知识。而这种语义关联，就是来自知识图谱。知识图谱可以提升机器学习的开放性。
2. 无监督和小样本：知识引导下的样本增强
机器学习的第二个瓶颈，也是现在广为诟病的一个问题，大部分机器学习模型依赖庞大的样本数据。2012年谷歌让机器在图像识别领域超越了人类，一个简单的任务——去识别图片里面是猫还是狗——就要标几千万张样本模型才能学出来。对比人类的小朋友，父母教了几次他就可以学会一个知识。所以人的学习是非常高效的。
一定程度上，正是因为人是有知识，而且能够利用知识。人依赖于之前的知识作为认知积累，对于新知识的摄取就会非常高效。在认识猫和狗之前，小朋友已经建立起了动物，花纹，尾巴等等基本认知，所以他就能很快学会猫和狗的区别。要让机器也能够像人类一样高效学习，我们认为关键就是知识库的建立。
通过结构化知识库与文本比对，完成大规模弱标注，广泛应用于实体识别、关系抽取等任务
使用专家构建的WordNet，自动化构造判断isA传递性的标注样本
3. 健壮性：符号知识优化机器学习模型
拿图像识别举例，图像里面稍微加一两个噪音点，就可能让这个识别系统崩溃，这就说明在很多机器学习模型它不具备很强的抗干扰能力，很脆弱，强依赖于样本数据。如何提高学习模型的健壮性，实际上也可以利用符号知识，去构建类似于像正则项，约束，等等之类的检验条件。
使用Type之间的语义约束对于结果进行筛选
使用CN-Probase中的概念关系构建Attention，优化端文本分类模型
机器学习领域将面临新的机会，下一代机器学习应该是跟知识深度融合的机器学习，符号知识与统计学的融合已成趋势
知识图谱的实际应用
首先，知识图谱加上大数据分析，即符号知识与统计学融合，就可以补全数据统计中缺失的因果链。
万事万物都处在一个复杂因果网络之中，我们当前所有的大数据分析只能揭示统计关联，而没办法告诉我们因果关联。
啤酒和尿布的案例。其实如果我们能够解释统计规律背后的因果关系，那么我们很多事情就可以做的更好，不管是推荐，还是服务。
之前一段时间的一大波大数据分析，已经挖掘出大量的统计关联，但是并没有去深挖它的因果关联，我认为我们现在这个时代，在知识图谱的赋能下，就已经面临了一个新的机会：挖掘统计关联之后的因果关联。这对于很多行业来讲，都是一件意义重大的事情。
第二点，知识图谱对大数据行业另外一个非常重要的意义。就在于碎片化数据的关联和融合。
数据治理是现在大数据价值变现的一个非常重要的前提，但是很多行业数据治理做得非常dirty，又累又辛苦。如果把知识图谱作为支撑业务场景的元数据，来引导业务数据的关联和整合，那么数据治理这件事情就会变得比现在高效高质很多很多倍。一旦有了高效高质的数据治理，也会带动更多知识图谱，或者其他智能化应用的发展
第三个，就是深化行业数据理解和洞察。 这实际上也是当年大数据分析的一个非常重要的使命。 我们现在所有的数据其实都是在字符、关键字层面进行统计和分析。将来我们要做到实体、概念、 主题层面的认知。如果没有这种能力，将来怎么可能对数据形成洞察
以知识图谱为核心的行业智能化演进路径已经基本上成型，未来走的更多的，将是这两者迭代循环的一个路径。也就是我们一边做知识体系的梳理和建设，一边开展基于知识的各种各样的应用，这样迭代式的发展路径。这种模式已经越来越成熟，也已经在很多行业落地。
Gartner预测曲线（2018年7月）知识图谱位于5-10年到达高峰期，机器学习已经处于高峰，即将泡沫化。
从大数据发展到知识图谱是一个必然趋势，以知识图谱为代表，我相信符号主义应该会再次崛起
总结
我们都经历了从小数据到大数据时代。在大数据的时候，很多人说得数据得天下。到了人工智能时代，应该是得知识得天下。机器为了理解我们的数据，理解我们的语言，非常迫切地需要背景知识。机器只有有了知识之后，才能够真正帮我们解决很多行业问题。利用知识解决问题，将会成为一个非常重要的思路。如果说数据是石油，那么知识其实就是石油的萃取物。
我们人类有一句话，叫做知识就是力量（knowledge is power）
知识工程的鼻祖Edward Feigenbaum，也曾经说过一句类似的话，Knowledge is power in AI。
站在一个文明的高度，为什么今天我们人类文明有样的一个高度。其实本质上就是依靠知识的沉淀和传承，是靠我们的语言和我们的书籍。语言和书籍本质上都是符号知识。所以我刚刚那句话可以转化成，是符号知识铸就了我们今天人类文明的辉煌。如果机器智能，将来也可以有一个非常高的文明的话，或许它要走的，跟我们人类文明是类似的一条道路——符号知识的沉淀和传承。这一点在机器上的体现，其实就是知识表达，以及知识应用的过程。
文章首发于集智斑图
