一起养成写作习惯!这是我参与「掘金日新计划 · 4 月更文挑战」的第12天,点击查看活动详情。
一、商业智能BI(⭐)
1、过程
BI系统主要包括数据预处理、建立数据仓库、数据分析和数据展现四个主要阶段。
数据预处理是整合企业原始数据的第一步,它包括数据的抽取(Extraction)、转换(Transformation)和加载(Load)三个过程(ETL过程);建立数据仓库则是处理海量数据的基础;数据分析是体现系统智能的关键,一般采用OLAP和数据挖掘两大技术。OLAP不仅进行数据汇总/聚集,同时还提供切片、切块、下钻、上卷和旋转等数据分析功能,用户可以方便地对海量数据进行多维分析。数据挖掘的目标则是挖掘数据背后隐藏的知识,通过关联分析、聚类和分类等方法建立分析模型,预测企业未来发展趋势和将要面临的问题;在海量数据和分析手段增多的情况下,数据展现则主要保障系统分析结果的可视化。
2、相关技术:数据仓库+数据挖掘+OLAP
3、数据仓库
(i)数据仓库的特点:面向主题;集成的;相对稳定的(非易失的);反映历史变化(随着时间变化):
(ii)数据仓库形成过程
阶段一:数据源进行数据预处理ETL(数据抽取、请理、装载、刷新)
阶段二:数据仓库存储—数据集市
阶段三:数据分析,OLAP服务器
阶段四:数据展现—查询工具、报表工具、分析工具、数据挖掘工具
4、数据挖掘
(1)方法:
决策树(构建树结构进行分析)
神经网络(类似统计学中的判别、回归、聚类等功能)
遗传算法(三个基本过程:繁殖(选择)、交叉(重组)、变异(突变))
关联规则挖掘算法(关联规则是描述数据之间存在关系的规则)
(2)分类:
关联分析:挖掘出隐藏在数据间的相互关系。
序列模式分析:侧重点是分析数据间的前后关系(因果关系)。
分类分析:为每一个记录赋予一个标记再按标记分类。
聚类分析:分类分析法的逆过程。
二、DSS决策支持系统(⭐⭐)
1、分类
决策支持可以分为结构化决策、半结构化决策和非结构化决策。其中,结构化决策是指对某一决策过程的规则进行确定性描述与建模,以适当的算法产生决策方案,并能从多种方案中选择最优解;非结构化决策的决策过程复杂,不可能用确定的模型和语言描述其决策过程,更无所谓最优解。半结构化和非结构化决策一般用于企业的中、高级管理层。一般来说,决策往往不可能一次完成,而是一个迭代的过程。
2、组成
决策支持系统(Decision Support System,DSS)是辅助决策者通过数据、模型和知识,以人机交互方式进行半结构化或非结构化决策的计算机应用系统。它是MIS向更高一级发展而产生的先进信息系统。它为决策者提供分析问题、建立模型、模拟决策过程和方案的环境,调用各种信息资源和分析工具,帮助决策者提高决策水平和质量。但是,DSS不可以代替决策者。
DSS基本结构主要由四个部分组成,分别是数据库子系统、模型库子系统、推理部分和用户接口子系统,如图所示。
三、知识管理(⭐)
1、知识分类
(1)显性知识(explicit knowledge):凡是能以文字与数字来表达,而且以资料、科学法则、特定规格及手册等形式展现者皆属显性知识。这种知识随时都可在个人之间相互传送;
(2)隐性知识(tacit knowledge)隐性知识是相当个人化而富弹性的东西,因人而异,很难用公式或文字来加以说明,因而也就难以流传或与别人分享。个人主观的洞察力、直觉与预感等皆属隐性知识。隐性知识深植于个人的行动与经验之中,同时也储藏在一个人所抱持的理想与价值或所珍惜的情怀之中。
2、知识管理工具
知识管理工具可以把知识管理工具分为知识生成工具、知识编码工具和知识转移工具三大类
(1)知识生成工具。知识的生成包括产生新的想法、发现新的商业模式、发明新的生产流程,以及对原有知识的重新合成。不同方式的知识产生模式有不同的工具对其进行支持。知识生成工具包括知识获取、知识合成和知识创新三大功能。目前,利用具有初步人工智能功能的搜索引擎和知识挖掘工具进行知识的自动获取,可以将相关的词句组合起来,帮助人们将分散的创新观点进行合成。但是,目前实现知识的创新还十分困难,只能利用一些工具实现辅助性的知识创新。
(2)知识编码工具。知识编码是通过标准的形式表现知识,使知识能够方便地被共享和交流。知识编码工具的作用就在于将知识有效地存储并且以简明的方式呈现给使用者,使知识更容易被其他人使用。知识编码的困难在于,知识几乎不能以离散的形式予以表现。知识不断地积累,不断地改变,以至于人们很难对其进行清晰的区分。因此,对知识进行审核和分类是十分困难的。
(3)知识转移工具。知识转移工具最终就是要使知识能在企业内传播和分享。知识的价值在于流动和使用。在知识流动的过程中存在许多障碍,使知识不能毫无阻力地任意流动。这些障碍可分成三类,分别是时间差异、空间差异和社会差异。知识转移工具可以根据各种障碍的特点,在一定程度上帮助人们消除障碍,使知识得到更有效的流动。