📕 信息化知识(二)

175 阅读14分钟

1.5 商业智能

1.商业智能基本概念

商业智能(Business Intelligence,BI)通常被理解为将组织中现有的数据转化为知识,帮助组织做出明智的业务经营决策。因此,从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用

商业智能一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。

因此,把商业智能看成是一种解决方案应该比较恰当。商业智能的关键是从来自组织的许多不同的运作系统的数据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取( extraction)、转换(transformation)和装载(load),即ETL过程。

2.商业智能系统应具有的主要功能

(1)数据仓库:高效的数据存储和访问方式。提供结构化和非结构化的数据存储,容量大,运行稳定,维护成本低,支持元数据管理,支持多种结构,例如中心式数据仓库和分布式数据仓库等。存储介质能够支持近线式和二级存储器,能够很好地支持容灾和备份方案。

(2)数据ETL:数据ETL支持多平台、多数据存储格式(多数据源、多格式数据文件、多维数据库等)的数据组织,要求能自动地根据描述或者规则进行数据查找和理解。减少海量、复杂数据与全局决策数据之间的差距。帮助形成支撑决策要求的参考内容。

(3)数据统计输出(报表):报表能快速地完成数据统计的设计和展示,其中包括了统计数据表样式和统计图展示,可以很好地输出给其他应用程序或者以 Html形式表现和保存。对于自定义设计部分要提供简单易用的设计方案,支持灵活的数据填报和针对非技术人员设计的解决方案。能自动地完成输出内容的发布。

(4)分析功能:可以通过业务规则形成分析内容,并且展示样式丰富,具有一定的交互要求,例如预警或者趋势分析等。

3.商业智能的三个层次

商业智能的实现有三个层次:数据报表、多维数据分析和数据挖掘

1)数据报表

值得注意的是,数据分析和数据挖掘系统的目的是带给我们更多的决策支持价值,并不是取代数据报表。报表系统依然有其不可取代的优势,并且将会长期与数据分析、挖掘系统一起并存下去。

2)多维数据分析

如果说在线事务处理(OLTP)侧重于对数据库进行增加、修改和删除等日常事务操作,在线分析处理则侧重于针对宏观问题全面分祈数据,获得有价值的信息。

数据分析系统的总体架构分为4个部分:源系统、数据仓库、多维数据库和客户端。

3)数据挖掘

广义上说,任何从数据库中挖掘信息的过程都叫做数据挖掘。从这点看来,数据挖掘就是BI。但从技术术语上说,数据挖掘(Data Mining)指的是:源数据经过清洗和转换等成为适合于挖掘的数据集。数据挖掘在这种具有固定形式的数据集上完成知识的提炼,最后以合适的知识模式用于进一步分析决策工作。从这种狭义的观点上,我们可以定义:数据挖掘是从特定形式的数据集中提炼知识的过程。数据挖掘往往针对特定的数据、特定的问题,选择一种或者多种挖掘算法,找到数据下面隐藏的规律,这些规律往往被用来预测、支持决策。

4.商业智能的软件工具集合

4)OLAP工具

(1)OLAP的概念

OLAP的基本多维分析操作有钻取、切片和切块以及旋转、drill across和 drill through等。

(3)OLAP的实现方法

OLAP有多种实现方法,根据存储数据的方式不同可以分为 ROLAP(RelationalOLAP)、MOLAP (Multidimensional OLAP)和 HOLAP (Hybrid OLAP)
ROLAP表示基于关系数据库的 OLAP实现。
MOLAP表示基于多维数据组织的OLAP实现。
HOLAP表示基于混合数据组织的OLAP实现。

5.实施商业智能的步骤

1)需求分析
2)数据仓库建模
3)数据抽取
4)建立商业智能分析报表
5)用户培训和数据模拟测试
6)系统改进和完善

1.6 新一代信息技术对产业的推动

大数据、云计算、互联网+、智慧城市等是新一代信息技术与信息资源充分利用的全新业态,是信息化发展的主要趋势,也是信息系统集成行业今后面临的主要业务范畴。

1.6.1 大数据

1.大数据的概念

大数据(big data)是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要采用新处理模式才能获取很多智能的、深入的、有价值的信息,以期得到更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资源。针对大数据的分析处理,不能用随机分析法(抽样调查),而要针对所有数据进行分析处理。大数据具有5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)和Veracity(真实性)

大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合。

大数据是具有体量大、结构多样、时效性强等特征的数据,处理大数据需要采用新型计算架构和智能算法等新技术。大数据从数据源经过分析挖掘到最终获得价值一般需要经过5个主要环节,包括数据准备、数据存储与管理、计算处理、数据分析和知识展现

image.png

2.大数据关键技术

(1)大数据存储管理技术。目前,谷歌文件系统(GFS)和 Hadoop的分布式文件系统HDFS 奠定了大数据存储技术的基础。

(2)大数据并行分析技术。谷歌的 MapReduce是主要的大数据分布式并行计算技术之一,而开源的分布式并行计算技术Apache HadoopMapReduce,已经成为应用最广泛的大数据计算软件平台。

(3)大数据分析技术。

3.大数据发展应用的目标

1)打造精准治理、多方协作的社会治理新模式
2)建立运行平稳、安全高效的经济运行新机制
3)构建以人为本、惠及全民的民生服务新体系
4)开启大众创业、万众创新的创新驱动新格局
5)培育高端智能、新兴繁荣的产业发展新生态

4.大数据发展应用的主要任务

1)加快政府数据开放共享,推动资源整合,提升治理能力

(1)大力推动政府部门数据共享。
(2)稳步推动公共数据资源开放。
(3)统筹规划大数据基础设施建设。
(4)支持宏观调控科学化。
(5)推动政府治理精准化。
(6)推进商事服务便捷化。
(7)促进安全保障高效化。
(8)加快民生服务普惠化。

2)推动产业创新发展,培育新兴业态,助力经济转型

(1)发展工业大数据。
(2)发展新兴产业大数据。
(3)发展农业农村大数据。
(4)发展万众创新大数据。
(5)推进基础研究和核心技术攻关。
(6)形成大数据产品体系。
(7)完善大数据产业链。

3)强化安全保障,提高管理水平,促进健康发展

(1)健全大数据安全保障体系。
(2)强化安全支撑。

1.6.2 云计算

1.云计算概念

云计算(Cloud Computing),是一种基于互联网的计算方式,通过这种方式,在网络上配置为共享的软件资源、计算资源、存储资源和信息资源可以按需求提供给网上终端设备和终端用户。云计算通常通过互联网来提供动态易扩展而且经常是虚拟化的资源,并且计算能力也可作为一种资源通过互联网流通。

云计算的主要特点包括:一是宽带网络连接,用户需要通过宽带网络接入“云”中并获得有关的服务,“云”内节点之间也通过内部的高速网络相连;二是快速、按需、弹性的服务,用户可以按照实际需求迅速获取或释放资源,并可以根据需求对资源进行动态扩展。

2.云计算服务的类型

按照云计算服务提供的资源层次,可以分为 IaaS、PaaS和 SaaS等三种服务类型。

(1)IaaS(基础设施即服务),向用户提供计算机能力、存储空间等基础设施方面的服务。这种服务模式需要较大的基础设施投入和长期运营管理经验,但IaaS服务单纯出租资源,盈利能力有限。
(2)PaaS(平台即服务),向用户提供虚拟的操作系统、数据库管理系统、Web应用等平台化的服务。PaaS服务的重点不在于直接的经济效益,而更注重构建和形成紧密的产业生态。
(3)SaaS(软件即服务),向用户提供应用软件(如CRM、办公软件等)、组件、工作流等虚拟化软件的服务,SaaS一般采用Web 技术和SOA 架构,通过Internet向用户提供多租户、可定制的应用能力,大大缩短了软件产业的渠道链条,减少了软件升级、定制和运行维护的复杂程度,并使软件提供商从软件产品的生产者转变为应用服务的运营者。

  1. 云计算关键技术

云计算技术架构包括云计算基础设施和云计算操作系统。

image.png

  1)基础设施关键技术

云计算基础设施关键技术包括服务器、网络和数据中心相关技术

2)操作系统关键技术

云计算操作系统的主要关键技术包括资源池管理技术和向用户提供大规模存储、计算能力的分布式任务和数据管理技术。

资源池管理技术主要实现对物理资源、虚拟资源的统一管理,并根据用户需求实现虚拟资源的自动化生成、分配和迁移。

1.6.3 互联网+

1.“互联网+”是经济发展的新形态

通俗来说,“互联网+”就是“互联网+各个传统行业”,但这并不是简单的两者相加,而是利用信息通信技术以及互联网平台,让互联网与传统行业进行深度融合,创造新的发展生态。“互联网+”已经改造影响了多个行业,当前大众耳熟能详的电子商务、互联网金融(ITFIN)、在线旅游、在线影视、在线房产等行业都是“互联网+”的杰作。

2.“互联网+”行动

1)总体思路

顺应世界“互联网+”发展趋势,充分发挥我国互联网的规模优势和应用优势,推动互联网由消费领域向生产领域拓展,加速提升产业发展水平,增强各行业创新能力,构筑经济社会发展新优势和新动能。

1.6.4 智慧城市

1.智慧城市的内涵和意义

国际电工委员会(IEC)对智慧城市的定义是:智慧城市是城市发展的新理念,是推动政府职能转变、推进社会管理创新的新方法,目标是使得基础设施更加智能、公共服务更加便捷、社会管理更加精细、生态环境更加宜居、产业体系更加优化。

智慧城市是利用新一代信息技术来感知、监测、分析、整合城市资源,对各种需求做出迅速、灵活、准确反应,为公众创造绿色、和谐环境,提供泛在、便捷、高效服务的城市形态。

智慧城市建设成败的关键不再是数字城市建设中建设大量IT系统,而是如何有效推进城市范围内数据资源的融合,通过数据和IT系统的融合来实现跨部门的协同共享、行业的行动协调、城市的精细化运行管理等。

2.智慧城市参考模型

智慧城市建设主要包括以下几部分:首先,通过传感器或信息采集设备全方位地获取城市系统数据;其次,通过网络将城市数据关联、融合、处理、分析为信息;第三,通过充分共享、智能挖掘将信息变成知识:最后,结合信息技术,把知识应用到各行各业形成智慧。

智慧城市建设参考模型包括有依赖关系的5层和对建设有约束关系的3个支撑体系。如图1-24所示。

image.png

1)功能层

(1)物联感知层:提供对城市环境的智能感知能力,通过各种信息采集设备、各类传感器、监控摄像机、GPS终端等实现对城市范围内的基础设施、大气环境、交通、公共安全等方面信息采集、识别和监测。
(2)通信网络层:广泛互联,以互联网、电信网、广播电视网以及传输介质为光纤的城市专用网作为骨干传输网络,以覆盖全城的无线网络(如WiFi)、移动4G为主要接入网,组成网络通信基础设施。
(3)计算与存储层:包括软件资源、计算资源和存储资源,为智慧城市提供数据存储和计算,保障上层对于数据汇聚的相关需求。
(4)数据及服务支撑层利用SOA(面向服务的体系架构)、云计算、大数据等技术,通过数据和服务的融合,支撑承载智慧应用层中的相关应用,提供应用所需的各种服务和共享资源。
(5)智慧应用层:各种基于行业或领域的智慧应用及应用整合,如智慧交通、智慧家政、智慧园区、智慧社区、智慧政务、智慧旅游、智慧环保等,为社会公众、企业、城市管理者等提供整体的信息化应用和服务。

2)支撑体系

(1)安全保障体系:为智慧城市建设构建统一的安全平台,实现统一入口、统一认证、统一授权、日志记录服务。
(2)建设和运营管理体系:为智慧城市建设提供整体的运维管理机制,确保智慧城市整体建设管理和可持续运行。
(3)标准规范体系:标准规范体系用于指导和支撑我国各地城市信息化用户、各行业智慧应用信息系统的总体规划和工程建设,同时规范和引导我国智慧城市相关IT产业的发展,为智慧城市建设、管理和运行维护提供统一规范,便于互联、共享、互操作和扩展。