华为ict-大数据

1.大数据应用的主要计算模式 批处理计算：针对大规模数据的批量处理。主要技术有MapReduce、Spark等。 流计算：针对流数据的实时计算处理。主要技术有Spark、Storm、Flink、Flu

HDFS概述 HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）是一种旨在在商品硬件上运行的分布式文件系统。 HDFS最初是作为ApacheNutch

HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。 适合于存储大表数据（表的规模可以达到数十亿行以及数百万列），并且对大表数据的读、写访问可以达到实时级别。 利用Had

Hive简介 Hive是基于Hadoop的数据仓库软件，可以查询和管理PB级别的分布式数据。 Hive特性： 灵活方便的ETL（extract/transform/load）。 支持Tez、Spark

MapReduce概述 MapReduce基于Google发布的MapReduce论文设计开发，基于分而治之的思想，用于大规模数据集（大于1TB）的并行计算和离线计算，具有如下特点： 高度抽象的编程思

Spark简介 2009年诞生于美国加州大学伯克利分校AMP实验室。2010年开源，2013年成长为Apache软件基金会旗下大数据领域最活跃的开源项目之一，现在已经成为Apache软件基金会旗下的顶

Flink简介 2010年，Flink由柏林工业大学、柏林洪堡大学和哈索·普拉特纳研究所共同研究；2014年4月，Flink被捐赠给Apache软件基金会，成为Apache软件基金会孵化器项目；201

Flume是什么 Flume是流式日志采集工具，Flume提供对数据进行简单处理并且写到各种数据接受方的能力，Flume提供从本地文件（spooling directory source）、实时日志（

Kafka简介 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于Zookeeper协调的分布式日志系统。 主要应用场景是：日志收集系统和消息系统。 分布式消息

ElasticSearch简介 ElasticSearch是一个高性能，基于Lucene的全文检索服务，是一个分布式的Restful风格的搜索和数据分析引擎，也可以作为NoSQL数据库使用。 对Luc

大数据技术演进趋势 华为云服务 华为云是华为的云服务品牌，用在线的方式将华为30多年在ICT基础设施领域的技术积累和产品解决方案开放给客户，致力于提供稳定可靠、安全可信、可持续创新的云服务，做智能世界

大数据组件众多，缺少统一平台进行数据的集成开发、编排调度及运维监控 烟囱式应用&数据孤岛已严重制约企业数字化发展 数据治理 数据治理是一门将数据视为一项企业资产的学科。它涉及到以企业资产的形式对数据进