首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
华为ict-大数据
二二孚日
创建于2025-07-09
订阅专栏
华为ict-大数据知识点
等 2 人订阅
共12篇文章
创建于2025-07-09
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
自用华为ICT云赛道Big Data第一章知识点
1.大数据应用的主要计算模式 批处理计算:针对大规模数据的批量处理。主要技术有MapReduce、Spark等。 流计算:针对流数据的实时计算处理。主要技术有Spark、Storm、Flink、Flu
自用华为ICT云赛道Big Data第二章知识点-HDFS,ZooKeeper
HDFS概述 HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)是一种旨在在商品硬件上运行的分布式文件系统。 HDFS最初是作为ApacheNutch
自用华为ICT云赛道Big Data第三章知识点-HBase分布式数据库
HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。 适合于存储大表数据(表的规模可以达到数十亿行以及数百万列),并且对大表数据的读、写访问可以达到实时级别。 利用Had
自用华为ICT云赛道Big Data第三章知识点-Hive分布式数据仓库
Hive简介 Hive是基于Hadoop的数据仓库软件,可以查询和管理PB级别的分布式数据。 Hive特性: 灵活方便的ETL(extract/transform/load)。 支持Tez、Spark
自用华为ICT云赛道Big Data第四章知识点-MapReduce,Yarn
MapReduce概述 MapReduce基于Google发布的MapReduce论文设计开发,基于分而治之的思想,用于大规模数据集(大于1TB)的并行计算和离线计算,具有如下特点: 高度抽象的编程思
自用华为ICT云赛道Big Data第四章知识点-Spark基于内存的分布式计算
Spark简介 2009年诞生于美国加州大学伯克利分校AMP实验室。2010年开源,2013年成长为Apache软件基金会旗下大数据领域最活跃的开源项目之一,现在已经成为Apache软件基金会旗下的顶
自用华为ICT云赛道Big Data第四章知识点-Flink流批一体分布式实时处理引擎
Flink简介 2010年,Flink由柏林工业大学、柏林洪堡大学和哈索·普拉特纳研究所共同研究;2014年4月,Flink被捐赠给Apache软件基金会,成为Apache软件基金会孵化器项目;201
自用华为ICT云赛道Big Data第五章知识点-Flume海量日志聚合
Flume是什么 Flume是流式日志采集工具,Flume提供对数据进行简单处理并且写到各种数据接受方的能力,Flume提供从本地文件(spooling directory source)、实时日志(
自用华为ICT云赛道Big Data第五章知识点-Kafka分布式消息订阅系统
Kafka简介 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于Zookeeper协调的分布式日志系统。 主要应用场景是:日志收集系统和消息系统。 分布式消息
自用华为ICT云赛道Big Data第六章知识点-分布式搜索服务ElasticSearch
ElasticSearch简介 ElasticSearch是一个高性能,基于Lucene的全文检索服务,是一个分布式的Restful风格的搜索和数据分析引擎,也可以作为NoSQL数据库使用。 对Luc
自用华为ICT云赛道Big Data第七章知识点-华为MRS
大数据技术演进趋势 华为云服务 华为云是华为的云服务品牌,用在线的方式将华为30多年在ICT基础设施领域的技术积累和产品解决方案开放给客户,致力于提供稳定可靠、安全可信、可持续创新的云服务,做智能世界
自用华为ICT云赛道Big Data第八章知识点-华为数据治理中心DataArtsStudio
大数据组件众多,缺少统一平台进行数据的集成开发、编排调度及运维监控 烟囱式应用&数据孤岛已严重制约企业数字化发展 数据治理 数据治理是一门将数据视为一项企业资产的学科。它涉及到以企业资产的形式对数据进