用户5436581874042

大数据典型特征中,数据量大,数据类型多,在存储阶段需要根据数据类型匹配合适的存储方式.包括结构化和非结构化数据,redis这样的key-value数据库.需要对数据结构多加考虑;纯新手向

训练营项目过程中的记录 clickhouse数据导出为json(带表头） clickhouse导入json格式数据 clickhouse导入csv格式数据

Hbase 是基于HDFS实现存储计算分离的分布式表格存储服务,容错,高可靠性; HBase 核心数据模型 优点:半结构化,无数据类型;按列稀疏存储,缺省数据不占用存储空间;

之前我们完成了批计算,流计算,流批一体的计算方式的学习,接下来我们会开始大数据中重要的一部分数据存储层的学习; hdfs不同于一般数据库存储到安装数据库的机器上,采用分布式存储;

流式计算和批计算的区别;实时数仓和离线数仓的区别; Window计算定义及挑战; streaming是一种用于处理无限数据集的数据处理引擎,window是一种切割无限数据为有限块进行处理的手段

Flink被设计为可以运行在大部分环境,能够进行任何规模的计算 Flink:Exactly-once,checkpoint(状态容错),Dataflow编程模型 Window等高阶需求支持友好,流批一