首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
大数据技术组件
Maynor在掘金
创建于2021-06-25
订阅专栏
大数据组件包括:MapReduce HDFS Hive HBase Zookeeper等
等 29 人订阅
共84篇文章
创建于2021-06-25
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
实时即未来,大数据项目车联网之原始数据实时ETL任务HBase调优(9)
持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第9天,点击查看活动详情 1. 原始数据实时ETL任务HBase调优 1.1 数据写入hbase优化 上一节写入数据,一条条数据p
实时即未来,大数据项目车联网之原始数据实时ETL落地HBase(8)
1. 原始数据实时ETL落地HBase 存储hive数据用作离线分析经过ETL后的原始数据;存储hbase数据用作实时指标分析经过ETL后的原始数据 一份数据作为备份:即可把存储hive数据看做是hb
实时即未来,大数据项目车联网之原始数据实时ELT流式任务流程总结(7)
1 原始数据实时ETL任务分析结果落地 1 Json解析hdfs数据映射hive表(建议) l 用StreamingFileSink方法将正确数据和错误数据写入到对应的HDFS目录中后,需要创建对应的
实时即未来,大数据项目车联网之实时ETL开发的核心逻辑(6)
持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第6天,点击查看活动详情 1 实时ETL开发的核心逻辑 1 自定义方法解析json数据 2 实时ETL数据存储 思考:数据写入hi
实时即未来,大数据项目车联网之实时ETL任务消费数据(5)
持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第5天,点击查看活动详情 1 实时ETL任务消费数据 1 消费数据解析逻辑 n 得到解析成功的数据,称为正确数据 u 原始文本为一
实时即未来,大数据项目车联网之重启机制及数据积压(4)
1 checkpoint配置 l 选择合适的Checkpoint存储方式 l CheckPoint存储方式存在三种 u 这有两个原因:首先,RocksDBStateBackend 是外部存储,其他两种
实时即未来,大数据项目车联网之原始数据实时ETL任务消费数据策略(3)
实时ETL业务开发 1 原始数据实时ETL分析 根据kafka集群中的数据进行实时ETL过滤,对数据进行划分,并将划分的数据分别落地到不同的数据库中。 2 实时ETL开发流程分析 原始数据实时ETL,
实时即未来,车联网项目之创建Flink实时计算子工程(2)
持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第2天,点击查看活动详情 创建Flink实时计算子工程 1 在原工程下创建实时分析子模块 总工程结构设计
Python大数据之Excel基础
我报名参加金石计划1期挑战——瓜分10万奖池,这是我的第1篇文章,点击查看活动详情 Python大数据之Excel基础 数据引用 引用当前工作表数据 •在B2单元格中输入”=“ •点击要引用的单元格或
滴滴出行大数据数仓实战
持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第22天,点击查看活动详情 前言 作为技术人,我是不怎么八卦的,奈何这次国家重拳整理的是“大数据乱象”,manor作为大数据专业的学
大数据物流项目面试题 整理终版
持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第21天,点击查看活动详情 物流项目问题 1、物流项目的背景介绍 项目背景:本项目基于一家大型物流公司研发的智慧物流大数据平台。该物
Note_Logistics_Day18(数据服务接口开发)
持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第20天,点击查看活动详情 Logistics_Day18:数据服务接口开发 网址:https://smart.jdwl.com/j
Logistics_Day17:自定义外部数据源ClickHouse
持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第20天,点击查看活动详情 Logistics_Day17:自定义外部数据源ClickHouse 01-[复习]-上次课程内容回顾
Note_Logistics_Day16:ClickHouse API 使用
持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第19天,点击查看活动详情 Logistics_Day16:ClickHouse API 使用 [外链图片转存失败,源站可能有防盗链
Logistics_Day15:ClickHouse 存储引擎
持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第17天,点击查看活动详情 Logistics_Day15:ClickHouse 存储引擎 01-[复习]-上次课程内容回顾 02-
大数据物流项目:Structured Streaming(以结构化方式处理流式数据,底层分析引擎SparkSQL引擎)(十四)
持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第17天,点击查看活动详情 Spark Day14:Structured Streaming 01-[了解]-上次课程内容回顾 02
大数据物流项目:Structured Streaming(内置数据源、自定义Sink(2种方式)和集成Kafka)(十三)
持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第17天,点击查看活动详情 Spark Day13:Structured Streaming 01-[了解]-上次课程内容回顾 02
大数据物流项目:主题及报表开发(十二)
Logistics_Day12:主题及报表开发 01-[复习]-上次课程内容回顾 02-[了解]-第12天:课程内容提纲 03-[理解]-运单主题之数据调研及业务分析 1)、运单主题指标 2)、业务数
大数据物流项目:主题及指标开发之即席查询引擎Impala(分布式内存计算)(十一)
Logistics_Day11:主题及指标开发 01-[复习]-上次内容回顾 02-[了解]-第11天:内容提纲 03-[理解]-即席查询之背景介绍及业务流程 针对即席查询(编写SQL分析数据)业
大数据物流项目:主题及指标开发之如何对Kudu表数据分析【离线报表分析(1个主题)】(十)
Logistics_Day10:主题及指标开发 01-[复习]-上次课程内容回顾 02-[理解]-第6章:内容概述和学习目标 03-[了解]-第10天:课程内容提纲 04-[理解]-主题及指标开发之功
下一页