大数据技术组件

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第9天，点击查看活动详情 1. 原始数据实时ETL任务HBase调优 1.1 数据写入hbase优化 上一节写入数据，一条条数据p

1. 原始数据实时ETL落地HBase 存储hive数据用作离线分析经过ETL后的原始数据；存储hbase数据用作实时指标分析经过ETL后的原始数据 一份数据作为备份：即可把存储hive数据看做是hb

1 原始数据实时ETL任务分析结果落地 1 Json解析hdfs数据映射hive表（建议） l 用StreamingFileSink方法将正确数据和错误数据写入到对应的HDFS目录中后，需要创建对应的

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第6天，点击查看活动详情 1 实时ETL开发的核心逻辑 1 自定义方法解析json数据 2 实时ETL数据存储 思考：数据写入hi

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第5天，点击查看活动详情 1 实时ETL任务消费数据 1 消费数据解析逻辑 n 得到解析成功的数据，称为正确数据 u 原始文本为一

1 checkpoint配置 l 选择合适的Checkpoint存储方式 l CheckPoint存储方式存在三种 u 这有两个原因：首先，RocksDBStateBackend 是外部存储，其他两种

实时ETL业务开发 1 原始数据实时ETL分析 根据kafka集群中的数据进行实时ETL过滤，对数据进行划分，并将划分的数据分别落地到不同的数据库中。 2 实时ETL开发流程分析 原始数据实时ETL，

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第2天，点击查看活动详情 创建Flink实时计算子工程 1 在原工程下创建实时分析子模块 总工程结构设计

我报名参加金石计划1期挑战——瓜分10万奖池，这是我的第1篇文章，点击查看活动详情 Python大数据之Excel基础 数据引用 引用当前工作表数据 •在B2单元格中输入”=“ •点击要引用的单元格或

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第22天，点击查看活动详情 前言 作为技术人，我是不怎么八卦的，奈何这次国家重拳整理的是“大数据乱象”，manor作为大数据专业的学

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第21天，点击查看活动详情 物流项目问题 1、物流项目的背景介绍 项目背景:本项目基于一家大型物流公司研发的智慧物流大数据平台。该物

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第20天，点击查看活动详情 Logistics_Day18：数据服务接口开发 网址：https://smart.jdwl.com/j

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第20天，点击查看活动详情 Logistics_Day17：自定义外部数据源ClickHouse 01-[复习]-上次课程内容回顾

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第19天，点击查看活动详情 Logistics_Day16：ClickHouse API 使用 [外链图片转存失败,源站可能有防盗链

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第17天，点击查看活动详情 Logistics_Day15：ClickHouse 存储引擎 01-[复习]-上次课程内容回顾 02-

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第17天，点击查看活动详情 Spark Day14：Structured Streaming 01-[了解]-上次课程内容回顾 02

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第17天，点击查看活动详情 Spark Day13：Structured Streaming 01-[了解]-上次课程内容回顾 02

Logistics_Day12：主题及报表开发 01-[复习]-上次课程内容回顾 02-[了解]-第12天：课程内容提纲 03-[理解]-运单主题之数据调研及业务分析 1）、运单主题指标 2）、业务数

Logistics_Day11：主题及指标开发 01-[复习]-上次内容回顾 02-[了解]-第11天：内容提纲 03-[理解]-即席查询之背景介绍及业务流程 ​ 针对即席查询（编写SQL分析数据）业

Logistics_Day10：主题及指标开发 01-[复习]-上次课程内容回顾 02-[理解]-第6章：内容概述和学习目标 03-[了解]-第10天：课程内容提纲 04-[理解]-主题及指标开发之功