五分钟学大数据

「这是我参与11月更文挑战的第27天，活动详情查看：2021最后一次更文挑战」。 上节：Hadoop企业级生产调优手册(一) 五、HDFS存储优化 注：演示纠删码和异构存储...

「这是我参与11月更文挑战的第26天，活动详情查看：2021最后一次更文挑战」。 一、HDFS核心参数 1.1 NameNode内存生产配置 1. NameNode 内存计...

「这是我参与11月更文挑战的第25天，活动详情查看：2021最后一次更文挑战」。 01  什么是ETL？ ETL是数据抽取（Extract）、转换（Transform）、加...

「这是我参与11月更文挑战的第24天，活动详情查看：2021最后一次更文挑战」。 一、前言 在大数据时代，金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过...

「这是我参与11月更文挑战的第23天，活动详情查看：2021最后一次更文挑战」。 面对越来越多的高并发场景，限流显示的尤为重要。当然，限流有许多种实现的方式，Redis具有...

「这是我参与11月更文挑战的第22天，活动详情查看：2021最后一次更文挑战」。 OneData 是阿里巴巴内部进行数据整合和管理方法体系和工具。 指导思想 首先，要进行充...

「这是我参与11月更文挑战的第21天，活动详情查看：2021最后一次更文挑战」。 1. 通用优化 NameNode的元数据备份使用SSD。 定时备份NameNode上的元数...

「这是我参与11月更文挑战的第20天，活动详情查看：2021最后一次更文挑战」。 1. 起源 Hbase 作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，...

「这是我参与11月更文挑战的第19天，活动详情查看：2021最后一次更文挑战」。 一、HBase 的预分区 1. 为何要预分区？ 增加数据读写效率 负载均衡，防止数据倾斜 ...

「这是我参与11月更文挑战的第18天，活动详情查看：2021最后一次更文挑战」。 一、HBase 基础 1. HBase 基本介绍 简介 HBase 是 BigTable ...

「这是我参与11月更文挑战的第17天，活动详情查看：2021最后一次更文挑战」。 上节：最强最全面的数仓建设规范指南（一） 三、数仓各层开发规范 1. ODS层设计规范 同...

「这是我参与11月更文挑战的第16天，活动详情查看：2021最后一次更文挑战」。 目录： 一、数据模型架构原则 数仓分层原则 主题域划分原则 数据模型设计原则 二、数仓公共...

「这是我参与11月更文挑战的第15天，活动详情查看：2021最后一次更文挑战」。 当数据规模不断膨胀时，我们需要找到一个数据的子集来加快数据分析效率。因此我们就需要通过筛选...

「这是我参与11月更文挑战的第14天，活动详情查看：2021最后一次更文挑战」。 一. Hive架构 1.1 hive的简介 Hive是基于Hadoop的一个数据仓库工具，...

「这是我参与11月更文挑战的第13天，活动详情查看：2021最后一次更文挑战」。 1. yarn的基本介绍和产生背景 YARN是Hadoop2引入的通用的资源管理和任务调度...

「这是我参与11月更文挑战的第12天，活动详情查看：2021最后一次更文挑战」。 本文讲解 Hive 的数据存储，是 Hive 操作数据的基础。选择一个合适的底层数据存储文...

「这是我参与11月更文挑战的第11天，活动详情查看：2021最后一次更文挑战」。 1. 生产者生产数据不丢失 发送消息方式 生产者发送给kafka数据，可以采用同步方式或异...

「这是我参与11月更文挑战的第10天，活动详情查看：2021最后一次更文挑战」。 1. 创建topic 创建一个名字为test的主题， 有三个分区，有两个副本： 2. 查看...

「这是我参与11月更文挑战的第9天，活动详情查看：2021最后一次更文挑战」。 1. kafka架构 生产者API 允许应用程序发布记录流至一个或者多个kafka的主题（t...

「这是我参与11月更文挑战的第8天，活动详情查看：2021最后一次更文挑战」。 Pulsar Apahce Pulasr是一个企业级的发布-订阅消息系统，最初是由雅虎开发，...