五分钟学大数据

本文大纲： 因内容较多，带目录的PDF查看是比较方便的： 数仓建设保姆级教程PDF文档 一、数仓基本概念 1. 数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？

本文目录： 一、调优概述 二、数据倾斜发生时的现象 三、数据倾斜发生的原理 四、如何定位导致数据倾斜的代码 五、某个task执行特别慢的情况 六、某个task莫名其妙内存溢出的情况 七、查看导致数据倾

「这是我参与11月更文挑战的第29天，活动详情查看：2021最后一次更文挑战」。 1. 数据各层作用 ODS（原始数据层） ：日志数据和业务进入数仓后，首先放入该层，建立分区表，防止后续的全表扫描，使

「这是我参与11月更文挑战的第28天，活动详情查看：2021最后一次更文挑战」。 消息队列在实际应用中包括如下四个场景：   应用耦合：多应用间通过消息队列对同一消息进行处理，避免调用接口失败导致整个

「这是我参与11月更文挑战的第27天，活动详情查看：2021最后一次更文挑战」。 上节：Hadoop企业级生产调优手册(一) 五、HDFS存储优化 注：演示纠删码和异构存储需要一共 5 台虚拟机。尽量

「这是我参与11月更文挑战的第26天，活动详情查看：2021最后一次更文挑战」。 一、HDFS核心参数 1.1 NameNode内存生产配置 1. NameNode 内存计算 每个文件块大概占用 15

「这是我参与11月更文挑战的第25天，活动详情查看：2021最后一次更文挑战」。 01  什么是ETL？ ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是

「这是我参与11月更文挑战的第24天，活动详情查看：2021最后一次更文挑战」。 一、前言 在大数据时代，金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中，某些中介机构会搜集大量

「这是我参与11月更文挑战的第23天，活动详情查看：2021最后一次更文挑战」。 面对越来越多的高并发场景，限流显示的尤为重要。当然，限流有许多种实现的方式，Redis具有很强大的功能，我用Redis