大数据老哥

我们在写HQL有没有遇到过数据量特别大的时候比如，使用HQL 处理起来非常复杂，非常慢，这时候我们可以使用Hive给加个索引来提高我们的速度。多了就不说了，我们直接开始。​ Hive 中的视图和 RDBMS 中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条 SELECT…

今天给大家分享一个面试中经常会被问到的拉链表，我在上篇文章中提出来一个需求如果不知道的请去→数仓缓慢变化维深层讲解查看，好，废话不多说我们直接开始。提出的问题会在末尾讲解。 商品的状态，会随着时间推移而变化，我们需要将商品的所有变化的历史信息都保存下来。如何实现呢？ 可以讲表设…

维度缓慢变化为SCD（Slowly Changing Dimensions）一些维度表的数据不是静态的，而是会随着时间而缓慢地变化（这里的缓慢是相对事实表而言，事实表数据变化的速度比维度表快，如果还不知道什么是事实表和维度表请看→数仓模型设计详细讲解）把处理维度表数据历史变化的…

我们在数仓项目的时候往往是需要将它分层的，但是为什么分层你真正的了解过吗，那它分层的好处又是什么呢。好我们今天就针对这个话题进行讲解。如果你还不了解数仓中的模型可以去看这篇（数仓模型设计详细讲解）,编写不易请给个一键三连。 每一个数据分层都有它的作用域，这样我们在使用表的时候能…

今天给大家分享下数仓中的模型设计，一个好的数仓项目首先看一下它的架构以及他所用到的模型，它们使用的模型也都是非常巧妙的，好了，我们话不说到直接开始。 维度模型是数据仓库领域大师Ralph Kimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建…

有没有去面试的时候被问到Flink的面试题你答不上来，为什么那？，菜吗？ 不是。原因是你接触的面试题太少了，那我今天就根据不同的群体来给大家你分享。 好今天的Flink的题目就分享到这里，背过上面的那些题目害怕面试官提问？信自己，努力和汗水总会能得到回报的。我是大数据老哥，我们…

本篇文章主要给大家讲解下如实使用python 爬取哔哩哔哩中的视频，首先我是一名大数据开发工程师，爬虫只是我的一个业余爱好，喜欢爬虫的小伙伴可以一起交流。 我在这里就拿前段时间非常火的马老师的视频来举例子吧。 第二部分抓包，哔哩哔哩这里的视频被分成多个小段了经过看源码分析后我们…

上篇文章给家讲解了Hadoop的面试题，Hive是踩在巨人的肩膀上的一个数据仓库组件，看看企业问那些问题吧。 很多时候面试以上来就问什么是Hive，有了MapReduc为什么还要有hive呀。很多小伙伴回答的都不是很好，好，那大数据老哥来个大家讲解下。 意义：降低程序员使用ha…

上篇文章给家讲解了实战练习附带了给大家又聊了下境像讲解的原理，本篇文章主要给家聊一聊关于commit的和容器数据卷相关内容附带一些练习,编写不易：对你有帮助【一键三连,收藏】。 以下内容是博主花费了1个星期的时间总结各大厂商的面试题与拜访大佬总结的内容那个 关注公证号【大数据老…