进击吧大数据

一款开源面试题社区，希望能够帮助到求职者们。22年的就业形势相信大家有自己的分析判断，个人唯独能做的就是提升自己。想到赵本山老师说过的一句话和大家共勉：没能力就说没能力，怎...

一、回顾 经过前面几篇文章的整理，我们已经学习到了Flink框架的特性以及数据流处理模型中的前两个环节(source、transformation)。在transforma...

这两天阅读了下中国信息通信研究院发布的《大数据白皮书（2020年）》，了解了下目前国内大数据的发展现状以及未来的趋势，笔者将该白皮书的一些重要内容画成了图的形式供大家参考，...

概述 数仓建设中，指标和标签是可以直接体现数仓价值的两种形态。理解指标和标签的含义，以及两者之间的区别，对数仓建设有强的指导性意义。本文参考《人人都是产品经理》中对指标和标...

需求描述 在推荐业务场景中，会有些好友推荐的应用出现，例如现在的QQ好友推荐。那么在早些年头，关于共同好友的算法题是通过MR来实现的，也是大厂面试题中的一道。昨天跟朋友又聊...

引入 做过大数据或者接触过数仓的同学，相信都有听到过数据治理、血缘分析的专业术语。不知道大家有没有思考过以下几个问题： 1、什么是血缘分析？主要分析什么东西？ 2、为什么要...

Hive3.X在2020年正式发布，对于很多企业来说仍然停留在1.X，甚者在使用0.X版本中。即使如此，也不能阻止同学们学习的脚步。当然笔者相信仍然还有很多同学还没学习Hi...

概念 首先看一下百度百科对指标体系的解释：“指标体系指的是若干个相互联系的统计指标所组成的有机体”。它主要由指标和体系两部分组成。那么也就是将零散指标通过某种关系系统化的整...

本篇仅以Hive为例，来分享下如何在事中定位到是否倾斜以及倾斜对应的key。对于如何定位到数据倾斜，大多数同学或许都是根据经验判断，可能对于某个reduce一直处于99%进...

最近在做自我知识体系的梳理，进行查缺补漏。同时也在辅导几位同学学习数仓，如果写数仓专题的话，首先知识点比较多，而且比较抽象，文章更新频率会很慢。所以笔者结合以前学习的资料和...

首先这是一篇资源福利篇，相信会有很多读者和笔者一样，学习一门技术，至少会有20%的时候来寻找好的学习文章或者书籍。之前在后台提供了相关技术的书籍和视频，但经常有读者后台私信...

前言技术层面优化Hive1.参数优化|参数|参数值|描述||----------------------------------|--------|------------...

14.linux你常用的命令有哪些? 接下来我会根据你说的命令深入考察一下奥(ll. ps -ef, top) 10.我给你介绍我们的业务吧, 他们大概是干啥的.........

Livy简介Livy基本架构Livy部署使用Postman测试工具了解Livy接口Livy官文档:http://livy.apache.org/docs/latest/re...

背景介绍采集流程流程分解流程一：MLSQL消费MQ流程二：通过Logstash进行消费MQ流程三:数仓建模注意：本篇主要是借鉴这个需求讲解Logstash在实际场景中的使用...

前言数据准备数据集建表语句窗口函数row_number：使用频率★★★★★rank：使用频率★★★★dense_rank：使用频率★★★★rank/dense_rank/r...