Hoult丶吴邪

1.背景在大数据生产环境下，往往需求是越快越好，对于实时系统开发，需求往往是一个状态值，比如多少次，多少个，而对于离线数据开发，因为不是实时，所以可以开发各种复杂需求，另外...

如何跟一个非相关性的人解释你是做大数据的，你是做大数据的哪一部分工作，从求职者角度，如何从jd描述中估摸大概率做哪一块，从猎头角度，如何从一份简历中看出你更匹配哪个jd1....

Flink作为大数据生态中重要的一个组件，现在在实时流处理方面占据着很重要的地位，其实时流处理方面支持基于事件的时间流处理方式，另外也推荐流批一体化，而现在处理实时数据较常...

1.问题像一些效率工具，比如滴答清单，Notion/我来，Xmind，Cubox等这些，差不多都有两年以上的使用基础，但是苦于一直还是沦为了工具人，而不是用工具解决问题的人...

1.简介大数据开发-表数据波动、码值分布波动监控 && 报警，是关于理论和设计部分，初步计算已经写完，管理平台部分，后续完善，本文主要针对模块设计部分，整体模块实现上是离线...

Flink体系结构以及主要组成像大多数大数据框架一样，Flink是非常经典的Master/Slave结构实现，JobManager是Master，TaskManager是S...

1.大数据处理的挑战缕一缕it的发展，第一阶段是各大系统各大平台的出现，解决的是线下搬到线上的效率问题，而下一个阶段是数据时代，处理这些各大平台积累的数据，积累的数据，一般...

1.连接mysql--driver-class-pathmysql-connector-java-5.1.21.jar在数据库中，SETGLOBALbinlog_forma...

1.union和unionall前者可以去重后者不会去重2.sql后面的distributeby,sortby的作用3.分桶表clusteredby(sno)sortedb...

linux命令大全：https://www.runoob.com/linux/linux-command-manual.html1.xargs常用xargs-l1-P5-i...

1.union和unionall前者可以去重后者不会去重2.sql后面的distributeby,sortby的作用3.分桶表clusteredby(sno)sortedb...

前面一篇讲到streamin读取kafka数据加工处理后写到kafka数据，大数据开发-Spark-开发Streaming处理数据 &&写入Kafka是针对比如推荐领域，实...

算法 -链表操作题目套路前面这一篇文章主要讲链表操作时候的实操解决方式，本文从本质讲解链表操作的元信息，学完后，再也不怕链表操作题目了。1.链表的基本操作链表的基本操作无外...

Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配...

1.为什么是json4s从json4s的官方描述在scala库中，至少有6个json库，并且不包括java的json库，这些库都有着类似的抽象语法树AST，json4s的目...

1.userssiscurrentlyuserbyprocess3234问题原因：root-->ss-->root栈递归一样解决方式：exit退出当前到ss再退出到root...

在日常开发过程中，除了例行调度的任务和直接在开发环境下比如Scripts，开发，很多情况下是shell下直接搞起（小公司一般是这样），看一下常见的linux后台运行和关闭的...

关于stage划分和宽依赖窄依赖的关系，从2.1.3 如何区别宽依赖和窄依赖就知道stage与宽依赖对应，所以从rdd3和rdd4的stage的依赖图就可以区别宽依赖，可以...

1.SparkGraph简介GraphX是Spark一个组件，专门用来表示图以及进行图的并行计算。GraphX通过重新定义了图的抽象概念来拓展了RDD：定向多图，其属性附加...