大数据技术进阶

从3月份开始，陆续面了阿里，头条，美团，快手四家公司的大数据开发岗位，近20场面试面下来挺耗费脑力的，不过结果还行，除了头条外，目前拿到了其他三家的offer，今天把还能记住的题目做个整理，整理是按技术分类的，因为确实记不太清哪一场问了哪些题了。 先说一下这几场面试的整体感受，…

Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。 针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuf…

为什么要做风控系统不做的话，会有以下风险：各种小号、垃圾账号泛滥撞库攻击、盗号、毁号、拖库等拉新10w留存率不到5%百万营销费用，却增加不了用户粘性投票票数差距非常悬殊各种榜单被垃圾账号占领实物奖励被

该报错意思是用户代码的transformation操作中包含不可序列化的对象引用。 本文主要从以下三个方面解释Spark 应用中序列化问题 。 Spark是基于JVM运行的进行，其序列化必然遵守Java的序列化规则。 序列化就是指将一个对象转化为二进制的byte流（注意，不是b…

JedisCluster连接关闭问题set方法为例进入到set方法类JedisCluster中；初始化一个JedisClusterCommand对象，调用run方法；需要实现一个execute方法，通

概述StreamingListener是针对sparkstreaming的各个阶段的事件监听机制。StreamingListener接口自定义StreamingListener功能：监控批次处理时间，

本文整理自云栖社区之前对阿里搜索事业部资深搜索专家蒋晓伟老师的一次采访，蒋晓伟老师，认真而严谨。在加入阿里之前，他曾就职于西雅图的脸书，负责过调度系统，TimelineInfra和Messenger的

随着人口红利的慢慢削减，互联网产品的厮杀愈加激烈，大家开始看好下沉市场的潜力，拼多多，趣头条等厂商通过拉新奖励，购物优惠等政策率先抢占用户，壮大起来。其他各厂商也紧随其后，纷纷推出自己产品的极速版，如

作为一名应用系统开发人员，为什么要关注数据内部的存储和检索呢？首先，你不太可能从头开始实现一套自己的存储引擎，往往需要从众多现有的存储引擎中选择一个适合自己应用的存储引擎。因此，为了针对你特定的工作负载而对数据库调优时，最好对存储引擎的底层机制有一个大概的了解。 今天我们就先来…