大数据技术进阶

Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。 针对不同的转换函数，RDD之间的依赖关系...

为什么要做风控系统不做的话，会有以下风险：各种小号、垃圾账号泛滥撞库攻击、盗号、毁号、拖库等拉新10w留存率不到5%百万营销费用，却增加不了用户粘性投票票数差距非常悬殊各种...

该报错意思是用户代码的transformation操作中包含不可序列化的对象引用。 本文主要从以下三个方面解释Spark 应用中序列化问题 。 Spark是基于JVM运行的...

JedisCluster连接关闭问题set方法为例进入到set方法类JedisCluster中；初始化一个JedisClusterCommand对象，调用run方法；需要实...

概述StreamingListener是针对sparkstreaming的各个阶段的事件监听机制。StreamingListener接口自定义StreamingListen...

本文整理自云栖社区之前对阿里搜索事业部资深搜索专家蒋晓伟老师的一次采访，蒋晓伟老师，认真而严谨。在加入阿里之前，他曾就职于西雅图的脸书，负责过调度系统，TimelineIn...

随着人口红利的慢慢削减，互联网产品的厮杀愈加激烈，大家开始看好下沉市场的潜力，拼多多，趣头条等厂商通过拉新奖励，购物优惠等政策率先抢占用户，壮大起来。其他各厂商也紧随其后，...

作为一名应用系统开发人员，为什么要关注数据内部的存储和检索呢？首先，你不太可能从头开始实现一套自己的存储引擎，往往需要从众多现有的存储引擎中选择一个适合自己应用的存储引擎。...

1前言在使用Kylin的时候，最重要的一步就是创建cube的模型定义，即指定度量和维度以及一些附加信息，然后对cube进行build，当然我们也可以根据原始表中的某一个st...

今天，随着移动互联网、物联网、AI等技术的快速兴起，数据成为了所有这些技术背后最重要，也是最有价值的“资产”。如何从数据中获得有价值的信息？这个问题驱动了相关技术的发展，从...

前面的文章中我们讲道，像趣头条类的APP对于收徒和阅读行为给予用户现金奖励的方式势必会受到大量羊毛党黑产的注意，其实单个用户能薅到的钱是没有多少的，为了达到利益最大化，黑产...

上一篇文章《知识图谱在大数据中的应用》我们介绍了知识图谱的一些概念和应用场景，今天我们就来看一个具体的应用案例了解下知识图谱的应用。用户增长对于一个APP的生存起到了至关重...

在QCon北京2019大会上，赵云讲师做了《苏宁OLAP引擎发展之路》主题演讲，主要内容如下。演讲简介：对于海量大数据进行即时的多维分析，没有任何银弹。为解决苏宁复杂业务场...

随着移动互联网的发展，万物互联成为了可能，这种互联所产生的数据也在爆发式地增长，而这些数据恰好可以作为分析关系的有效原料。如果说以往的智能分析专注在每一个个体上，在移动互联...

安全性：配置跟随源代码保存在代码库中，容易造成配置泄漏。 时效性：修改配置，需要重启服务才能生效。 局限性：无法支持动态调整：例如日志开关、功能开关。 Apollo（阿波罗...

双生说：曹乐是典型学霸，清华本硕，多年互联网大厂研发经验，所以“资深”。我刚到新部门的时候，约各位合作部门的Leader请教，也算帮我做新岗位入职的“平稳降落”。印象最深的...

今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大...