小初杂货铺

10月26日，字节跳动技术沙龙 | 大数据架构专场 在上海字节跳动总部圆满结束。我们邀请到字节跳动数据仓库架构负责人-郭俊，Kyligence 大数据研发工程师-陶加涛，字...

概述2019年是大数据实时计算领域最不平凡的一年，2019年1月阿里巴巴Blink（内部的Flink分支版本）开源，大数据领域一夜间从Spark独步天下走向了两强争霸的时代...

本文来自由海致网络技术公司翟士丹分享。专注于大数据技术领域，ApacheSparkContributor，有丰富的SparkSQL引擎调优经验。海致全称海致网络技术公司，成...

本文将详细介绍利用 ES-Hadoop 将 Spark 处理的数据写入到 ES 中。 很显然是缺少 httpclient 相关依赖造成的，对比开源版本与 CDH 版本的 S...

所有时序数据就是基于时间而产生的一系列数据，在有时间坐标的坐标体系中，按照时间将这些数据点连成线，可以揭示其趋势与规律，如果对这些时序数据加以分析处理，可以用以训练机器学习...

本次分享是由来自阿里巴巴的高级工程师赵汉青带来的。主要讲述了：基于ELK+Kafka的日志分析系统Elasticsearch优化经验Elasticsearch运维实践Ela...

幂等是源于一种数学概念。其主要有两个定义 如果在一元运算中，x 为某集合中的任意数，如果满足 f(x) = f(f(x)) ，那么该 f 运算具有幂等性，比如绝对值运算 a...

本套系列博客从真实商业环境抽取案例进行总结和分享，并给出kafka商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。 1. Producer核心工作流程 Pr...

编写代码的"老司机"也是如此，"老司机"之所以被称为"老司机"，原因也是"无他，唯手熟尔"。编码过程中踩过的坑多了，获得的编码经验也就多了，总结的编码技巧也就更多了。总结的...

Flink Kafka Connector 是 Flink 内置的 Kafka 连接器，它包含了从 Kafka Topic 读入数据的 Flink Kafka Consum...

常用的SQL数据库的数据都是存在磁盘中的，虽然在数据库底层也做了对应的缓存来减少数据库的IO压力，但由于数据库的缓存一般是针对查询的内容，而且粒度也比较小，一般只有表中的数...

拖慢整个 Job 执行时间（其他已经完成的节点都在等这个还在做的节点）。 搞定 OOM 的根本原因等：一般都因为数据倾斜（某 Task 任务的数据量过大，GC 压力大，和 ...

项目架构是数据实时数据写入到kafka中，sparkstreaming通过direct消费kafka并将offset保存至zookeeper中批处理时间间隔是1S，然后数据...

如果你正在开发一个基于“事件”的应用程序，该应用程序可以处理来自不同用户的许多请求，那么你很大可能希望能够计算滑动窗口或指定时间范围内不同的用户操作。 计数不同用户行为的最...

使用缓存可以缓解大流量压力，显著提高程序的性能。我们在使用缓存系统时，尤其是大并发情况下，经常会遇到一些“疑难杂症”。本文总结了一些使用缓存时常见的问题及解决方案，以后在遇...

先看一下Redis是一个什么东西。官方简介解释到： 综上所述，Redis提供了丰富的功能，初次见到可能会感觉眼花缭乱，这些功能都是干嘛用的？都解决了什么问题？什么情况下才会...