不想说话

本文主要介绍 Logstash 的使用痛点以及迁移到 Flink 的优势，探索在 ELK 生态中，Flink 替换 Logstash 的更多可能，推动用户从 ELK 迁移到...

线上已有的topurl方案不能满足数据量增大后的需求，设计通过flink实现topurl，包括参数配置，执行图，，执行脚本等。...

如何理解CDN？说说实现原理？ 一、是什么 CDN (全称 Content Delivery Network)，即内容分发网络 构建在现有网络基础之上的智能虚拟网络，依靠部...

本文介绍了字节跳动在实时计算方面对 Flink 进行的两个实践优化，一是在 Network 层的单点恢复的功能，二是 Checkpoint 层的 Regional Chec...

ClickHouse的副本协同以及分布式查询是借助zk实现的，首先介绍下zk的目录结构 zk目录结构 zk在系统表中，提供了一张名为zookeeper的代理表，需要指定路径...

通过ck实现topurl功能，包括实现架构，建表方案，写入方案，测试等。提出新的优化点。优化点部分未完待续。。。...

最近使用Elasticsearch实现画像系统，实现的dmp的数据中台能力。同时调研了竞品的架构选型。以及重温了redis原理等。特此做一次es的总结和回顾。网上没看到有人...

线上问题 目前线上使用ES，经常会遇到慢查询报警，目前线上查询时间超过30s会触发慢查询报警。这些慢查询有两个特点： 查询的时间跨度比较大 存在嵌套查询...

目前使用了ck和es作为olap组件，ck解决了我们的痛点。从使用方式，写入，查询，查询性能多个角度分析下优劣。...

flink优于spark的特性： 首先明确计算模型是不同的： minibatch vs dataflow模型 minibatch:微批，时间驱动； dataflow模型：事...

他是一个开源的AI编程编辑器，目前在国内是可以不需要其他东西，可以之间访问的。而且目前免费使用。支持多种语言。我是如何使用他帮助我编写功能，修改代码，排查错误，聊人生的。...

线上问题 由于线上Spark集群均为过保机器，经常会出现某台机器出故障的情况，导致任务经常会进行失败重试，下面从源码角度解析失败重试的流程和重试逻辑。 流程 参考 http...

SortShuffleManager.getReader() 获取map任务状态 MapOutputTrackerWorker.getMapSizesByExecutorI...

SortShuffleWriter shuffle write流程： 创建ExternalSorter,如果不需要mapSideCombine，把聚合函数和ordering...