1. 面试官：工作中使用过Zookeeper嘛？你知道它是什么，有什么用途呢？ 有使用过的，使用ZooKeeper作为dubbo的注册中心，使用ZooKeeper实现分布式锁。 ZooKeeper，它是一个开放源码的分布式协调服务，它是一个集群的管理者，它将简单易用的接口提供给…

ELK日志收集系统进阶使用，本文主要讲解如何打造一个线上环境真实可用的日志收集系统。有了它，你就可以和去服务器上捞日志说再见了！ Logstash需要安装json_lines插件。 记录日志：每个接口的访问记录，可以用来查看接口执行效率，获取接口访问参数。 ThresholdF…

在 Spring Boot 整合 Redis 中提到，对于进程间共享的数据，需要通过锁的方式避免脏数据的产生，可以利用 Redis 单线程的特性，实现共享数据的加锁和释放。本章主要介绍如何实现一个简单的分布式的锁。 在开发 Java 应用的时候，多线程需要对共享数据资源的修改可…

无论是数仓开发还是数据分析，写一手好的SQL是一项基本的技能。毋庸置疑，编写性能较好的SQL是非常重要的，但是，SQL的可读性同样是不容小觑的。一个有着混乱格式的SQL脚本，往往需要花费较长的时间去弄清楚脚本的具体逻辑。如果你曾经被祖传的毫无章法的SQL脚本狂虐过，你一定心有感…

SQL是大数据从业者的必备技能，大部分的大数据技术框架也都提供了SQL的解决方案。可以说SQL是一种经久不衰、历久弥新的编程语言。尤其是在数仓领域，使用SQL更是家常便饭。本文会分享四个在面试和工作中常用的几个使用技巧，具体包括： 日期与时间段的筛选在工作中是经常被用到的，因为…

在MapReduce的时候也许很多人会有这种疑问：写了MR后，map task和reduce task是如何在多节点上并行执行的，而且又是怎么决定哪个任务执行再哪个节点上的？其实这些问题都是和这个Yarn有关。因为Yarn这个框架其实不仅仅是支持MR，还可以运行各种各样的程序。…

简单回顾一下HDFS的写流程，MapReduce基础知识及机制了解，更详细的可以到我主页之后的MapReduce章节去查看

Distributed FileSystem顾名思义是一个分布式文件系统，它会通过RPC的方式远程过程调用NameNode里的open方法，这个open方法有什么作用呢，就是获取要读的文件的file block locations，也就是文件的block的位置，在上一讲我们也已…