大数据老哥

最近看了好多粉丝的面试题，于是总结出关于HBase相关的面试题，今天分享给大家，认真阅读，记得收藏。一、讲一下 Hbase 架构Hbase主要包含HMaster/HRegionServer/Zooke

前言         最近又到了写毕业论文的季节了，有好多粉丝朋友私信我说老哥能不能帮我爬点数据让我来写论文，这时正好有位小女生正在打算买只小喵咪，于是老哥在全网搜索于是发现了下面的网站只好动动自己的

最近有好多小伙伴们问我让我整理下Hadoop面试题今天他来了，好好复习迎接新的一年的挑战。 1）Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。 2）Flume：一个高可用的，高可靠的，分布式的海量日志采集、聚…

在早期Hadoop刚出来的时候是没有解决HDFS单点问题的，这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪，这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决NameNode单点问题，接下来我们就来聊一聊。 解决HDFS点单问题其实可以部…

最近在跟一位粉丝聊天，聊起来了做离线数仓时该用那些技术栈。于是根据我的经验和参考一些资料于就有本篇文章。在这里我会分享三个按案例，仅供参考。 首先我们要明白一点小型公司人员并不多其次服务器的配置有不是很高，这时如果要做数仓使用到的大数据组价就不可能了，那我们就使用传统数据库来进…

在做实时数仓时，数据量往往比较大的，如果使用Canal来监听MySQL的状态当Canal 是单节服务时，服务器挂掉是就会造成数据丢失，这时Canal恰好可以配置HA这样就能解决单点问题，但是依赖于zookeeper,那我们就来配置一下Canal的HA。 canal是支持HA的，…

上篇文章给大家讲解了如何安装一个Canal,以及讲解了一部分的原理，今天我们就来深度聊一聊Canal的工作流程，以及他是怎么工作的，以及架构师怎样的。 首先我们深度了解Canal时必须深度了解了一下MySQL主从复制原理。 MySQL slave 重放 relay log 中事…

当我们做一个项目时往往都需要选择该用什么技术。这一部分不是我们普通员工想的，而是架构师会根据客户的需求选择出合适的技术。当选择合适的技术会让我们的开发事半功倍。下面我就来讲解下我做的项目(实时数仓）是如何进行选型的。 当我们在选择技术时需要根据客户的需求来进行选择。比如：实时统…

我们在做实时数仓时数据往往都是保存到数据库中例如MySQL，当有一条数据新增或修改需要马上将数据同步到kafka中或其他的数据库中，这时候我们需要借助阿里开源出来的Canal,来实现我们功能。 根据官网的描述我们大约可以理解为Canal主要是基于MySQL做增量数据同步的例如:…