洪文聊架构

由于项目需要存储历史业务数据，经过评估数据量会达到100亿以上，在原有mongodb集群和ES集群基础上，需要搭建Hbase集群进行调研，所以首先总结一下Hadoop集群的搭建过程。 注意这里3296就是hadoop yarn的web访问端口。 node21节点包括yarn的N…

http://localhost:16010查看Hbase的Web UI，以便查看是否启动成功。 其实并不随便，对应的解释，可以看后面的数据模型部分。 可以看到，row1,row2实则是key。 而获取到的数据，也不太一样，这是因为，在写入时，为row3多写入了一条属性。 可输…

在学习大数据系统时，搭建一个 Hadoop 是基本的操作，很多大数据上层的应用都依赖 HDFS，本文介绍一种搭建 Hadoop 集群的方法。 在之前我写过一篇搭建本地服务器集群的方法，如果有需要，可以参考这里搭建一个本地的服务器集群。 在开始搭建 Hadoop 之前，还需要做一…

HBase是建立在Hadoop生态之上的Database，源生对离线任务支持友好，又因为LSM树是一个优秀的高吞吐数据库结构，所以同时也对接了很多线上业务。在线业务对访问延迟敏感，并且访问趋向于随机，如订单、客服轨迹查询。离线业务通常是数仓的定时大批量处理任务，对一段时间内的数…

现在面试，一般都会聊聊分布式系统这块的东西。通常面试官都会从服务框架（Spring Cloud、Dubbo）聊起，一路聊到分布式事务、分布式锁、ZooKeeper等知识。所以咱们这篇文章就来聊聊分布式锁这块知识，具体的来看看Redis分布式锁的实现原理。 说实话，如果在公司里落…