大叔据

zookeeper作为一个分布式协调系统，很多组件都会依赖它，那么此时它的可用性就非常重要了，那么保证可用性的同时作为分布式系统的它是怎么保证扩展性的？问题很多，读完接下来的内容你会有答案。 另外：follower和observer同时均为learner（学习者）角色，lear…

多啰嗦两句，一个好的程序猿的基本素养是学习能力和自驱力。视频给了你们，能不能坚持下来学习，就只能靠自己了，另外大叔每周会不定期更新《每日五分钟搞定大数据》原创系列，感谢关注。 1. Scala 入门 2. Scala 的函数式编程 3. Scala 的面向对象编程 4. Sca…

多啰嗦两句，一个好的程序猿的基本素养是学习能力和自驱力。视频给了你们，能不能坚持下来学习，就只能靠自己了，另外大叔每周会不定期更新《每日五分钟搞定大数据》原创系列，感谢关注。 关注公众号：大叔据，后台留言1即可获得资料，没有其他条件。

直接停datanode，hadoop的balance机制会自动将备份数不足3份（可配置）的blocks重新备份，注意这个方式只可以一次停一台机器，不然可能会出现missing blocks。 3)出现这种情况可以尝试hdfs dfs -get 下载有问题的文件，若报错则只能用1…

＃问题描述：NodeManager1 cpu负载飙高，进程还在但是不再向ResourceManager发送心跳，不断重复下文2的动作。心跳停止一段时间后会重连上RM但是cpu仍然很高，再过一段时间心跳再停，一直循环。 ＃节点管理器的日志解析1.localizing：容器开始从H…

当Redis内存使用率超过可用内存(maxmemory可配置)的95%时，操作系统会进行内存与swap空间数据交换。把内存中旧的或不再使用的内容写入硬盘上即Swap分区，以便腾出新的物理内存给新页或活动页(page)使用。 在硬盘上进行读写操作要比在内存上进行读写操作，时间上慢…

想了很久，准备开始写一系列的文章，记录这些年来的所得所想，感觉内容比较多不知从哪里开始，画了个思维导图确定了大的方向，大家都知道大数据的主流技术变化迭代很快，不断会有新的东西加入，所以这张图里内容也会根据情况不断添加。细节的东西我会边写边定，大家也可以给我一些建议，我会根据写的…