大数据
2篇文章 · 0订阅
  • 面对十亿数据量的技术挑战，如何对系统进行性能优化？【石杉的架构笔记】
    首先一起来画个图，回顾一下Hadoop HDFS中的超大数据文件上传的原理。 其实说出来也很简单，比如有个十亿数据量级的超大数据文件，可能都达到TB级了，此时这个文件实在是太大了。 此时，HDFS客户端会给拆成很多block，一个block就128MB。 这个HDFS客户端你可…
    Java 架构
    面对十亿数据量的技术挑战，如何对系统进行性能优化？【石杉的架构笔记】
  • 兄弟，用大白话告诉你小白都能看懂的Hadoop架构原理
    Hadoop是目前大数据领域最主流的一套技术体系，包含了多种技术。 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 有些朋友可能听说过Hadoop，但是却不太清楚他到底是个什么东西，这篇文章就用大白话给各位阐述一下。…
    Java 架构 微服务
    兄弟，用大白话告诉你小白都能看懂的Hadoop架构原理