大数据
4篇文章 · 0订阅
  • 【性能优化的秘密】Hadoop如何将TB级大文件的上传性能优化上百倍
    上一篇文章，我们聊了一下Hadoop中的NameNode里的edits log写机制。 主要分析了edits log写入磁盘和网络的时候，是如何通过分段加锁以及双缓冲的机制，大幅度提升了多线程并发写edits log的吞吐量，从而支持高并发的访问。 如果没看那篇文章的同学，可以…
    后端 架构 Hadoop
    【性能优化的秘密】Hadoop如何将TB级大文件的上传性能优化上百倍
  • 大数据技术简介
    2018年9月30日，中国互联网巨头腾讯公司的总裁刘炽平发出一封全员信，正式启动了公司历史上第三次重大组织架构调整，外界解读腾讯此举是为了把人工智能、大数据和云计算提升到更核心的战略位置，其实不止腾讯，谷歌、亚马逊、阿里巴巴、百度、小米等互联网巨头近年来都在调整组织架构，这些种…
    后端 大数据
  • 分布式文件系统架构对比
    本文源自 Juicedata 创始人 & CEO Davies 在上海 Linux 用户组（SHLUG）的月度分享（2018/6/23）。 对比了 Ceph，GlusterFS，HDFS 等开源分布式文件系统的架构特点，以及带来的优缺点
  • HDFS架构及原理
    随着数据量的不断增大，文件的大小取决于单机存储的上限，这显然满足不了我们的需求。HDFS将大文件切块，部署到不同的机器节点上，完成分布式存储。 在分布式系统中，计算机节点放在机架上，每个机架存在很多节点，不同机架之间通过交换机通信，同一机架不同节点之间通过网络互连。 一台计算机…
    HDFS