大数据框架
4篇文章 · 0订阅
  • mysql每日备份for Linux
    上面的意思是每分钟执行一次脚本.
    MySQL
  • Flume 在有赞大数据的实践
    Flume 是一个分布式的高可靠，可扩展的数据采集服务。 Flume 在有赞的大数据业务中一直扮演着一个稳定可靠的日志数据“搬运工” 的角色。本文主要讲一下有赞大数据部门在 Flume 的应用实践，同时也穿插着我们对 Flume 的一些理解。 认识 Flume 对事件投递的可靠…
    大数据 Apache Flume
  • Hello Spark! | Spark，从入门到精通
    Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处理而设计的快速通用的大数据处理引擎及轻量级的大数据处理统一平台。 当我们在谈 Spark 的时候可能是指一个 Spark 应用程序，替代 Ma…
    Spark Hadoop Yarn
    Hello Spark! | Spark，从入门到精通
  • HDFS写过程分析
    下面，我们从 DFSOutputStream 类开始，说明其内部实现原理。 打开一个 DFSOutputStream 流，Client 会写数据到流内部的一个缓冲区中，然后数据被分解成多个 Packet，每个 Packet 大小为 64k 字节，每个 Packet 又由一组 c…
    HDFS