数据
3篇文章 · 0订阅
  • EasyScheduler的架构原理及实现思路
    DAG： 全称Directed Acyclic Graph，简称DAG。工作流中的Task任务以有向无环图的形式组装起来，从入度为零的节点进行拓扑遍历，直到无后继节点为止。举例如下图： 调度方式： 系统支持基于cron表达式的定时调度和手动调度。命令类型支持：启动工作流、从当前…
    架构
  • Flume 在有赞大数据的实践
    Flume 是一个分布式的高可靠，可扩展的数据采集服务。 Flume 在有赞的大数据业务中一直扮演着一个稳定可靠的日志数据“搬运工” 的角色。本文主要讲一下有赞大数据部门在 Flume 的应用实践，同时也穿插着我们对 Flume 的一些理解。 认识 Flume 对事件投递的可靠…
    大数据 Apache Flume
  • Spark应用程序开发参数调优深入剖析-Spark商业调优实战
    本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。 需要对名为“hello.txt”的HDFS文件进行一次map操作，再进行一次reduce操作。 也就是说，需要对一份数据执行两次算子操作。 错误的做法：对于同一份数据执行多…
    Java Spark HDFS