Apache Storm

最近一直在研究队列的一些问题，今天楼主要分享一个高性能的队列 Disruptor 。 它是英国外汇交易公司 LMAX 开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题。基于 Disruptor 开发的系统单线程能支撑每秒600万订单。 目前，包括 Apache Stor…

没有太多需要注意的地方，KAFKA_ZOOKEEPER_CONNECT正确配置好zk集群地址,还有ADVERTISED相关配置为当前容器。 "./influxdb:/var/lib/influxdb"为数据目录挂载，必须配置。INFLUXDB_GRAPHITE_ENABLED启…

静态数据：为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。 流数据：以大量、快速、时变的流形式持续到达的数据。（例如：实时产生的日志、用户实时交易信息） (1)、数据快速持续到达，潜在大小也许是无穷无尽的。 (2)、数据来源众多，格式复杂。 (3)、数…

本文已参与「掘力星计划」，赢取创作大礼包，挑战创作激励金。 主要结合官网文档Guaranteeing Message Processing，阐述了 Storm的消息保证机制。

Storm 是一个开源的分布式实时计算框架，可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析，在线机器学习、持续计算、分布式 RPC、ETL 等场景。Storm 具有以下特点： 支持图形化管理界面。 Hadoop 采用 MapReduce 处理数据，而 MapRedu…

本文主要结合storm官网文档，简要阐述了storm中的Scheduler和configuration，浅析了topology的提交过程以及storm默认调度器如何进行任务调度。

一个完整的 Storm 流处理程序被称为 Storm topology(拓扑)。它是一个是由 Spouts 和 Bolts 通过 Stream 连接起来的有向无环图，Storm 会保持每个提交到集群的 topology 持续地运行，从而处理源源不断的数据流，直到你将主动其杀死 …

这里搭建一个 3 节点的 Storm 集群：三台主机上均部署 Supervisor 和 LogViewer 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Nimbus 服务外，还在 hadoop002 上部署备用的 Nimbus 服务。Nimbus 服务由 Z…

在将 Storm Topology 提交到服务器集群运行时，需要先将项目进行打包。本文主要对比分析各种打包方式，并将打包过程中需要注意的事项进行说明。主要打包方式有以下三种： 第三种：使用 maven-shade-plugin 进行打包。 以下分别进行详细的说明。 不在 POM…

本文主要为学习Storm 拓扑中并行度（Parallelism）的概念，以及 运行拓扑的组成部分，包括工作进程（worker）, 执行器（executors）和任务（tasks）等。

本文主要结合 storm 官方文档，介绍了 storm 命令行客户端中有可能使用的命令。包括如何通过命令启动nimbus、supervisor进程等。

下图为 Strom 的运行流程图，在开发 Storm 流处理程序时，我们需要采用内置或自定义实现 spout(数据源) 和 bolt(处理单元)，并通过 TopologyBuilder 将它们之间进行关联，形成 Topology。 IComponent 接口定义了 Topolo…

RedisLookupBolt、RedisStoreBolt、RedisFilterBolt 均继承自 AbstractRedisBolt 抽象类。我们可以通过继承该抽象类，实现自定义 RedisBolt，进行功能的拓展。 这里首先给出一个集成案例：进行词频统计并将最后的结果存…

这包括新的Apache Kafka消费者API。兼容性 Apache Kafka版本0.10起 通过使用KafkaSpoutConfig类来配置spout实现。此类使用Builder模式，可以通过调用其中一个Builders构造函数或通过调用KafkaSpoutConfig类中…

前言 Storm是真的冷落了呀，上stack overflow上去寻求大佬帮助，终是石沉大海。不扯这些没用的。我们来大致总结一下 storm topology 优化的方法论。

Storm 是一个开源的分布式实时计算框架，可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析，在线机器学习、持续计算、分布式 RPC、ETL 等场景。Storm 具有以下特点： 支持图形化管理界面。 Hadoop 采用 MapReduce 处理数据，而 MapRedu…

Trident拥有一流的抽象，可以读取和写入有状态的来源。状态可以是拓扑的内部 - 例如，保存在内存中并由HDFS支持 - 或者外部存储在Memcached或Cassandra等数据库中。在任何一种情况下，Trident API都没有区别。 Trident以容错的方式管理状态，…

这里 HDFS 的地址和数据存储路径均使用了硬编码，在实际开发中可以通过外部传参指定，这样程序更为灵活。 可以用直接使用本地模式运行，也可以打包后提交到服务器集群运行。本仓库提供的源码默认采用 maven-shade-plugin 进行打包，打包命令如下： 运行后，数据会存储到…

1. 安装环境要求 按照官方文档 的说明：storm 运行依赖于 Java 7+ 和 Python 2.6.6 +，所以需要预先安装这两个软件。由于这两个软件在多个框架中都有依赖，其安装步骤单独整理至 ： 2. 下载并解压 3. 配置环境变量 4. 启动相关进程 因为要启动多个…