首页
首页
沸点
课程
直播
资讯
活动
开放社区
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
掘金会员预售 5.16-6.16
登录
Apache Storm
2737 关注,77 文章
关注
热门
最新
最热
haifeiWu
3年前
后端
Netty
Apache Storm
高性能无锁队列 Disruptor 初体验
最近一直在研究队列的一些问题,今天楼主要分享一个高性能的队列 Disruptor 。 它是英国外汇交易公司 LMAX 开发的一个高性能队列,研发的初衷是解决内存队列的延迟问题。基于 Disruptor 开发的系统单线程能支撑每秒600万订单。 目前,包括 Apache Stor…
5619
151
评论
职业干饭人
7月前
Apache Storm
后端
Storm基础篇三—Scheduler、Configuration
本文主要结合storm官网文档,简要阐述了storm中的Scheduler和configuration,浅析了topology的提交过程以及storm默认调度器如何进行任务调度。
369
5
评论
职业干饭人
7月前
Apache Storm
后端
Storm基础篇四—消息的可靠性保证
本文已参与「掘力星计划」,赢取创作大礼包,挑战创作激励金。 主要结合官网文档Guaranteeing Message Processing,阐述了 Storm的消息保证机制。
315
3
评论
唱小曲的辣椒儿
1年前
Apache Storm
docker-compose部署zk+kafka+storm集群
没有太多需要注意的地方,KAFKA_ZOOKEEPER_CONNECT正确配置好zk集群地址,还有ADVERTISED相关配置为当前容器。 "./influxdb:/var/lib/influxdb"为数据目录挂载,必须配置。INFLUXDB_GRAPHITE_ENABLED启…
1251
2
3
职业干饭人
3月前
Apache Storm
如何对Storm拓扑结构进行调优
前言 Storm是真的冷落了呀,上stack overflow上去寻求大佬帮助,终是石沉大海。不扯这些没用的。我们来大致总结一下 storm topology 优化的方法论。
115
点赞
评论
职业干饭人
6月前
Apache Storm
Storm基础篇六-命令行客户端
本文主要结合 storm 官方文档,介绍了 storm 命令行客户端中有可能使用的命令。包括如何通过命令启动nimbus、supervisor进程等。
161
点赞
评论
宜信技术学院
2年前
Apache Storm
流式计算的利器Storm
静态数据:为了支持决策分析而构建的数据仓库系统,其中存放的大量历史数据就是静态数据。 流数据:以大量、快速、时变的流形式持续到达的数据。(例如:实时产生的日志、用户实时交易信息) (1)、数据快速持续到达,潜在大小也许是无穷无尽的。 (2)、数据来源众多,格式复杂。 (3)、数…
1408
6
评论
zed
1年前
Apache Storm
Storm 系列(九)—— Storm 集成 Kafka
Storm Kafka Integration (0.10.x+) : 包含 Kafka 新版本的 consumer API,主要对 Kafka 0.10.x + 提供整合支持。 这里我服务端安装的 Kafka 版本为 2.2.0(Released Mar 22, 2019) …
882
1
评论
heibaiying
2年前
Apache Storm
Storm 系列(一)—— Storm和流处理简介
Storm 是一个开源的分布式实时计算框架,可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析,在线机器学习、持续计算、分布式 RPC、ETL 等场景。Storm 具有以下特点: 支持图形化管理界面。 Hadoop 采用 MapReduce 处理数据,而 MapRedu…
1437
2
评论
职业干饭人
6月前
Apache Storm
后端
Storm基础篇七-Storm拓扑中的并行度
本文主要为学习Storm 拓扑中并行度(Parallelism)的概念,以及 运行拓扑的组成部分,包括工作进程(worker), 执行器(executors)和任务(tasks)等。
147
点赞
评论
heibaiying
2年前
Apache Storm
Storm 系列(二)—— Storm 核心概念详解
一个完整的 Storm 流处理程序被称为 Storm topology(拓扑)。它是一个是由 Spouts 和 Bolts 通过 Stream 连接起来的有向无环图,Storm 会保持每个提交到集群的 topology 持续地运行,从而处理源源不断的数据流,直到你将主动其杀死 …
1312
点赞
评论
heibaiying
2年前
Apache Storm
Storm 系列(四)—— Storm 集群环境搭建
这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务。同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus 服务外,还在 hadoop002 上部署备用的 Nimbus 服务。Nimbus 服务由 Z…
1168
1
评论
heibaiying
2年前
后端
Apache Storm
Storm 系列(六)—— Storm 项目三种打包方式对比分析
在将 Storm Topology 提交到服务器集群运行时,需要先将项目进行打包。本文主要对比分析各种打包方式,并将打包过程中需要注意的事项进行说明。主要打包方式有以下三种: 第三种:使用 maven-shade-plugin 进行打包。 以下分别进行详细的说明。 不在 POM…
961
1
评论
heibaiying
2年前
Apache Storm
Storm 系列(五)—— Storm 编程模型详解
下图为 Strom 的运行流程图,在开发 Storm 流处理程序时,我们需要采用内置或自定义实现 spout(数据源) 和 bolt(处理单元),并通过 TopologyBuilder 将它们之间进行关联,形成 Topology。 IComponent 接口定义了 Topolo…
871
1
评论
zed
1年前
Apache Storm
Storm 系列(二)—— Storm 核心概念详解
一个完整的 Storm 流处理程序被称为 Storm topology(拓扑)。它是一个是由 Spouts 和 Bolts 通过 Stream 连接起来的有向无环图,Storm 会保持每个提交到集群的 topology 持续地运行,从而处理源源不断的数据流,直到你将其主动杀死 …
401
点赞
1
heibaiying
2年前
Apache Storm
Storm 系列(七)—— Storm 集成 Redis 详解
RedisLookupBolt、RedisStoreBolt、RedisFilterBolt 均继承自 AbstractRedisBolt 抽象类。我们可以通过继承该抽象类,实现自定义 RedisBolt,进行功能的拓展。 这里首先给出一个集成案例:进行词频统计并将最后的结果存…
679
1
评论
zed
1年前
Apache Storm
Storm 系列(七)—— Storm 集成 Redis 详解
RedisLookupBolt、RedisStoreBolt、RedisFilterBolt 均继承自 AbstractRedisBolt 抽象类。我们可以通过继承该抽象类,实现自定义 RedisBolt,进行功能的拓展。 这里首先给出一个集成案例:进行词频统计并将最后的结果存…
387
点赞
评论
zed
1年前
Apache Storm
Storm 系列(一)—— Storm和流处理简介
Storm 是一个开源的分布式实时计算框架,可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析,在线机器学习、持续计算、分布式 RPC、ETL 等场景。Storm 具有以下特点: 支持图形化管理界面。 Hadoop 采用 MapReduce 处理数据,而 MapRedu…
392
点赞
评论
石纪元
3年前
Apache Storm
Storm系列(六)storm和kafka集成
这包括新的Apache Kafka消费者API。兼容性 Apache Kafka版本0.10起 通过使用KafkaSpoutConfig类来配置spout实现。此类使用Builder模式,可以通过调用其中一个Builders构造函数或通过调用KafkaSpoutConfig类中…
724
2
评论
heibaiying
2年前
Apache Storm
Storm 系列(八)—— Storm 集成 HDFS 和 HBase
这里 HDFS 的地址和数据存储路径均使用了硬编码,在实际开发中可以通过外部传参指定,这样程序更为灵活。 可以用直接使用本地模式运行,也可以打包后提交到服务器集群运行。本仓库提供的源码默认采用 maven-shade-plugin 进行打包,打包命令如下: 运行后,数据会存储到…
477
1
评论