首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Apache Storm
2749 关注,83 文章
关注
热门
最新
最热
haifeiWu
4年前
后端
Netty
Apache Storm
高性能无锁队列 Disruptor 初体验
最近一直在研究队列的一些问题,今天楼主要分享一个高性能的队列 Disruptor 。 它是英国外汇交易公司 LMAX 开发的一个高性能队列,研发的初衷是解决内存队列的延迟问题。基于 Disruptor 开发的系统单线程能支撑每秒600万订单。 目前,包括 Apache Stor…
6330
153
评论
唱小曲的辣椒儿
2年前
Apache Storm
docker-compose部署zk+kafka+storm集群
没有太多需要注意的地方,KAFKA_ZOOKEEPER_CONNECT正确配置好zk集群地址,还有ADVERTISED相关配置为当前容器。 "./influxdb:/var/lib/influxdb"为数据目录挂载,必须配置。INFLUXDB_GRAPHITE_ENABLED启…
1562
2
3
宜信技术学院
3年前
Apache Storm
流式计算的利器Storm
静态数据:为了支持决策分析而构建的数据仓库系统,其中存放的大量历史数据就是静态数据。 流数据:以大量、快速、时变的流形式持续到达的数据。(例如:实时产生的日志、用户实时交易信息) (1)、数据快速持续到达,潜在大小也许是无穷无尽的。 (2)、数据来源众多,格式复杂。 (3)、数…
1626
6
评论
职业干饭人
1年前
Apache Storm
后端
Storm基础篇四—消息的可靠性保证
本文已参与「掘力星计划」,赢取创作大礼包,挑战创作激励金。 主要结合官网文档Guaranteeing Message Processing,阐述了 Storm的消息保证机制。
504
3
评论
heibaiying
3年前
Apache Storm
Storm 系列(一)—— Storm和流处理简介
Storm 是一个开源的分布式实时计算框架,可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析,在线机器学习、持续计算、分布式 RPC、ETL 等场景。Storm 具有以下特点: 支持图形化管理界面。 Hadoop 采用 MapReduce 处理数据,而 MapRedu…
1673
2
评论
职业干饭人
1年前
Apache Storm
后端
Storm基础篇三—Scheduler、Configuration
本文主要结合storm官网文档,简要阐述了storm中的Scheduler和configuration,浅析了topology的提交过程以及storm默认调度器如何进行任务调度。
470
5
评论
heibaiying
3年前
Apache Storm
Storm 系列(二)—— Storm 核心概念详解
一个完整的 Storm 流处理程序被称为 Storm topology(拓扑)。它是一个是由 Spouts 和 Bolts 通过 Stream 连接起来的有向无环图,Storm 会保持每个提交到集群的 topology 持续地运行,从而处理源源不断的数据流,直到你将主动其杀死 …
1540
点赞
评论
heibaiying
3年前
Apache Storm
Storm 系列(四)—— Storm 集群环境搭建
这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务。同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus 服务外,还在 hadoop002 上部署备用的 Nimbus 服务。Nimbus 服务由 Z…
1296
1
评论
heibaiying
3年前
后端
Apache Storm
Storm 系列(六)—— Storm 项目三种打包方式对比分析
在将 Storm Topology 提交到服务器集群运行时,需要先将项目进行打包。本文主要对比分析各种打包方式,并将打包过程中需要注意的事项进行说明。主要打包方式有以下三种: 第三种:使用 maven-shade-plugin 进行打包。 以下分别进行详细的说明。 不在 POM…
1069
1
评论
职业干饭人
1年前
Apache Storm
后端
Storm基础篇七-Storm拓扑中的并行度
本文主要为学习Storm 拓扑中并行度(Parallelism)的概念,以及 运行拓扑的组成部分,包括工作进程(worker), 执行器(executors)和任务(tasks)等。
316
点赞
评论
职业干饭人
1年前
Apache Storm
Storm基础篇六-命令行客户端
本文主要结合 storm 官方文档,介绍了 storm 命令行客户端中有可能使用的命令。包括如何通过命令启动nimbus、supervisor进程等。
294
点赞
评论
heibaiying
3年前
Apache Storm
Storm 系列(五)—— Storm 编程模型详解
下图为 Strom 的运行流程图,在开发 Storm 流处理程序时,我们需要采用内置或自定义实现 spout(数据源) 和 bolt(处理单元),并通过 TopologyBuilder 将它们之间进行关联,形成 Topology。 IComponent 接口定义了 Topolo…
972
1
评论
heibaiying
3年前
Apache Storm
Storm 系列(七)—— Storm 集成 Redis 详解
RedisLookupBolt、RedisStoreBolt、RedisFilterBolt 均继承自 AbstractRedisBolt 抽象类。我们可以通过继承该抽象类,实现自定义 RedisBolt,进行功能的拓展。 这里首先给出一个集成案例:进行词频统计并将最后的结果存…
749
1
评论
石纪元
4年前
Apache Storm
Storm系列(六)storm和kafka集成
这包括新的Apache Kafka消费者API。兼容性 Apache Kafka版本0.10起 通过使用KafkaSpoutConfig类来配置spout实现。此类使用Builder模式,可以通过调用其中一个Builders构造函数或通过调用KafkaSpoutConfig类中…
813
2
评论
职业干饭人
1年前
Apache Storm
如何对Storm拓扑结构进行调优
前言 Storm是真的冷落了呀,上stack overflow上去寻求大佬帮助,终是石沉大海。不扯这些没用的。我们来大致总结一下 storm topology 优化的方法论。
175
点赞
评论
zed
2年前
Apache Storm
Storm 系列(一)—— Storm和流处理简介
Storm 是一个开源的分布式实时计算框架,可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析,在线机器学习、持续计算、分布式 RPC、ETL 等场景。Storm 具有以下特点: 支持图形化管理界面。 Hadoop 采用 MapReduce 处理数据,而 MapRedu…
433
点赞
评论
石纪元
4年前
Apache Storm
Storm系列(五)DRPC实现远程调用
Trident拥有一流的抽象,可以读取和写入有状态的来源。状态可以是拓扑的内部 - 例如,保存在内存中并由HDFS支持 - 或者外部存储在Memcached或Cassandra等数据库中。在任何一种情况下,Trident API都没有区别。 Trident以容错的方式管理状态,…
758
点赞
评论
heibaiying
3年前
Apache Storm
Storm 系列(八)—— Storm 集成 HDFS 和 HBase
这里 HDFS 的地址和数据存储路径均使用了硬编码,在实际开发中可以通过外部传参指定,这样程序更为灵活。 可以用直接使用本地模式运行,也可以打包后提交到服务器集群运行。本仓库提供的源码默认采用 maven-shade-plugin 进行打包,打包命令如下: 运行后,数据会存储到…
556
1
评论
heibaiying
3年前
Apache Storm
Storm 系列(三)—— Storm 单机版本环境搭建
1. 安装环境要求 按照官方文档 的说明:storm 运行依赖于 Java 7+ 和 Python 2.6.6 +,所以需要预先安装这两个软件。由于这两个软件在多个框架中都有依赖,其安装步骤单独整理至 : 2. 下载并解压 3. 配置环境变量 4. 启动相关进程 因为要启动多个…
518
1
评论
heibaiying
3年前
Apache Storm
Storm 系列(九)—— Storm 集成 Kafka
Storm Kafka Integration (0.10.x+) : 包含 Kafka 新版本的 consumer API,主要对 Kafka 0.10.x + 提供整合支持。 这里我服务端安装的 Kafka 版本为 2.2.0(Released Mar 22, 2019) …
280
1
评论
温馨提示
当前操作失败,如有疑问,可点击申诉