NOTE(注意)
在最新版本中, class packages 已经从 "backtype.storm" 改变成 "org.apache.storm" 了, 所以使用旧版本编译的 topology 代码不会像在 Storm 1.0.0 上那样运行了. 通过以下配置提供向后的兼容性
client.jartransformer.class: "org.apache.storm.hack.StormShadeTransformer"如果要运行使用较旧版本 Storm 编译的代码, 则需要在 Storm 安装中添加上述配置. 该配置应该添加到您用于提交 topologies(拓扑)的机器中.
更多细节, 请参阅 issues.apache.org/jira/browse….
Storm 基础
- Javadoc
- 概念
- 调度器
- 配置
- 保证消息处理
- Daemon(守护进程)容错
- 命令行 client(客户端)
- REST API
- 理解 Storm topology 的 parallelism(并行度)
- FAQ
Layers on Top of Storm
Storm Trident
Trident 是 Storm 的另一个 interface(接口). 它提供了 exactly-once(仅且一次)处理, "transactional(事务性的)" datastore persistence(数据存储持久化), 以及一些常见的 stream analytics operations(流式分析操作).
- Trident 教程 -- 基础的概念和预排工作
- Trident API 概述 -- 针对 transforming(转换)和 orchestrating 数据的操作
- Trident State(状态) -- exactly-once(仅且一次)处理以及 fast(快速的), persistent aggregation(持久化的聚合)
- Trident spouts -- transactional(事务性的)和 non-transactional(非事务性的)数据引入
- Trident RAS API -- 与 Trident 一起使用 Resource Aware Scheduler .
Storm SQL
该 Storm SQL 的集成可以让用户在 Storm 的 streaming data(流式数据)上来运行 SQL 查询.
NOTE(注意): Storm SQL 是一个 experimental(实验性的) 功能, 所以 Storm SQL 的结构和所支持的功能在以后可能会发生变化. 但是小的变化不会影响用户体验. 在引入 UX 更改时, 我们会及时通知用户.
Flux
Storm 安装和部署
- 安装一个 Storm 集群
- Local mode(本地模式)
- 问题排查
- 在生产 cluster(集群)上运行 topologies(拓扑)
- 构建 Storm with Maven
- 安装 Secure(安全的)Cluster(集群)
- CGroup 的实施
- Pacemaker 针对大集群减低在 zookeeper 上的负载
- Resource Aware Scheduler(资源意识调度器)
- Daemon Metrics/Monitoring(守护进程的度量/监控)
- Windows 平台的用户指南
Storm 中级
- Serialization(序列化)
- Common patterns(常见模式)
- Clojure DSL
- 与 Storm 一起使用非 JVM 的语言
- 分布式的 RPC
- Transactional topologies(事务性的拓扑)
- Hooks(钩子)
- Metrics(度量)
- State Checkpointing
- Windowing(窗口操作)
- Joining Streams
- Blobstore(Distcahce)
Storm 调试
Storm 与外部系统, 以及其它库的集成
- Apache Kafka 集成, 新的 Kafka Consumer(消费者)集成
- Apache HBase 集成
- Apache HDFS 集成
- Apache Hive 集成
- Apache Solr 集成
- Apache Cassandra 集成
- JDBC 集成
- JMS 集成
- Redis 集成
- Event Hubs 集成
- Elasticsearch 集成
- MQTT 集成
- Mongodb 集成
- OpenTSDB 集成
- Kinesis 集成
- Druid 集成
- Kestrel 集成
Container, Resource Management System Integration
Storm 高级
- 为 Storm 定义非 JVM 语言的 DSL
- 多语言协议(如何为其它语言提供支持)
- 实现文档