一、速读KafKa的架构和运行机制
在大数据的流计算生态中,kafka是应用最为广泛的消息中间件(Messaging Queue),消息中间件有如下收益
- 解耦:双方无需感知对方的存在,二者本身除了消息之外,再无交集
- 异步:双方都可以按照自己的“节奏”和“步调”，来生产或是消费消息，而不必受制于对方的处理能力；
- 削峰：当消费者订阅了多个生产者的消息，且多个生产者同时生成大量消息时，得益于异步模式，消费者可以灵活地消费并处理消息，从而避免计算资源被撑爆的隐患。
与大多数主从架构的大数据组件(如HDFS、YARN、Spark、Flink等)不同,KafKa为无主架构。也就是说,在kafka集群中,没有Master这样一个角色来维护全局的数据状态
集群中的每台Server被称为Kafka Broker，Broker的职责在于存储生产者生产的消息,并为消费者提供数据访问。Broker与Broker之间，都是相互独立的,彼此不存在依赖关系
二、Kafka环境搭建
三、Python与Kafka交互
from pykafka import KafkaClient,common
client = KafkaClient(hosts="192.168.127.108:9092") #实例化
print(client.topics)
print(client.brokers)
未完明天再续