tonglin0325的个人主页

Kafka中bootstrap-server、broker-list和zookeeper的区别

参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer
  中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 –bootstrap-server

 

Kafka专业术语,参考 Apache kafka 工作原理介绍

Broker:Kafka 集群包含一个或多个服务器,这种服务器被称为 broker。

Topic:每条发布到 Kafka 集群的消息都有一个类别,这个类别被称为 Topic。(物理上不同 Topic 的消息分开存储,逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上,但用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处)。

Partition:Partition 是物理上的概念,每个 Topic 包含一个或多个 Partition。

Producer:负责发布消息到 Kafka broker。

Consumer:消息消费者,向 Kafka broker 读取消息的客户端。

Consumer Group:每个 Consumer 属于一个特定的 Consumer Group(可为每个 Consumer 指定 group name,若不指定 group name 则属于默认的 group)。

 

《Kafka权威指南》中是这样描述的

 

对于消费者,kafka中有两个设置的地方:对于老的消费者,由**–zookeeper参数设置;对于新的消费者,由–bootstrap-server参数**设置

如果使用了–zookeeper参数,那么consumer的信息将会存放在zk之中

查看的方法是使用./zookeeper-client,然后 ls /consumers/[group_id]/offsets/[topic]/[broker_id-part_id],这个是查看某个group_id的某个topic的offset

如果使用了–bootstrap-server参数,那么consumer的信息将会存放在kafka之中

 

对于console生产者,**–broker-list参数**指定了所使用的broker