Kafka基本概念

 2022-08-23    0 条评论    12012 浏览

kafka

生产者-Producer

投递消息的一方,负责生产消息并推送到kafka服务中

消费者-Customer

消费消息的一方,监听对应的topic,并拉取消息进行消费。

服务代理节点-Broker

服务代理节点,也就是一个独立的kafka的服务。

Topic-主题

kafka中的消息以主题进行归类,生产或者消费消息都以主题为标识

Partition-分区

  主题是逻辑上的概念,每个主题的数据会划分到不同的分区上面。分区可以分布到不同的broker上。这也是kafka的水平扩展的基础。

  kafka还为Partition分区提供了副本机制,一主(leader)多从(follower)的模式,提供了容灾的能力。

  customer与producer只与leader交互,follower只负责同步数据,数据可能会有延迟。

  • 所有的分区下的副本统称AR。
  • 所有保持同步的分区在ISR集合中,
  • 延迟太多的副本被放在OSR集合中。
  • 副本会根据同步的状况在两个集合中移动。
  • 当leader挂了的时候,就会从ISR集合中选取一个follower作为新的leader

Zookeeper

负责维护和协调broker,里面存储纪录了集群、分区、topic的offset等信息。