1-Kafka基本概念

  • 日期:08-11
  • 点击:(1981)


  Kafka是一个分布式的消息引擎系统和流式处理系系统。

关于消息引擎系统,它主要为消息发布和订阅提供了一整套解决方案。

基本概念

基本术语

描述

经纪人

Kafka进程,通常在每台计算机上部署实例

记录

指Kafka中的消息记录

主题

消息的发布和订阅采用主题的形式,为每个业务或应用程序或数据类型创建专用主题。

生产者

生产者,指向生成和发布消息到Topic的客户端,可以将消息发布到一个或多个主题

消费者

消息者指的是订阅和使用指定主题的客户端,并且可以同时订阅多个主题消息

分区

分区,主题可以分为多个分区,类似于MD,ES中的分片和Hbase中的Region。分区号从0开始,每个分区都是一组有序的消息日志

复制

备份机制,每个分区可以备份到多台机器

复制品

复制,分区数据备份。分为LeaderReplica(领导者的副本),在外部提供服务,与客户交互; FollowerReplica(副本),由领导者跟随,更新数据,不提供服务

偏移

消息的位置信息是单调递增和恒定的值

ConsumerOffset

消费者支出的进步,每个消费者都有自己的消费支出

ConsumerGroup

由多个消费者组成的消费者组,他们共同使用主题中的数据。每个分区通常对应一个消费者,多个消费者同时消耗多个分区以实现高吞吐量

重新平衡

重新平衡,消费者群体中的消费者实例挂起,其他生活实例重新分配订阅主题分区的过程,kafka实现了重要手段的高可用性

Kafka三层消息架构

第一层是主题层,每个主题可以配置M个分区,每个分区可以配置N个副本。

第二层是分区层。每个分区的N个副本中只有一个可以作为领导者的副本来提供外部服务。其他N-1是跟随者副本,只能用于数据冗余。

消息的位移从0开始并依次递增。

客户端只能与分区中的领导者副本进行交互。

96

Wenthkim

2019.07.2808: 16

字数215

Kafka是一个分布式消息传递引擎系统和流媒体系统。

关于消息引擎系统,它主要为消息发布和订阅提供了一整套解决方案。

基本概念

基本术语

描述

经纪人

Kafka进程,通常在每台计算机上部署实例

记录

指Kafka中的消息记录

主题

消息的发布和订阅采用主题的形式,为每个业务或应用程序或数据类型创建专用主题。

生产者

生产者,指向生成和发布消息到Topic的客户端,可以将消息发布到一个或多个主题

消费者

消息者指的是订阅和使用指定主题的客户端,并且可以同时订阅多个主题消息

分区

分区,主题可以分为多个分区,类似于MD,ES中的分片和Hbase中的Region。分区号从0开始,每个分区都是一组有序的消息日志

复制

备份机制,每个分区可以备份到多台机器

复制品

复制,分区数据备份。分为LeaderReplica(领导者的副本),在外部提供服务,与客户交互; FollowerReplica(副本),由领导者跟随,更新数据,不提供服务

偏移

消息的位置信息是单调递增和恒定的值

ConsumerOffset

消费者支出的进步,每个消费者都有自己的消费支出

ConsumerGroup

在消费者群体中,多个消费者在主题中形成共同的数据消费,并且每个分区通常对应于一个消费者,并且多个消费者同时消费多个分区以实现高吞吐量。

重新平衡

重新平衡,消费者群体中的消费者实例挂起,其他生活实例重新分配订阅主题分区的过程,kafka实现了重要手段的高可用性

Kafka三层消息架构

第一层是主题层,每个主题可以配置M个分区,每个分区可以配置N个副本。

第二层是分区层。每个分区的N个副本中只有一个可以作为领导者的副本来提供外部服务。其他N-1是跟随者副本,只能用于数据冗余。

消息的位移从0开始并依次递增。

客户端只能与分区中的领导者副本进行交互。

Kafka是一个分布式消息传递引擎系统和流媒体系统。

关于消息引擎系统,它主要为消息发布和订阅提供了一整套解决方案。

基本概念

基本术语

描述

经纪人

Kafka进程,通常在每台计算机上部署实例

记录

指Kafka中的消息记录

主题

消息的发布和订阅是以主题的形式。为每个业务或应用程序或数据类型创建唯一的主题

生产者

生产者,指向生成和发布消息到Topic的客户端,可以将消息发布到一个或多个主题

消费者

消息者指的是订阅和使用指定主题的客户端,并且可以同时订阅多个主题消息

分区

分区,主题可以分为多个分区,类似于MD,ES中的分片和Hbase中的Region。分区号从0开始,每个分区都是一组有序的消息日志

复制

备份机制,每个分区可以备份到多台机器

复制品

复制,分区数据备份。分为LeaderReplica(领导者的副本),在外部提供服务,与客户交互; FollowerReplica(副本),由领导者跟随,更新数据,不提供服务

偏移

消息的位置信息是单调递增和恒定的值

ConsumerOffset

消费者支出的进步,每个消费者都有自己的消费支出

ConsumerGroup

在消费者群体中,多个消费者在主题中形成共同的数据消费,并且每个分区通常对应于一个消费者,并且多个消费者同时消费多个分区以实现高吞吐量。

重新平衡

重新平衡,消费者群体中的消费者实例挂起,其他生活实例重新分配订阅主题分区的过程,kafka实现了重要手段的高可用性

Kafka三层消息架构

第一层是主题层,每个主题可以配置M个分区,每个分区可以配置N个副本。

第二层是分区层。每个分区的N个副本中只有一个可以作为领导者的副本来提供外部服务。其他N-1是跟随者副本,只能用于数据冗余。

消息的位移从0开始并依次递增。

客户端只能与分区中的领导者副本进行交互。