当前位置: 首页 > news >正文

【实现自己的 kafka!】kafka 的关键概念

kafka 的诞生

现在是在 2000 年代后期,你的名字叫做 Jay Kreps,你就职于 LinkedIn 公司。
LinkedIn 作为社交网络平台,用户规模和数据量现在快速增长,同时内部存在多种数据传递和处理需求,比如用户行为跟踪、日志收集、数据同步等。
你决定开发一个可以解决公司日志收集和数据管道问题的组件,所以需要满足高吞吐量,持久化存储,良好的扩展性和容错能力等特性。
由于你很喜欢弗兰兹・卡夫卡的作品,觉得其风格独特且富有深意,所以你给这个项目起名叫做 kafka。
自此,一个叫做 kafka 的组件开始存在!

kafka 是什么

Kafka 是一款开源的分布式流处理平台,核心功能是高效地接收、存储和传递大规模的实时数据流。
它的本质可以理解为 “分布式的消息队列 + 流处理工具”,既解决了传统消息队列的性能瓶颈,又拓展了实时数据处理的能力,是构建实时数据管道、事件驱动架构的核心组件。

kafka 的核心

既然是一个消息队列,那么就可以来进行一些简单的核心设计了

1. Producer(生产者)

2. Consumer(消费者)

3. Topic(主题)

这是一个消息队列比较简单的部分了,由生产者将消息放入特定的主题,然后由消费者到特定的主题进行消费
因为你要满足高吞吐量的要求,你想到,可以再次将 Topic 分开,每一个都拥有独立的处理能力,也就是说,每一个都是一个队列,你将每个分开的 Topic 叫做

4. Partition(分区)

由于这是一个分布式的组件, 加上要提升组件的可靠性,你想着可以增加几个副本来保证存储不丢失,同时也可以在当前分区不可以使用的时候,进行使用,所有有一个被称为首领副本(Leader Replica),负责处理读写请求;其他为跟随者副本(Follower Replica),仅同步首领副本的数据。当首领副本故障时,会从跟随者中选举新的首领。

5. Replica(副本)

你以前使用数组实现过简单的队列,你知道,使用数组的索引来表示当前队列的顺序,你也设计了一个相同的东西,来表示当前消息在分区中为位置,你将他称为

6. Offset (偏移量)

接下来你想实现消息队列的消费问题,一个消息只被一个消费者消费是比较简单的,但是有场景要求必须实现多个消费者组消费一条消息,你想到可以有一个消费组的概念,消息是按照消费者组进行消费的,当消费者组中只有一个消费者的时候,就实现了点对点模式,当有多个消费者的时候就实现了发布订阅模式

7. Consumer Group(消费者组)

因为是一个分布式的集群,所以你将这个集群称为kafka,而其中的每一个节点,你称为

8. Broker(代理)

因为 Partition 是一个独立可运行的单位,所以你将 Partition 放在不同的 broker 上, 提高可靠性和吞吐量

http://www.hskmm.com/?act=detail&tid=28298

相关文章:

  • 12. 对话框
  • 2024ICPC区域赛香港站
  • AI产品经理要了解的算法有哪些?
  • 一位印度小哥逆袭成为谷歌数据科学家的心路历程 - 教程
  • 基于selenium的网页自动搜索
  • MacOS Nginx
  • 缓存的击穿、雪崩、穿透在你项目中的场景是什么
  • [WC2021] 表达式求值
  • Set集合
  • AI时代下,如何看待“算法利维坦”?
  • JAVA - LinkedList 与 ArrayList 区别和 LinkedList 的四大接口解析
  • 苍穹外卖第三天(Swagger、@RequestParam和@RequestBody的使用场景、@PostMapping和@RequestMapping的区别、对象属性拷贝、@Insert注解)
  • Git 多账号管理
  • Hyper Server 2019安装I226-V网卡驱动
  • P10201 永恒
  • CF1209H tj
  • AirBattery - 在Mac上实时监控所有苹果设备电量
  • HTML学习日记
  • 10.10每日总结
  • 二分图与网络流 Trick
  • 10月10号
  • win11 系统如何进行硬盘分区?固态硬盘怎么分区?SSD 固态硬盘分区教程
  • 10/10
  • 数论(未完)
  • 没做完的题
  • 第十一天
  • JavaScriptDay1
  • 淘宝NPM镜像地址https://registry.npm.taobao.org不可用
  • 星星充电一面
  • 6 CF1034 div3 题解