0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Kafka框架的工作原理及工作流程

h1654155282.3538 来源:加米谷大数据张衡 作者:加米谷大数据张衡 2021-01-15 09:49 次阅读

Kafka在大数据威廉希尔官方网站 生态当中,以作为消息系统而闻名,面对活跃的流式数据,提供高吞吐量的服务,在实时大数据处理场景下,可以说是一大利器,国内外大厂都有应用。今天的大数据开发威廉希尔官方网站 分享,我们就主要来讲讲Kafka框架的工作原理

Kafka概述

官方定义,Kakfa是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据的实时处理领域。

通常来说,消息队列的模式分为两种:

①点对点模式:消息生产者发送消息到消息队列中,然后消息消费者从队列中取出并且消费消息,消息被消费后,队列中不在存储。

②发布/订阅模式(一对多,消费者消费数据之后不会清除消息):消息生产者将消息发布到Topic中,同时有多个消息消费者(订阅)消费该消息。

Kafka就是典型的发布/订阅模式,更加适用于实时大数据场景下的消息服务。

Kafka基础架构

Kafka的基础架构主要有Broker、生产者、消费者组构成,当前还包括ZooKeeper。

o4YBAGAA9O6ASalIAAJFNGI0lhI104.png

生产者负责发送消息,Broker负责缓冲消息,Broker中可以创建Topic,每个Topic又有Partition和Replication的概念。

消费者组负责处理消息,同一个消费者组的消费者不能消费同一个Partition中的数据。

消费者组主要是提高消费能力,比如之前是一个消费者消费100条数据,现在是2个消费者消费100条数据,可以提高消费能力。

所以消费者组的消费者的个数要小于Partition的个数,不然就会有消费者没有Partition可以消费,造成资源的浪费。

注意:不同消费者组的消费者是可以消费相同的Partition数据。

Kakfa如果要组件集群,则只需要注册到一个ZooKeeper中就可以了,ZooKeeper中还保留消息消费的进度或者说偏移量或者消费位置:

0.9之前的版本偏移量存储在ZooKeeper。

0.9之后的版本偏移量存储在Kafka中。Kafka定义了一个系统Topic,专用用来存储偏移量的数据。这样做主要是考虑到频繁更改偏移量,对ZooKeeper的压力较大,而且Kafka本身自己的处理也较复杂。

Kafka不能保证消息的全局有序,只能保证消息在Partition内有序,因为消费者消费消息是在不同的Partition中随机的。

Kafka工作流程

Kafka中的消息是以Topic进行分类的,生产者生成消息、消费者消费消息都面向Topic。

o4YBAGAA9PWAF38tAACUS2ENJWM138.png

Topic是一个逻辑上的概念,而Partition是物理上的概念。每个Partition又有副本的概念。

每个Partition对应于一个Log文件,该Log文件中存储的就是生产者生成的数据,生产者生成的数据会不断的追加到该Log的文件末端。

且每条数据都有自己的Offset,消费者都会实时记录自己消费到了那个Offset,以便出错的时候从上次的位置继续消费,这个Offset就保存在Index文件中。

Kafka的Offset是分区内有序的,但是在不同分区中是无顺序的,Kafka不保证数据的全局有序。

关于大数据开发,Kafka工作原理入门,以上就为大家做了简单的介绍了。Kafka在大数据威廉希尔官方网站 生态当中,普及度是非常高的,尤其是拥有丰富数据资源的企业,更加青睐于使用kafka。
责任编辑人:CC

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大数据
    +关注

    关注

    64

    文章

    8884

    浏览量

    137408
  • kafka
    +关注

    关注

    0

    文章

    51

    浏览量

    5216
收藏 人收藏

    评论

    相关推荐

    帮忙分析下这个设计的工作流程

    你好我是单片机学习的菜鸟能不能帮我分析一下一下设计的工作流程各个器件的工作原理
    发表于 12-07 11:06

    AndroidWifi工作流程

    AndroidWifi工作流程
    发表于 11-02 10:52

    AndroidWifi工作流程

    AndroidWifi工作流程
    发表于 09-25 11:17

    AndroidWifi工作流程

    AndroidWifi工作流程
    发表于 11-08 09:07

    Spark基本工作原理工作流程

    28 讲、Spark 基本工作原理与 RDD
    发表于 05-08 17:07

    数字式雷达信号处理器系统工作原理是什么?基本工作流程有哪些?

    数字式雷达信号处理器系统组成及工作原理是什么?数字式雷达信号处理器的基本工作流程有哪些?
    发表于 04-21 06:36

    Simulink是什么?Simulink的工作流程是怎样进行的?

    Simulink是什么?Simulink有哪些功能?如何去使用Simulink?Simulink的工作流程是怎样进行的?
    发表于 07-09 06:16

    AS068工作流程是怎样的?

    AS068工作流程是怎样的?
    发表于 12-07 08:02

    CAN总线的基本工作原理是什么?优势是什么?

    CAN总线的基本工作原理是什么?CAN总线工作流程是怎样的?CAN总线的优势是什么?如何计算CAN总线负载率?
    发表于 12-27 07:39

    财务管理工作流程

    财务管理工作流程
    发表于 03-30 20:42 8331次阅读

    测试工程师工作流程有哪些

    测试工程师的工作流程,与公司的整体工作流程,项目的测试要求等因素相关。本文主要讨论测试工程师的一般工作流程
    的头像 发表于 10-03 16:56 7707次阅读

    雷电的4K工作流程

    在4K的雷电工作流程
    的头像 发表于 05-31 11:20 2421次阅读

    工作流程图怎么用?有哪些绘制工作流程图的软件

    工作流程图是清晰地展示工作中各个环节的流程图图示,主要用于工作活动和效率的管理。工作流程图这种图示方法具有直观描述性、简洁性、可操作性和指导
    的头像 发表于 07-28 14:22 3550次阅读

    机器视觉系统的组成及工作流程

    机器视觉系统的组成及工作流程介绍。
    发表于 04-19 15:24 16次下载

    物联网数据采集器的工作原理工作流程

    物联网数据采集器的工作原理工作流程 物联网数据采集器是物联网系统中的关键组成部分,它负责收集、处理和传输设备所产生的数据。其工作原理工作流程如下所述。 一、物联网数据采集器
    的头像 发表于 02-01 10:59 4889次阅读