基础编程学习快乐每一天
首页
留言
Siddim.com
当前位置:
首页
>
编程知识库
>
后端开发知识
>
面试官:为什么kafka效率这么高?
面试官:为什么kafka效率这么高?
阅读
1
2021-07-11
kafka的IO效率这么高的原因:
(
1
)第一个是在写入数据的时候第一个就是因为
kafka
是顺序写入数据的,把普通的那种随机
IO
变成了顺序
IO
,这样的话写入数据的速度就比较快
(
2
)第二个就是
kafka
读取数据的时候是基于
sendfile
实现
Zero
Copy
传统的数据读取的流程是:
基于
sendfile
实现
Zero
Copy
调用
read
函数,文件数据被
copy
到内核缓冲区
read
函数返回,文件数据从内核缓冲区
copy
到用户缓冲区
write
函数调用,将文件数据从用户缓冲区
copy
到内核与
socket
相关的缓冲区。
数据从
socket
缓冲区
copy
到相关协议引擎。
但是kafka的读取时这样的:
sendfile
系统调用,文件数据被
copy
至内核缓冲区
再从内核缓冲区
copy
至内核中
socket
相关的缓冲区
最后再
socket
相关的缓冲区
copy
到协议引擎
(
3
)第三个就是
kafka
的数据压缩,
Kafka
使用了批量压缩,即将多个消息一起压缩而不是单个消息压缩
下面这个图就是传统的数据读取:
这个是
kafka
使用的零拷贝的数据读取:
(
4
)第二个就是
kafka
的生产者在进行生产消息的时候,采用的是批量发送和双线程,其实就是使用了双线程,主线程和
Sender
线程。
主线程负责将消息置入客户端缓存,
Sender
线程负责从缓存中发送消息,而这个缓存会聚合多个消息为一个批次。有些消息中间件会把消息直接扔到
broker
。
感谢阅读,希望对你有所帮助 :)
来源:
blog
.
csdn
.
net
/
qq
_
36520235
/
article
/
details
/
89841798
以上数据来源于网络,如有侵权,请联系删除。
上一篇:
面试官:什么是NIO?NIO的原理是什么?
下一篇:
阿里巴巴菜鸟网络——面试经历记录
评论
(0)
提交
类别
基础编程学习
HTML
PHP
Python
编程知识库
后端开发知识
热门文章
Java并发中的同步容器与并发容器,你了解多少?
Innodb中的事务隔离级别和锁的关系,难倒一半面试者!
SpringBoot + minio实现分片上传、秒传、续传
面试官:你知道消息队列如何保证数据不丢失吗?
JAVA知识 Java8新特性
面试官:谈谈为什么要限流,有哪些限流方案?
说说动态代理与静态代理区别
面试官:思考Tomcat 类加载器为什么要违背双亲委派模型?
boot-admin 基于SpringBoot的后台权限管理系统,可作为脚手架,用于快速搭建项目
SpringBoot+Vue+App+硬件实现智能家居系统项目