kafka性能之零拷贝kafka中的零拷贝并不是说完全避免了上下文切换与cpu拷贝的次数而是减少这种拷贝次数传统IO传统的一次IO流程read数据从磁盘读取到内核缓冲区然后从内核缓冲区拷贝到用户缓冲区write数据从用户缓冲区写入socket缓冲区然后写入网卡设备read之后也即向操作系统发出IO调用用户态切换到内核态DMA拷贝数据从硬盘到内核缓冲区CPU拷贝内核缓冲区数据到用户缓冲区内核态切换到用户态write之后也即发起IO调用用户态切换到内核态CPU拷贝用户缓冲区数据到socket缓冲区DMA拷贝socket缓冲区到网卡设备内核态切换到用户态uploaddfaffpng上述过程可以看出有
2024-09-17 13:54 1073 0 kafka
Kafka实现延迟消息方式方式一利用定时任务调度方案介绍利用定时任务来实现延迟消息是最好最简单的办法对于一个延迟消息来说一个延迟到分钟后才可以被消费的消息也可以认为是分钟后才可以发送也就是说我们可以设定一个定时任务这个任务会在分钟后把消息发送到消息服务器上定时任务调度最好是通过解决了持久化的分布式任务平台那么业务发送者就相当于注册一个任务这个任务就是在分钟之后发送一条消息到Kafka上之后业务消费者就能够消费了uploadbbcdbaeebepng方案的缺点这个方案的昀大缺点是支撑不住高并发这是因为绝大多数定时任务中间件都没办法支撑住高并发大数据的定时任务调度所以只有应用规模小延迟消息也不多的
应用程序使用KafkaConsumer从Kafka中订阅主题并接收来自这些主题的消息然后再把他们保存起来应用程序首先需要创建一个KafkaConsumer对象订阅主题并开始接受消息验证消息并保存结果一段时间后生产者往主题写入的速度超过了应用程序验证数据的速度这时候该如何处理如果只使用单个消费者的话应用程序会跟不上消息生成的速度就像多个生产者像相同的主题写入消息一样这时候就需要多个消费者共同参与消费主题中的消息对消息进行分流处理Kafka消费者从属于消费者群组一个群组中的消费者订阅的都是相同的主题每个消费者接收主题一部分分区的消息下面是一个Kafka分区消费示意图uploadfbacaabepn
2023-10-15 20:57 850 0 kafka
在Kafka中我们把产生消息的那一方称为生产者比如我们经常回去淘宝购物你打开淘宝的那一刻你的登陆信息登陆次数都会作为消息传输到Kafka后台当你浏览购物的时候你的浏览信息你的搜索指数你的购物爱好都会作为一个个消息传递给Kafka后台然后淘宝会根据你的爱好做智能推荐致使你的钱包从来都禁不住诱惑那么这些生产者产生的消息是怎么传到Kafka应用程序的呢发送过程是怎么样的呢尽管消息的产生非常简单但是消息的发送过程还是比较复杂的如图uploadfeebbfabddpng我们从创建一个ProducerRecord对象开始ProducerRecord是Kafka中的一个核心类它代表了一组Kafka需要发送的
2023-10-07 19:15 875 0 kafka
Kafka安装我在Kafka系列第一篇应该比较详细了详情见带你涨姿势的认识一下kafka这篇文章那我们还是主要来说一下Kafka中的重要参数配置吧这些参数对Kafka来说是非常重要的broker端配置brokerid每个kafkabroker都有一个唯一的标识来表示这个唯一的标识符即是brokerid它的默认值是这个值在kafka集群中必须是唯一的这个值可以任意设定port如果使用配置样本来启动kafka它会监听端口修改port配置参数可以把它设置成任意的端口要注意如果使用以下的端口需要使用root权限启动kakfazookeeperconnect用于保存broker元数据的Zookeeper
2023-10-05 18:46 1509 0 kafka
