应用程序使用KafkaConsumer从Kafka中订阅主题并接收来自这些主题的消息然后再把他们保存起来应用程序首先需要创建一个KafkaConsumer对象订阅主题并开始接受消息验证消息并保存结果一段时间后生产者往主题写入的速度超过了应用程序验证数据的速度这时候该如何处理如果只使用单个消费者的话应用程序会跟不上消息生成的速度就像多个生产者像相同的主题写入消息一样这时候就需要多个消费者共同参与消费主题中的消息对消息进行分流处理Kafka消费者从属于消费者群组一个群组中的消费者订阅的都是相同的主题每个消费者接收主题一部分分区的消息下面是一个Kafka分区消费示意图uploadfbacaabepn
2023-10-15 20:57 860 0 kafka
一LoadBalancer负载均衡前言在年以前的SpringCloud采用Ribbon作为负载均衡但是年之后SpringCloud吧Ribbon移除了而是使用自己编写的LoadBalancer替代因此如果在没有加入LoadBalancer依赖的情况下使用RestTemplate或OpenFeign远程调用就会报以下错误uploadcaaaefbcepng这就是在告诉你LoadBalancing是未定义的OpenFeign中引入的依赖会使用LoadBalancing然后问你是不是忘记加入springcloudstarterloadbalancer依赖LoadBalancer负载均衡底层实现原理a
2023-10-10 14:58 1537 0 SpringCloud
在Kafka中我们把产生消息的那一方称为生产者比如我们经常回去淘宝购物你打开淘宝的那一刻你的登陆信息登陆次数都会作为消息传输到Kafka后台当你浏览购物的时候你的浏览信息你的搜索指数你的购物爱好都会作为一个个消息传递给Kafka后台然后淘宝会根据你的爱好做智能推荐致使你的钱包从来都禁不住诱惑那么这些生产者产生的消息是怎么传到Kafka应用程序的呢发送过程是怎么样的呢尽管消息的产生非常简单但是消息的发送过程还是比较复杂的如图uploadfeebbfabddpng我们从创建一个ProducerRecord对象开始ProducerRecord是Kafka中的一个核心类它代表了一组Kafka需要发送的
2023-10-07 19:15 881 0 kafka
Java序列化与反序列化是什么Java序列化是指把Java对象转换为字节序列的过程而Java反序列化是指把字节序列恢复为Java对象的过程序列化序列化是把对象转换成有序字节流以便在网络上传输或者保存在本地文件中核心作用是对象状态的保存与重建我们都知道Java对象是保存在JVM的堆内存中的也就是说如果JVM堆不存在了那么对象也就跟着消失了而序列化提供了一种方案可以让你在即使JVM停机的情况下也能把对象保存下来的方案就像我们平时用的U盘一样把Java对象序列化成可存储或传输的形式如二进制流比如保存在文件中这样当再次需要这个对象的时候从文件中读取出二进制流再从二进制流中反序列化出对象反序列化客户端从
什么是KafkaKafka是由Linkedin公司开发的它是一个分布式的支持多分区多副本基于Zookeeper的分布式消息流平台它同时也是一款开源的基于发布订阅模式的消息引擎系统Kafka的基本术语消息Kafka中的数据单元被称为消息也被称为记录可以把它看作数据库表中某一行的记录批次为了提高效率消息会分批次写入Kafka批次就代指的是一组消息主题消息的种类称为主题Topic可以说一个主题代表了一类消息相当于是对消息进行分类主题就像是数据库中的表分区主题可以被分为若干个分区partition同一个主题中的分区可以不在一个机器上有可能会部署在多个机器上由此来实现kafka的伸缩性单一主题中的分区有
2023-10-02 18:41 1002 0
引言SpringBoot提供了许多便捷的功能和特性使得开发者可以更加轻松地构建强大高效的应用程序然而在应用程序启动时执行一些初始化操作是至关重要的它可以确保应用程序在启动后处于预期的状态从而提供更好的用户体验和稳定性在应用程序启动时执行初始化操作有许多好处首先它可以确保应用程序在启动后的初始状态是正确的避免了在应用程序运行时出现意外情况其次它可以在应用程序准备好接受请求之前完成一些必要的设置例如加载配置建立数据库连接缓存预热等总的来说执行初始化操作可以确保应用程序以正确的方式启动并为后续操作提供一个稳定的基础uploadaefdafafdafdpng监听ApplicationContext事件
2023-09-28 14:58 1180 0 SpringBoot
MySQL违反最左前缀法则索引失效的原因最左前缀原则原理最左前缀在MySQL的官方文档中称之为leftmostprefix该原则适用于多列索引想仅仅用三言两语来说清楚什么是最左前缀匹配原则不太现实但是如果使用官方文档的一个例子来说明该原则或许会好得多假如现在有一张表的创建语句如下sqlCREATETABLEtestidINTNOTNULLlastnameCHARNOTNULLfirstnameCHARNOTNULLPRIMARYKEYidINDEXnamelastnamefirstname可以命中索引的SQL如下的SQL可以命中name索引sqlSELECTFROMtestWHERElastn
2023-09-25 10:41 500 2 索引
git应该是当下代码管理最流行的工具关于其两个重要的指令gitmerge和gitrebase该如何使用什么是mergegitmerge合并是一种将分叉的历史记录重新组合在一起的方法在使用gitmerge时当前分支将被更新比如将B分支merge到A分支A分支就包含了B分支的代码但是B分支不包含A分支的代码gitmerge通常与gitcheckout结合使用用于选择当前分支与gitbranchd结合使用用于删除过时的源分支如下示例gitmerge需要两个提交指针并尝试找到两个分支之间的共同基础提交一旦git找到一个共同的基础提交它将创建一个新的合并提交如下图uploadbaceaffccdpng合
2023-09-23 21:47 878 0 Git
