背景现在的服务基本是分布式微服务形式的而且大数据量也导致分库分表的产生对于水平分表就需要保证表中id的全局唯一性对于MySQL而言一个表中的主键id一般使用自增的方式但是如果进行水平分表之后多个表中会生成重复的id值那么如何保证水平分表后的多张表中的id是全局唯一性的呢如果还是借助数据库主键自增的形式那么可以让不同表初始化一个不同的初始值然后按指定的步长进行自增例如有张拆分表初始主键值为自增步长为当然也有人使用UUID来作为主键但是UUID生成的是一个无序的字符串对于MySQL推荐使用增长的数值类型值作为主键来说不适合也可以使用Redis的自增原子性来生成唯一id但是这种方式业内比较少用upl
uploadffcbdeaacdpng一般语句优化先从一般的语句优化开始其实对于很多规范大家并不陌生可就是在用的时候无法遵从希望今天大家再过一遍可以养成一种良好的数据库编码习惯选择合适的数据类型及字符集使用合适的数据类型可以减少存储空间和提高查询速度这个可不能小看数据量到达一个量级这个就能看出明显差异例子对于布尔值使用TINYINT而不是CHAR比如你有一个字段是表示业务状态或者是类型sqlCREATETABLEusersisactiveTINYINT对于仅存储英文的表使用latin而不是utfmbsqlCREATETABLEmessagescontentVARCHARCHARACTERSET
Mysql单表存多少数据合适如题是一个我们经常会遇到的问题它关乎我们请求调用的耗时与并发关乎什么时候要做数据清理归档关乎什么时候要做分库分表有人会根据自己的经验回答说W这数字是怎么一拍脑袋就得出的是否有各种限制条件今天让我们好好探寻一番首先我们知道Mysql的数据包括索引终归都是存在磁盘上的只是需要的时候才从磁盘读到内存中使用要搞明白题目前提是要先理解磁盘的构造以及我们是如何使用磁盘的我们以传统的机械磁盘为例uploadccfbebffedabfpng一个盘面是由多个同心圆构成每个圆就是一根磁道而磁道上最小的存储单位就是一个扇区sector就是上图中那绿色的一小撮圆弧段可存储的数据大小通常为字
如何理解微服务我们曾经的服务单体服务我们对于一个新模块开发时好多小伙伴就会问为什么我们要搞微服务架构一个项目把代码从头撸到尾不是很方便吗开发更快速部署也容易如果使用微服务涉及的技术就一大堆中间还容易出现各种不一致的问题对于这种问题怎么回答呢那我们就先看看我们以前做个BS服务是啥样的吧uploadcabadacfbefpng最开始我们都是弄一个tomcat服务容器mysql数据库直接就把项目打成war包扔到tomcat下直接启动部署通过浏览器就可以访问了有的甚至是服务页面数据库都在一台机器上直接就上到网上了给用户提供服务了那个时候我们主要主流技术BS架构大概是这样的阶段一jsp页面javastr
2024-03-12 20:59 755 0 SpringCloud 微服务
排行榜在我的Online学习平台项目中实现了积分功能并且也将用户的积分明细保存到了数据库积分的高低排名就是排行榜那么排行榜该如何实现呢基于数据库实现排行榜是基于积分实现的积分明细表如下uploadbadecbbfcbcdepng产生的数据如下uploadaecaafbepng要想形成排行榜我们在查询数据库时需要先对用户分组再对积分求和最终按照积分和排序Sql语句是这样sqlSELECTuseridSUMpointsFROMpointsrecordGROUPBYuseridORDERBYSUMpoints查询结果如下uploadbbbefeadcaapng面对的问题每个用户都可能会有数十甚至上百
海量数据存储策略对于数据库的海量数据存储方案有很多常见的有uploadfdedaafbeeadbfpng分区表分区Partition是一种数据存储方案可以解决单表数据较多的问题MySQL开始支持表分区功能数据库的表最终肯定是保存在磁盘中对于InoDB引擎一张表的数据在磁盘上对应一个ibd文件如图我们的积分榜单表对应的文件uploadffdabcbcadbcecpng如果表数据过多就会导致文件体积非常大文件就会跨越多个磁盘分区数据检索时的速度就会非常慢为了解决这个问题MySQL在版本引入表分区功能简单来说就是按照某种规则把表数据对应的ibd文件拆分成多个文件来存储从物理上来看一张表的数据被拆到多
2024-01-02 16:10 1176 0 分库分表
Kafka实现延迟消息方式方式一利用定时任务调度方案介绍利用定时任务来实现延迟消息是最好最简单的办法对于一个延迟消息来说一个延迟到分钟后才可以被消费的消息也可以认为是分钟后才可以发送也就是说我们可以设定一个定时任务这个任务会在分钟后把消息发送到消息服务器上定时任务调度最好是通过解决了持久化的分布式任务平台那么业务发送者就相当于注册一个任务这个任务就是在分钟之后发送一条消息到Kafka上之后业务消费者就能够消费了uploadbbcdbaeebepng方案的缺点这个方案的昀大缺点是支撑不住高并发这是因为绝大多数定时任务中间件都没办法支撑住高并发大数据的定时任务调度所以只有应用规模小延迟消息也不多的
