redis实战项目
开篇导读
亲爱的小伙伴们大家好,马上咱们就开始实战篇的内容了,相信通过本章的学习,小伙伴们就能理解各种redis的使用啦,接下来咱们来一起看看实战篇我们要学习一些什么样的内容
- 短信登录
这一块我们会使用redis共享session来实现
- 商户查询缓存
通过本章节,我们会理解缓存击穿,缓存穿透,缓存雪崩等问题,让小伙伴的对于这些概念的理解不仅仅是停留在概念上,更是能在代码中看到对应的内容
- 优惠卷秒杀
通过本章节,我们可以学会Redis的计数器功能, 结合Lua完成高性能的redis操作,同时学会Redis分布式锁的原理,包括Redis的三种消息队列。
- 附近的商户
我们利用Redis的GEOHash来完成对于地理坐标的操作
- UV统计
主要是使用Redis来完成统计功能
- 用户签到
使用Redis的BitMap数据统计功能
- 好友关注
基于Set集合的关注、取消关注,共同关注等等功能,这一块知识咱们之前就讲过,这次我们在项目中来使用一下
- 打人探店
基于List来完成点赞列表的操作,同时基于SortedSet来完成点赞的排行榜功能
以上这些内容咱们统统都会给小伙伴们讲解清楚,让大家充分理解如何使用Redis
1、短信登录
1.1、导入黑马点评项目
1.1.1 、导入SQL
表 | 说明 |
---|---|
tb_user | 用户表 |
tb_user_info | 用户详情表 |
tb_shop | 商户信息表 |
tb_shop_type | 商户类型表 |
tb_blog | 用户日记表(达人探店日记) |
tb_follow | 用户关注表 |
tb_voucher | 优惠券表 |
tb_voucher_order | 优惠券的订单表 |
1.1.2、有关当前模型
手机或者app端发起请求,请求我们的nginx服务器,nginx基于七层模型走的是HTTP协议,可以实现基于Lua直接绕开tomcat访问redis,也可以作为静态资源服务器,轻松扛下上万并发, 负载均衡到下游tomcat服务器,打散流量,我们都知道一台4核8G的tomcat,在优化和处理简单业务的加持下,大不了就处理1000左右的并发, 经过nginx的负载均衡分流后,利用集群支撑起整个项目,同时nginx在部署了前端项目后,更是可以做到动静分离,进一步降低tomcat服务的压力,这些功能都得靠nginx起作用,所以nginx是整个项目中重要的一环。
在tomcat支撑起并发流量后,我们如果让tomcat直接去访问Mysql,根据经验Mysql企业级服务器只要上点并发,一般是16或32 核心cpu,32 或64G内存,像企业级mysql加上固态硬盘能够支撑的并发,大概就是4000起~7000左右,上万并发, 瞬间就会让Mysql服务器的cpu,硬盘全部打满,容易崩溃,所以我们在高并发场景下,会选择使用mysql集群,同时为了进一步降低Mysql的压力,同时增加访问的性能,我们也会加入Redis,同时使用Redis集群使得Redis对外提供更好的服务。
- 一台配置为4核8G的服务器,运行Tomcat应用服务器,即使经过优化和处理简单的业务,最多也只能处理1000左右的并发请求。
- 一般是16或32 核心cpu,32 或64G内存,像企业级mysql加上固态硬盘能够支撑的并发,大概就是4000起~7000左右,上万并发。
1.1.3、导入后端项目
在资料中提供了一个项目源码:
- 黑马已经提供好了后端项目源码压缩包,我们将其解压之后,放到自己的workspace里
- 然后修改MySQL和Reids的连接要素为自己的,随后启动项目
- 访问http://localhost:8081/shop-type/list ,如果可以看到JSON数据,则说明导入成功
1.1.4、导入前端工程
- 黑马已经提供好了前端项目源码压缩包,我们将其解压之后,放到自己的workSpace里
- 然后在nginx所在目录打开一个cmd窗口,输入命令,即可启动项目
1 | start nginx.exe |
- 访问http://localhost:8080/ ,打开开发者模式,可以看到页面
1.1.5 运行前端项目
1.2 、基于Session实现登录流程
发送验证码:
用户在提交手机号后,会校验手机号是否合法,如果不合法,则要求用户重新输入手机号。
如果手机号合法,后台此时生成对应的验证码,同时将验证码进行保存,然后再通过短信的方式将验证码发送给用户。
短信验证码登录、注册:
用户将验证码和手机号进行输入,后台从session中拿到当前验证码,然后和用户输入的验证码进行校验,如果不一致,则无法通过校验,如果一致,则后台根据手机号查询用户,如果用户不存在,则为用户创建账号信息,保存到数据库,无论是否存在,都会将用户信息保存到session中,方便后续获得当前登录信息
校验登录状态:
用户在请求时候,会从cookie中携带者JsessionId到后台,后台通过JsessionId从session中拿到用户信息,如果没有session信息,则进行拦截,如果有session信息,则将用户信息保存到threadLocal中,并且放行
1.3 、实现发送短信验证码功能
页面流程
具体代码如下
贴心小提示:
具体逻辑上文已经分析,我们仅仅只需要按照提示的逻辑写出代码即可。
- 发送验证码
1 |
|
- 登录
1 |
|
session的原理是cookie
- Cookie: Cookie是服务器发送到用户浏览器并保存在浏览器上的一小块数据。浏览器在向服务器发送请求时,会携带这个Cookie。通过这个机制,服务器能够读取到这个信息并保持用户状态。
- Session: Session是另一种用户状态跟踪技术。与Cookie不同的是,Session数据保存在服务器上,客户端(浏览器)不保存Session信息。当用户访问应用程序时,服务器会创建一个Session ID并发送到浏览器,浏览器会将Session ID保存在Cookie中。当浏览器再次发送请求时,它会在请求中包含这个Session ID,服务器通过Session ID来识别用户和提取Session信息。
所以,虽然Session和Cookie是两种不同的技术,但它们经常一起使用,以在无状态的HTTP协议中维护用户状态。
1.4、实现登录拦截功能
温馨小贴士:tomcat的运行原理
当用户发起请求时,会访问我们像tomcat注册的端口,任何程序想要运行,都需要有一个线程对当前端口号进行监听,tomcat也不例外,当监听线程知道用户想要和tomcat连接连接时,那会由监听线程创建socket连接,socket都是成对出现的,用户通过socket像互相传递数据,当tomcat端的socket接受到数据后,此时监听线程会从tomcat的线程池中取出一个线程执行用户请求,在我们的服务部署到tomcat后,线程会找到用户想要访问的工程,然后用这个线程转发到工程中的controller,service,dao中,并且访问对应的DB,在用户执行完请求后,再统一返回,再找到tomcat端的socket,再将数据写回到用户端的socket,完成请求和响应
通过以上讲解,我们可以得知 每个用户其实对应都是去找tomcat线程池中的一个线程来完成工作的, 使用完成后再进行回收,既然每个请求都是独立的,所以在每个用户去访问我们的工程时,我们可以使用threadlocal来做到线程隔离,每个线程操作自己的一份数据。
疑问:对应现在常用的SSM框架来说,Tomcat转发到工程中的controller,service,dao是线程安全的吗?
在使用Spring,SpringMVC和MyBatis(即SSM)的情况下:
- Controller:SpringMVC的Controller是单例的,但是它是线程安全的,因为每个HTTP请求都在新的线程中处理,并且不会共享Controller中的成员变量。只有在你添加了状态共享(如类变量)时,才需要处理线程安全问题。
- Service和DAO:Spring中的Service和DAO也是单例的,但它们通常是无状态的,不维护任何状态信息,所以它们是线程安全的。但是,如果你在Service或DAO中添加了状态共享的变量,那么你需要处理线程安全问题。
总的来说,Tomcat的线程模型保证了每个请求都在新的线程中处理,但是线程安全问题主要取决于你的应用代码是否正确处理了并发情况。
温馨小贴士:关于threadlocal
如果小伙伴们看过threadLocal的源码,你会发现在threadLocal中,无论是他的put方法和他的get方法, 都是先从获得当前用户的线程,然后从线程中取出线程的成员变量map,只要线程不一样,map就不一样,所以可以通过这种方式来做到线程隔离
拦截器代码【为什么需要拦截器,是保证没有登入的情况下不能访问其他页面,只能访问登入页面】
1 | public class LoginInterceptor implements HandlerInterceptor { |
让拦截器生效
1 |
|
1.5、隐藏用户敏感信息
我们通过浏览器观察到此时用户的全部信息都在,这样极为不靠谱,所以我们应当在返回用户信息之前,将用户的敏感信息进行隐藏,采用的核心思路就是书写一个UserDto对象,这个UserDto对象就没有敏感信息了,我们在返回前,将有用户敏感信息的User对象转化成没有敏感信息的UserDto对象,那么就能够避免这个尴尬的问题了。
在登录方法处修改
1 | //7.保存用户信息到session中 |
在拦截器处:
1 | //5.存在,保存用户信息到Threadlocal |
在UserHolder处:将user对象换成UserDTO
1 | public class UserHolder { |
1.6、session共享问题
核心思路分析:
每个tomcat中都有一份属于自己的session,假设用户第一次访问第一台tomcat,并且把自己的信息存放到第一台服务器的session中,但是第二次这个用户访问到了第二台tomcat,那么在第二台服务器上,肯定没有第一台服务器存放的session,所以此时 整个登录拦截功能就会出现问题,我们能如何解决这个问题呢?早期的方案是session拷贝,就是说虽然每个tomcat上都有不同的session,但是每当任意一台服务器的session修改时,都会同步给其他的Tomcat服务器的session,这样的话,就可以实现session的共享了。
但是这种方案具有两个大问题
1、每台服务器中都有完整的一份session数据,服务器压力过大。
2、session拷贝数据时,可能会出现延迟
所以咱们后来采用的方案都是基于redis来完成,我们把session换成redis,redis数据本身就是共享的,就可以避免session共享的问题了
1.7 Redis代替session的业务流程
1.7.1、设计key的结构
首先我们要思考一下利用redis来存储数据,那么到底使用哪种结构呢?由于存入的数据比较简单,我们可以考虑使用String,或者是使用哈希,如下图,如果使用String,同学们注意他的value,用多占用一点空间,如果使用哈希,则他的value中只会存储他数据本身,如果不是特别在意内存,其实使用String就可以啦。
1.7.2、设计key的具体细节
所以我们可以使用String结构,就是一个简单的key,value键值对的方式,但是关于key的处理,session他是每个用户都有自己的session,但是redis的key是共享的,咱们就不能使用code了
在设计这个key的时候,我们之前讲过需要满足两点
1、key要具有唯一性
2、key要方便携带
如果我们采用phone:手机号这个的数据来存储当然是可以的,但是如果把这样的敏感数据存储到redis中并且从页面中带过来毕竟不太合适,所以我们在后台生成一个随机串token,然后让前端带来这个token就能完成我们的整体逻辑了
1.7.3、整体访问流程
当注册完成后,用户去登录会去校验用户提交的手机号和验证码,是否一致,如果一致,则根据手机号查询用户信息,不存在则新建,最后将用户数据保存到redis,并且生成token作为redis的key,当我们校验用户是否登录时,会去携带着token进行访问,从redis中取出token对应的value,判断是否存在这个数据,如果没有则拦截,如果存在则将其保存到threadLocal中,并且放行。
其实,本质就是token保存用户的{uuid,user_info};
1.8 基于Redis实现短信登录
这里具体逻辑就不分析了,之前咱们已经重点分析过这个逻辑啦。
UserServiceImpl代码
1 |
|
1.9 解决状态登录刷新问题
1.9.1 初始方案思路总结:
在这个方案中,他确实可以使用对应路径的拦截,同时刷新登录token令牌的存活时间,但是现在这个拦截器他只是拦截需要被拦截的路径,假设当前用户访问了一些不需要拦截的路径,那么这个拦截器就不会生效,所以此时令牌刷新的动作实际上就不会执行,所以这个方案他是存在问题的
这里存在问题:
如果在一个系统中,有一个拦截器被设置为只拦截特定的路径(也就是那些需要验证用户身份的路径),当用户访问这些被拦截的路径时,拦截器就会检查用户的登录状态,并刷新登录令牌的有效期。这种做法在保证用户访问权限的同时,也能保持用户的登录状态。
然而,如果用户访问的是不需要被拦截的路径(即不需要验证用户身份的路径),那么这个拦截器就不会被触发,也就不会执行刷新令牌的操作。这就意味着,如果用户长时间只访问不需要身份验证的路径,那么他们的登录令牌可能会因为超过了有效期而过期,即使用户一直在活跃。
【简单说,这是设计上的问题,就是用户访问了不管登入与否都可以访问的页面,这样会导致用户的redis失效失效,不会更新】
1.9.2 优化方案
既然之前的拦截器无法对不需要拦截的路径生效,那么我们可以添加一个拦截器,在第一个拦截器中拦截所有的路径,把第二个拦截器做的事情放入到第一个拦截器中,同时刷新令牌,因为第一个拦截器有了threadLocal的数据,所以此时第二个拦截器只需要判断拦截器中的user对象是否存在即可,完成整体刷新功能。
1.9.3 代码
RefreshTokenInterceptor
1 | public class RefreshTokenInterceptor implements HandlerInterceptor { |
LoginInterceptor
1 | public class LoginInterceptor implements HandlerInterceptor { |
RBAC权限设计
RBAC(Role-Based Access Control,基于角色的访问控制)
2、商户查询缓存
2.1 什么是缓存?
前言:什么是缓存?
就像自行车,越野车的避震器。
举个例子:越野车,山地自行车,都拥有"避震器",防止车体加速后因惯性,在酷似"U"字母的地形上飞跃,硬着陆导致的损害,像个弹簧一样;
同样,实际开发中,系统也需要"避震器",防止过高的数据访问猛冲系统,导致其操作线程无法及时处理信息而瘫痪;
这在实际开发中对企业讲,对产品口碑,用户评价都是致命的;所以企业非常重视缓存技术;
缓存(Cache),就是数据交换的缓冲区,俗称的缓存就是缓冲区内的数据,一般从数据库中获取,存储于本地代码(例如:
1 | 例1:Static final ConcurrentHashMap<K,V> map = new ConcurrentHashMap<>(); 本地用于高并发 |
由于其被Static修饰,所以随着类的加载而被加载到内存之中,作为本地缓存,由于其又被final修饰,所以其引用(例3:map)和对象(例3:new HashMap())之间的关系是固定的,不能改变,因此不用担心赋值(=)导致缓存失效;
2.1.1 为什么要使用缓存
一句话:因为速度快,好用
缓存数据存储于代码中,而代码运行在内存中,内存的读写性能远高于磁盘,缓存可以大大降低用户访问并发量带来的服务器读写压力
实际开发过程中,企业的数据量,少则几十万,多则几千万,这么大数据量,如果没有缓存来作为"避震器",系统是几乎撑不住的,所以企业会大量运用到缓存技术;
但是缓存也会增加代码复杂度和运营的成本。
2.1.2 如何使用缓存
实际开发中,会构筑多级缓存来使系统运行速度进一步提升,例如:本地缓存与redis中的缓存并发使用
浏览器缓存:主要是存在于浏览器端的缓存
**应用层缓存:**可以分为tomcat本地缓存,比如之前提到的map,或者是使用redis作为缓存
**数据库缓存:**在数据库中有一片空间是 buffer pool,增改查数据都会先加载到mysql的缓存中
**CPU缓存:**当代计算机最大的问题是 cpu性能提升了,但内存读写速度没有跟上,所以为了适应当下的情况,增加了cpu的L1,L2,L3级的缓存
2.2 添加商户缓存
在我们查询商户信息时,我们是直接操作从数据库中去进行查询的,大致逻辑是这样,直接查询数据库那肯定慢咯,所以我们需要增加缓存
1 | @GetMapping("/{id}") |
2.2.1 、缓存模型和思路
标准的操作方式就是查询数据库之前先查询缓存,如果缓存数据存在,则直接从缓存中返回,如果缓存数据不存在,再查询数据库,然后将数据存入redis。
2.1.2、代码如下
代码思路:如果缓存有,则直接返回,如果缓存不存在,则查询数据库,然后存入redis。
1 |
|
2.3 缓存更新策略
缓存更新是redis为了节约内存而设计出来的一个东西,主要是因为内存数据宝贵,当我们向redis插入太多数据,此时就可能会导致缓存中的数据过多,所以redis会对部分数据进行更新,或者把他叫为淘汰更合适。
**内存淘汰:**redis自动进行,当redis内存达到咱们设定的max-memery的时候,会自动触发淘汰机制,淘汰掉一些不重要的数据(可以自己设置策略方式)
**超时剔除:**当我们给redis设置了过期时间ttl之后,redis会将超时的数据进行删除,方便咱们继续使用缓存
**主动更新:**我们可以手动调用方法把缓存删掉,通常用于解决缓存和数据库不一致问题
2.3.1 、数据库缓存不一致解决方案:
由于我们的缓存的数据源来自于数据库,而数据库的数据是会发生变化的,因此,如果当数据库中数据发生变化,而缓存却没有同步,此时就会有一致性问题存在,其后果是:
用户使用缓存中的过时数据,就会产生类似多线程数据安全问题,从而影响业务,产品口碑等;怎么解决呢?有如下几种方案
Cache Aside Pattern 人工编码方式:缓存调用者在更新完数据库后再去更新缓存,也称之为双写方案
Read/Write Through Pattern : 由系统本身完成,数据库与缓存的问题交由系统本身去处理
Write Behind Caching Pattern :调用者只操作缓存,其他线程去异步处理数据库,实现最终一致
2.3.2 、数据库和缓存不一致采用什么方案
综合考虑使用方案一,但是方案一调用者如何处理呢?这里有几个问题
操作缓存和数据库时有三个问题需要考虑:
如果采用第一个方案,那么假设我们每次操作数据库后,都操作缓存,但是中间如果没有人查询,那么这个更新动作实际上只有最后一次生效,中间的更新动作意义并不大,我们可以把缓存删除,等待再次查询时,将缓存中的数据加载出来
-
删除缓存还是更新缓存?
- 更新缓存:每次更新数据库都更新缓存,无效写操作较多
- 删除缓存:更新数据库时让缓存失效,查询时再更新缓存
-
如何保证缓存与数据库的操作的同时成功或失败?
- 单体系统,将缓存与数据库操作放在一个事务
- 分布式系统,利用TCC等分布式事务方案
应该具体操作缓存还是操作数据库,我们应当是先操作数据库,再删除缓存,原因在于,如果你选择第一种方案,在两个线程并发来访问时,假设线程1先来,他先把缓存删了,此时线程2过来,他查询缓存数据并不存在,此时他写入缓存,当他写入缓存后,线程1再执行更新动作时,实际上写入的就是旧的数据,新的数据被旧数据覆盖了。
- 先操作缓存还是先操作数据库?
- 先删除缓存,再操作数据库
- 先操作数据库,再删除缓存
结论:先操作数据库,再删除缓存。不一致的概率低。
https://baijiahao.baidu.com/s?id=1763573615688107095&wfr=spider&for=pc
2.4 实现商铺和缓存与数据库双写一致
核心思路如下:
修改ShopController中的业务逻辑,满足下面的需求:
根据id查询店铺时,如果缓存未命中,则查询数据库,将数据库结果写入缓存,并设置超时时间
根据id修改店铺时,先修改数据库,再删除缓存
修改重点代码1:修改ShopServiceImpl的queryById方法
设置redis缓存时添加过期时间
修改重点代码2
代码分析:通过之前的淘汰,我们确定了采用删除策略,来解决双写问题,当我们修改了数据之后,然后把缓存中的数据进行删除,查询时发现缓存中没有数据,则会从mysql中加载最新的数据,从而避免数据库和缓存不一致的问题
2.5 缓存穿透问题的解决思路
缓存穿透 :缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在,这样缓存永远不会生效,这些请求都会打到数据库。
常见的解决方案有两种:
- 缓存空对象
- 优点:实现简单,维护方便
- 缺点:
- 额外的内存消耗
- 可能造成短期的不一致
- 布隆过滤
- 优点:内存占用较少,没有多余key
- 缺点:
- 实现复杂
- 存在误判可能
**缓存空对象思路分析:**当我们客户端访问不存在的数据时,先请求redis,但是此时redis中没有数据,此时会访问到数据库,但是数据库中也没有数据,这个数据穿透了缓存,直击数据库,我们都知道数据库能够承载的并发不如redis这么高,如果大量的请求同时过来访问这种不存在的数据,这些请求就都会访问到数据库,简单的解决方案就是哪怕这个数据在数据库中也不存在,我们也把这个数据存入到redis中去,这样,下次用户过来访问这个不存在的数据,那么在redis中也能找到这个数据就不会进入到缓存了
**布隆过滤:**布隆过滤器其实采用的是哈希思想来解决这个问题,通过一个庞大的二进制数组,走哈希思想去判断当前这个要查询的这个数据是否存在,如果布隆过滤器判断存在,则放行,这个请求会去访问redis,哪怕此时redis中的数据过期了,但是数据库中一定存在这个数据,在数据库中查询出来这个数据后,再将其放入到redis中,
假设布隆过滤器判断这个数据不存在,则直接返回
这种方式优点在于节约内存空间,存在误判,误判原因在于:布隆过滤器走的是哈希思想,只要哈希思想,就可能存在哈希冲突
【缓存穿透:缓存和DB中都没数据,解决方法:缓存中存放空对象,或者用布隆过滤器进来的时候先看看十分偶存在对象再放行】
2.6 编码解决商品查询的缓存穿透问题:
核心思路如下:
在原来的逻辑中,我们如果发现这个数据在mysql中不存在,直接就返回404了,这样是会存在缓存穿透问题的。
现在的逻辑中:如果这个数据不存在,我们不会返回404 ,还是会把这个数据写入到Redis中,并且将value设置为空,当再次发起查询时,我们如果发现命中之后,判断这个value是否是null,如果是null,则是之前写入的数据,证明是缓存穿透数据,如果不是,则直接返回数据。
小总结:
缓存穿透产生的原因是什么?
- 用户请求的数据在缓存中和数据库中都不存在,不断发起这样的请求,给数据库带来巨大压力
缓存穿透的解决方案有哪些?
- 缓存null值
- 布隆过滤
- 增强id的复杂度,避免被猜测id规律
- 做好数据的基础格式校验
- 加强用户权限校验
- 做好热点参数的限流
2.7 缓存雪崩问题及解决思路
缓存雪崩是指在同一时段大量的缓存key同时失效或者Redis服务宕机,导致大量请求到达数据库,带来巨大压力。
解决方案:
- 给不同的Key的TTL添加随机值
- 利用Redis集群提高服务的可用性
- 给缓存业务添加降级限流策略
- 给业务添加多级缓存
2.8 缓存击穿问题及解决思路
缓存击穿问题也叫热点Key问题,就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了,无数的请求访问会在瞬间给数据库带来巨大的冲击。
常见的解决方案有两种:
- 互斥锁
- 逻辑过期
逻辑分析:假设线程1在查询缓存之后,本来应该去查询数据库,然后把这个数据重新加载到缓存的,此时只要线程1走完这个逻辑,其他线程就都能从缓存中加载这些数据了,但是假设在线程1没有走完的时候,后续的线程2,线程3,线程4同时过来访问当前这个方法, 那么这些线程都不能从缓存中查询到数据,那么他们就会同一时刻来访问查询缓存,都没查到,接着同一时间去访问数据库,同时的去执行数据库代码,对数据库访问压力过大。
用一个超市购物的例子来解释一下。
假设超市的货架上有一个商品格子,这个格子就像我们的缓存。当这个格子里的商品卖完了(缓存中的数据无效或者过期),需要从仓库(数据库)里搬新的商品来放。
现在有一个顾客(线程1)过来要买这个商品,他看到格子里没有商品,于是去仓库里搬新的商品。这个过程需要一点时间。
但是在顾客1还没走完这个过程的时候,后续的顾客2,顾客3,顾客4也来要买这个商品。他们看到货架上的格子是空的,也都赶紧去仓库里搬商品。这就造成了同一时间有多个顾客在仓库里搬同一种商品,对仓库的压力就会变大。
这个例子就是在解释,如果多个线程都不能从缓存中查询到数据,他们就会同时去访问数据库,这就可能对数据库造成过大的访问压力。
解决方案一、使用锁来解决:
因为锁能实现互斥性。假设线程过来,只能一个人一个人的来访问数据库,从而避免对于数据库访问压力过大,但这也会影响查询的性能,因为此时会让查询的性能从并行变成了串行,我们可以采用tryLock方法 + double check来解决这样的问题。
假设现在线程1过来访问,他查询缓存没有命中,但是此时他获得到了锁的资源,那么线程1就会一个人去执行逻辑,假设现在线程2过来,线程2在执行过程中,并没有获得到锁,那么线程2就可以进行到休眠,直到线程1把锁释放后,线程2获得到锁,然后再来执行逻辑,此时就能够从缓存中拿到数据了。
解决方案二、逻辑过期方案
方案分析:我们之所以会出现这个缓存击穿问题,主要原因是在于我们对key设置了过期时间,假设我们不设置过期时间,其实就不会有缓存击穿的问题,但是不设置过期时间,这样数据不就一直占用我们内存了吗,我们可以采用逻辑过期方案。
我们把过期时间设置在 redis的value中,注意:这个过期时间并不会直接作用于redis,而是我们后续通过逻辑去处理。假设线程1去查询缓存,然后从value中判断出来当前的数据已经过期了,此时线程1去获得互斥锁,那么其他线程会进行阻塞,获得了锁的线程他会开启一个 线程去进行 以前的重构数据的逻辑,直到新开的线程完成这个逻辑后,才释放锁, 而线程1直接进行返回,假设现在线程3过来访问,由于线程线程2持有着锁,所以线程3无法获得锁,线程3也直接返回数据,只有等到新开的线程2把重建数据构建完后,其他线程才能走返回正确的数据。
这种方案巧妙在于,异步的构建缓存,缺点在于在构建完缓存之前,返回的都是脏数据。
举例说明
让我们设想一下,有一个图书馆,里面有很多的书,而且每本书都有一个借阅期限。当读者借书时,图书馆会在借阅卡上记录下这本书的借阅期限。这个借阅卡就好比是Redis的value,上面记录的借阅期限就像是过期时间。
- 当读者1要借阅一本书时,图书馆会先查看借阅卡上的期限,如果发现这本书已经过期了(数据已经过期),那么图书馆就会让读者1稍等一下(获得互斥锁),然后派出一个图书馆员去书库里找一本新的书(新开一个线程去重构数据)。
- 在这个图书馆员找书的过程中,如果有其他的读者(线程2、线程3)也来借这本书,由于读者1已经在等待了,所以他们也只能等待(无法获得锁),并且图书馆会先给他们一本已经过期的书(直接返回过期的数据)。
- 当图书馆员最终找到新的书,把这本新书放到书架上(重建数据构建完毕),读者1的等待就结束了,他可以借到新的书。同时,其他的读者也可以开始借新的书。
进行对比
**互斥锁方案:**由于保证了互斥性,所以数据一致,且实现简单,因为仅仅只需要加一把锁而已,也没其他的事情需要操心,所以没有额外的内存消耗,缺点在于有锁就有死锁问题的发生,且只能串行执行性能肯定受到影响
逻辑过期方案: 线程读取过程中不需要等待,性能好,有一个额外的线程持有锁去进行重构数据,但是在重构数据完成前,其他的线程只能返回之前的数据,且实现起来麻烦
2.9 利用互斥锁解决缓存击穿问题
【同一时间只能由一个线程操作数据库】
核心思路:相较于原来从缓存中查询不到数据后直接查询数据库而言,现在的方案是 进行查询之后,如果从缓存没有查询到数据,则进行互斥锁的获取,获取互斥锁后,判断是否获得到了锁,如果没有获得到,则休眠,过一会再进行尝试,直到获取到锁为止,才能进行查询
如果获取到了锁的线程,再去进行查询,查询后将数据写入redis,再释放锁,返回数据,利用互斥锁就能保证只有一个线程去执行操作数据库的逻辑,防止缓存击穿。
操作锁的代码:
核心思路就是利用redis的setnx方法来表示获取锁,该方法含义是redis中如果没有这个key,则插入成功,返回1,在stringRedisTemplate中返回true, 如果有这个key则插入失败,则返回0,在stringRedisTemplate返回false,我们可以通过true,或者是false,来表示是否有线程成功插入key,成功插入的key的线程我们认为他就是获得到锁的线程。
1 | private boolean tryLock(String key) { |
操作代码:
1 | public Shop queryWithMutex(Long id) { |
3.0 利用逻辑过期解决缓存击穿问题
需求:修改根据id查询商铺的业务,基于逻辑过期方式来解决缓存击穿问题
思路分析:当用户开始查询redis时,判断是否命中,如果没有命中则直接返回空数据,不查询数据库,而一旦命中后,将value取出,判断value中的过期时间是否满足,如果没有过期,则直接返回redis中的数据,如果过期,则在开启独立线程后直接返回之前的数据,独立线程去重构数据,重构完成后释放互斥锁。
如果封装数据:因为现在redis中存储的数据的value需要带上过期时间,此时要么你去修改原来的实体类,要么你
步骤一、
新建一个实体类,我们采用第二个方案,这个方案,对原来代码没有侵入性。
1 |
|
步骤二、
在ShopServiceImpl 新增此方法,利用单元测试进行缓存预热
在测试类中
步骤三:正式代码
ShopServiceImpl
1 | private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10); |
3.1 封装Redis工具类
基于StringRedisTemplate封装一个缓存工具类,满足下列需求:
- 方法1:将任意Java对象序列化为json并存储在string类型的key中,并且可以设置TTL过期时间
- 方法2:将任意Java对象序列化为json并存储在string类型的key中,并且可以设置逻辑过期时间,用于处理缓
存击穿问题
- 方法3:根据指定的key查询缓存,并反序列化为指定类型,利用缓存空值的方式解决缓存穿透问题
- 方法4:根据指定的key查询缓存,并反序列化为指定类型,需要利用逻辑过期解决缓存击穿问题
将逻辑进行封装
1 |
|
在ShopServiceImpl 中
1 |
|
3、优惠卷秒杀
3.1 -全局唯一ID
每个店铺都可以发布优惠券。
当用户抢购时,就会生成订单并保存到tb_voucher_order这张表中,而订单表如果使用数据库自增ID就存在一些问题:
- id的规律性太明显
- 受单表数据量的限制
场景分析一:如果我们的id具有太明显的规则,用户或者说商业对手很容易猜测出来我们的一些敏感信息,比如商城在一天时间内,卖出了多少单,这明显不合适。
场景分析二:随着我们商城规模越来越大,mysql的单表的容量不宜超过500W,数据量过大之后,我们要进行拆库拆表,但拆分表了之后,他们从逻辑上讲他们是同一张表,所以他们的id是不能一样的, 于是乎我们需要保证id的唯一性。
全局ID生成器,是一种在分布式系统下用来生成全局唯一ID的工具,一般要满足下列特性:唯一性,高可用,高性能,递增性,安全性。
为了增加ID的安全性,我们可以不直接使用Redis自增的数值,而是拼接一些其它信息:
ID的组成部分:符号位:1bit,永远为0
时间戳:31bit,以秒为单位,可以使用69年
序列号:32bit,秒内的计数器,支持每秒产生2^32个不同ID
3.2 -Redis实现全局唯一Id
1 |
|
测试类
知识小贴士:关于countdownlatch
countdownlatch名为信号枪:主要的作用是同步协调在多线程的等待于唤醒问题
我们如果没有CountDownLatch ,那么由于程序是异步的,当异步程序没有执行完时,主线程就已经执行完了,然后我们期望的是分线程全部走完之后,主线程再走,所以我们此时需要使用到CountDownLatch
CountDownLatch 中有两个最重要的方法
1、countDown
2、await
await 方法 是阻塞方法,我们担心分线程没有执行完时,main线程就先执行,所以使用await可以让main线程阻塞,那么什么时候main线程不再阻塞呢?当CountDownLatch 内部维护的 变量变为0时,就不再阻塞,直接放行,那么什么时候CountDownLatch 维护的变量变为0 呢,我们只需要调用一次countDown ,内部变量就减少1,我们让分线程和变量绑定, 执行完一个分线程就减少一个变量,当分线程全部走完,CountDownLatch 维护的变量就是0,此时await就不再阻塞,统计出来的时间也就是所有分线程执行完后的时间。
1 |
|
3.3 添加优惠卷
每个店铺都可以发布优惠券,分为平价券和特价券。平价券可以任意购买,而特价券需要秒杀抢购:
tb_voucher:优惠券的基本信息,优惠金额、使用规则等
tb_seckill_voucher:优惠券的库存、开始抢购时间,结束抢购时间。特价优惠券才需要填写这些信息
平价卷由于优惠力度并不是很大,所以是可以任意领取
而代金券由于优惠力度大,所以像第二种卷,就得限制数量,从表结构上也能看出,特价卷除了具有优惠卷的基本信息以外,还具有库存,抢购时间,结束时间等等字段.
通过上述数据库可以看出来,这2张表通过id进行关联。
**新增普通卷代码: **VoucherController
1 |
|
新增秒杀卷代码:
VoucherController
1 |
|
VoucherServiceImpl
1 |
|
3.4 实现秒杀下单
下单核心思路:当我们点击抢购时,会触发右侧的请求,我们只需要编写对应的controller即可
秒杀下单应该思考的内容:
下单时需要判断两点:
- 秒杀是否开始或结束,如果尚未开始或已经结束则无法下单
- 库存是否充足,不足则无法下单
下单核心逻辑分析:
当用户开始进行下单,我们应当去查询优惠卷信息,查询到优惠卷信息,判断是否满足秒杀条件
比如时间是否充足,如果时间充足,则进一步判断库存是否足够,如果两者都满足,则扣减库存,创建订单,然后返回订单id,如果有一个条件不满足则直接结束。
VoucherOrderServiceImpl
1 |
|
3.5 库存超卖问题分析
有关超卖问题分析:在我们原有代码中是这么写的
1 | if (voucher.getStock() < 1) { |
假设线程1过来查询库存,判断出来库存大于1,正准备去扣减库存,但是还没有来得及去扣减,此时线程2过来,线程2也去查询库存,发现这个数量一定也大于1,那么这两个线程都会去扣减库存,最终多个线程相当于一起去扣减库存,此时就会出现库存的超卖问题。
超卖问题是典型的多线程安全问题,针对这一问题的常见解决方案就是加锁:而对于加锁,我们通常有两种解决方案:见下图:
悲观锁:
悲观锁可以实现对于数据的串行化执行,比如syn,和lock都是悲观锁的代表,同时,悲观锁中又可以再细分为公平锁,非公平锁,可重入锁,等等
乐观锁:
乐观锁:会有一个版本号,每次操作数据会对版本号+1,再提交回数据时,会去校验是否比之前的版本大1 ,如果大1 ,则进行操作成功,这套机制的核心逻辑在于,如果在操作过程中,版本号只比原来大1 ,那么就意味着操作过程中没有人对他进行过修改,他的操作就是安全的,如果不大1,则数据被修改过,当然乐观锁还有一些变种的处理方式比如cas
乐观锁的典型代表:就是cas,利用cas进行无锁化机制加锁,var5 是操作前读取的内存值,while中的var1+var2 是预估值,如果预估值 == 内存值,则代表中间没有被人修改过,此时就将新值去替换 内存值
其中do while 是为了在操作失败时,再次进行自旋操作,即把之前的逻辑再操作一次。
1 | int var5; |
课程中的使用方式:
课程中的使用方式是没有像cas一样带自旋的操作,也没有对version的版本号+1 ,他的操作逻辑是在操作时,对版本号进行+1 操作,然后要求version 如果是1 的情况下,才能操作,那么第一个线程在操作后,数据库中的version变成了2,但是他自己满足version=1 ,所以没有问题,此时线程2执行,线程2 最后也需要加上条件version =1 ,但是现在由于线程1已经操作过了,所以线程2,操作时就不满足version=1 的条件了,所以线程2无法执行成功。
3.6 乐观锁解决超卖问题
修改代码方案一、
【简单来说,就是在扣减库存的时候判断当前库存是否和之前查询的库存一样,一致的时候再进行扣减】
VoucherOrderServiceImpl 在扣减库存时,改为:
1 | boolean success = seckillVoucherService.update() |
以上逻辑的核心含义是:只要我扣减库存时的库存和之前我查询到的库存是一样的,就意味着没有人在中间修改过库存,那么此时就是安全的,但是以上这种方式通过测试发现会有很多失败的情况,失败的原因在于:在使用乐观锁过程中假设100个线程同时都拿到了100的库存,然后大家一起去进行扣减,但是100个人中只有1个人能扣减成功,其他的人在处理时,他们在扣减时,库存已经被修改过了,所以此时其他线程都会失败。
修改代码方案二、
之前的方式要修改前后都保持一致,但是这样我们分析过,成功的概率太低,所以我们的乐观锁需要变一下,改成stock大于0 即可
1 | boolean success = seckillVoucherService.update() |
知识小扩展:
针对cas中的自旋压力过大,我们可以使用Longaddr这个类去解决
Java8 提供的一个对AtomicLong改进后的一个类,LongAdder
大量线程并发更新一个原子性的时候,天然的问题就是自旋,会导致并发性问题,当然这也比我们直接使用syn来的好
所以利用这么一个类,LongAdder来进行优化。
如果获取某个值,则会对cell和base的值进行递增,最后返回一个完整的值
3.6 优惠券秒杀-一人一单
需求:修改秒杀业务,要求同一个优惠券,一个用户只能下一单
现在的问题在于:
优惠卷是为了引流,但是目前的情况是,一个人可以无限制的抢这个优惠卷,所以我们应当增加一层逻辑,让一个用户只能下一个单,而不是让一个用户下多个单。
具体操作逻辑如下:比如时间是否充足,如果时间充足,则进一步判断库存是否足够,然后再根据优惠卷id和用户id查询是否已经下过这个订单,如果下过这个订单,则不再下单,否则进行下单。
VoucherOrderServiceImpl
初步代码:增加一人一单逻辑
1 |
|
**存在问题:**现在的问题还是和之前一样,并发过来,查询数据库,都不存在订单,所以我们还是需要加锁,但是乐观锁比较适合更新数据,而现在是插入数据,所以我们需要使用悲观锁操作
**注意:**在这里提到了非常多的问题,我们需要慢慢的来思考,首先我们的初始方案是封装了一个createVoucherOrder方法,同时为了确保他线程安全,在方法上添加了一把synchronized 锁
1 |
|
,但是这样添加锁,锁的粒度太粗了,在使用锁过程中,控制锁粒度 是一个非常重要的事情,因为如果锁的粒度太大,会导致每个线程进来都会锁住,所以我们需要去控制锁的粒度,以下这段代码需要修改为:
intern() 这个方法是从常量池中拿到数据,如果我们直接使用userId.toString() 他拿到的对象实际上是不同的对象,new出来的对象,我们使用锁必须保证锁必须是同一把,所以我们需要使用intern()方法
1 |
|
但是以上代码还是存在问题,问题的原因在于当前方法被spring的事务控制,如果你在方法内部加锁,可能会导致当前方法事务还没有提交,但是锁已经释放也会导致问题,所以我们选择将当前方法整体包裹起来,确保事务不会出现问题:如下:
在seckillVoucher 方法中,添加以下逻辑,这样就能保证事务的特性,同时也控制了锁的粒度。
先获取锁,再进入函数才是正确的。
但是以上做法依然有问题,因为你调用的方法,其实是this.的方式调用的,事务想要生效,还得利用代理来生效,所以这个地方,我们需要获得原始的事务对象, 来操作事务。
在类A里面有方法a 和方法b, 然后方法b上面用 @Transactional加了方法级别的事务,在方法a里面 调用了方法b, 方法b里面的事务不会生效。原因是在同一个类之中,方法互相调用,切面无效 ,而不仅仅是事务。这里事务之所以无效,是因为spring的事务是通过aop实现的。
原文链接:https://blog.csdn.net/weixin_43564627/article/details/121354260
3.7 集群环境下的并发问题
通过加锁可以解决在单机情况下的一人一单安全问题,但是在集群模式下就不行了。
1、我们将服务启动两份,端口分别为8081和8082:
2、然后修改nginx的conf目录下的nginx.conf文件,配置反向代理和负载均衡:
具体操作(略)
有关锁失效原因分析
由于现在我们部署了多个tomcat,每个tomcat都有一个属于自己的jvm,那么假设在服务器A的tomcat内部,有两个线程,这两个线程由于使用的是同一份代码,那么他们的锁对象是同一个,是可以实现互斥的,但是如果现在是服务器B的tomcat内部,又有两个线程,但是他们的锁对象写的虽然和服务器A一样,但是锁对象却不是同一个,所以线程3和线程4可以实现互斥,但是却无法和线程1和线程2实现互斥,这就是 集群环境下,syn锁失效的原因,在这种情况下,我们就需要使用分布式锁来解决这个问题。
4、分布式锁
4.1 基本原理和实现方式对比
分布式锁主要用于在分布式环境中解决数据一致性问题。在分布式系统中,数据可能被多个节点同时访问和修改,如果没有一个有效的并发控制机制,那么就可能会出现数据不一致的情况。
举个例子,假设有一个在线购物网站,有两个用户同时购买最后一件商品。如果没有分布式锁,那么可能会出现两个用户都购买成功的情况,也就是超卖,这显然是不符合实际业务逻辑的。
而如果使用了分布式锁,那么在用户购买商品的时候,可以先获取锁,然后进行库存检查和扣减的操作,操作完成后再释放锁。这样就可以保证在同一时间,只有一个用户可以进行购买操作,从而避免了超卖的问题。
分布式锁:满足分布式系统或集群模式下多进程可见并且互斥的锁。
分布式锁的核心思想就是让大家都使用同一把锁,只要大家使用的是同一把锁,那么我们就能锁住线程,不让线程进行,让程序串行执行,这就是分布式锁的核心思路
那么分布式锁他应该满足一些什么样的条件呢?
可见性:多个线程都能看到相同的结果,注意:这个地方说的可见性并不是并发编程中指的内存可见性,只是说多个进程之间都能感知到变化的意思
互斥:互斥是分布式锁的最基本的条件,使得程序串行执行
高可用:程序不易崩溃,时时刻刻都保证较高的可用性
高性能:由于加锁本身就让性能降低,所有对于分布式锁本身需要他就较高的加锁性能和释放锁性能
安全性:安全也是程序中必不可少的一环
常见的分布式锁有三种
Mysql:mysql本身就带有锁机制,但是由于mysql性能本身一般,所以采用分布式锁的情况下,其实使用mysql作为分布式锁比较少见
Redis:redis作为分布式锁是非常常见的一种使用方式,现在企业级开发中基本都使用redis或者zookeeper作为分布式锁,利用setnx这个方法,如果插入key成功,则表示获得到了锁,如果有人插入成功,其他人插入失败则表示无法获得到锁,利用这套逻辑来实现分布式锁
Zookeeper:zookeeper也是企业级开发中较好的一个实现分布式锁的方案,由于本套视频并不讲解zookeeper的原理和分布式锁的实现,所以不过多阐述
4.2 Redis分布式锁的实现核心思路
实现分布式锁时需要实现的两个基本方法:
-
获取锁:
- 互斥:确保只能有一个线程获取锁
- 非阻塞:尝试一次,成功返回true,失败返回false
-
释放锁:
-
手动释放
-
超时释放:获取锁时添加一个超时时间
-
del key
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
核心思路:
**我们利用redis 的setNx 方法**,当有多个线程进入时,我们就利用该方法,第一个线程进入时,redis 中就有这个key 了,返回了1,如果结果是1,则表示他抢到了锁,那么他去执行业务,然后再删除锁,退出锁逻辑,没有抢到锁的哥们,等待一定时间后重试即可。
![image-20240603165254392](https://penge666blog.oss-cn-beijing.aliyuncs.com/img/image-20240603165254392.png)
### 4.3 实现分布式锁版本一
* 加锁逻辑
**锁的基本接口**
![image-20240603165522199](https://penge666blog.oss-cn-beijing.aliyuncs.com/img/image-20240603165522199.png)
**SimpleRedisLock**
利用setnx方法进行加锁,同时增加过期时间,防止死锁,此方法可以保证加锁和增加过期时间具有原子性。
```java
private static final String KEY_PREFIX="lock:"
@Override
public boolean tryLock(long timeoutSec) {
// 获取线程标示
String threadId = Thread.currentThread().getId()
// 获取锁
Boolean success = stringRedisTemplate.opsForValue()
.setIfAbsent(KEY_PREFIX + name, threadId + "", timeoutSec, TimeUnit.SECONDS);
return Boolean.TRUE.equals(success);
}
-
-
释放锁逻辑
SimpleRedisLock
释放锁,防止删除别人的锁
1 | public void unlock() { |
- 修改业务代码
1 |
|
补充下:
在Spring中,事务的管理通常是通过AOP(面向切面编程)来实现的。当我们在同一个类中直接调用自己类中的方法时,事务可能会失效,因为Spring的事务是基于代理对象的调用。如果直接调用本类的方法,实际上绕过了代理对象,事务管理器无法介入,从而导致事务失效。为了解决这个问题,我们需要通过代理对象来调用事务方法。
例子:事务失效的例子
假设有一个服务类 MyService
,其中有两个方法:methodA
和 methodB
。methodA
没有事务,但是它调用了 methodB
,methodB
有事务注解。
1 |
|
在这个例子中,虽然 methodB
有 @Transactional
注解,但是它是通过内部调用的方式从 methodA
调用的,这会导致事务不生效。
解决方案:通过代理对象调用事务方法
为了让事务生效,我们需要通过Spring生成的代理对象来调用 methodB
,而不能直接在同一个类中调用。以下是使用代理对象调用事务方法的解决方案。
解决方案1:通过@Autowired
注入本类的代理对象
我们可以通过Spring的依赖注入机制,将当前类的代理对象注入到本类中,并通过代理对象调用事务方法。
1 |
|
解释:
proxyService
:通过依赖注入注入了当前类的代理对象,这样当我们调用proxyService.methodB()
时,实际上是通过代理对象调用的,从而使事务生效。- 事务生效的原因:Spring的事务管理是基于代理对象工作的,通过代理对象调用方法时,Spring会拦截方法调用并开启或结束事务。
解决方案2:使用AopContext
获取当前代理对象
Spring提供了AopContext.currentProxy()
方法,可以动态获取当前的代理对象。通过这种方式,我们可以在类内部获取代理对象,并通过代理对象调用事务方法。
1 |
|
解释:
AopContext.currentProxy()
:这个方法返回当前类的代理对象。通过这个代理对象来调用methodB()
,可以保证事务生效。- 这种方式不需要依赖注入,也不会引起循环依赖问题。
总结:
- 问题:事务失效的根本原因是直接调用本类的事务方法时,绕过了Spring的AOP代理机制,导致事务无法正常工作。
- 解决方案:
- 注入本类的代理对象:通过
@Autowired
注入当前类的代理对象来调用事务方法。 - 使用
AopContext.currentProxy()
:动态获取当前的代理对象,通过代理对象调用事务方法。
- 注入本类的代理对象:通过
- 注意点:确保通过代理对象调用事务方法,这样Spring的事务管理器才能正确介入并管理事务的开启和提交/回滚。
4.4 Redis分布式锁误删情况说明
逻辑说明:
持有锁的线程在锁的内部出现了阻塞,导致他的锁自动释放,这时其他线程,线程2来尝试获得锁,就拿到了这把锁,然后线程2在持有锁执行过程中,线程1反应过来,继续执行,而线程1执行过程中,走到了删除锁逻辑,此时就会把本应该属于线程2的锁进行删除,这就是误删别人锁的情况说明
解决方案:解决方案就是在每个线程释放锁的时候,去判断一下当前这把锁是否属于自己,如果属于自己,则不进行锁的删除,假设还是上边的情况,线程1卡顿,锁自动释放,线程2进入到锁的内部执行逻辑,此时线程1反应过来,然后删除锁,但是线程1,一看当前这把锁不是属于自己,于是不进行删除锁逻辑,当线程2走到删除锁逻辑时,如果没有卡过自动释放锁的时间点,则判断当前这把锁是属于自己的,于是删除这把锁。
可能出现的问题是:线程1首先获取到了锁,然后在执行任务的过程中,由于某种原因(比如网络延迟,系统卡顿等)被阻塞了一段时间,这段时间超过了锁的自动释放时间,于是锁被自动释放。此时,线程2就可以获取到这把锁,开始执行任务。然后线程1恢复正常,继续执行任务,到了需要释放锁的步骤,由于线程1并不知道锁已经被线程2获取,它就会误删线程2的锁,这样就会导致数据不一致的问题。
解决方案是:在每个线程释放锁的时候,需要先判断这把锁是否属于自己。只有确认锁属于自己的时候,才进行删除锁的操作。假设还是上面的情况,当线程1恢复正常,尝试删除锁的时候,它会发现这把锁已经不属于自己,于是不会删除锁。而当线程2执行完任务,需要删除锁的时候,它会发现锁是属于自己的,于是就可以安全地删除锁。这样就避免了误删别人锁的问题,保证了数据的一致性。
4.5 解决Redis分布式锁误删问题
需求:修改之前的分布式锁实现,满足:在获取锁时存入线程标示(可以用UUID表示)
在释放锁时先获取锁中的线程标示,判断是否与当前线程标示一致
- 如果一致则释放锁
- 如果不一致则不释放锁
核心逻辑:在存入锁时,放入自己线程的标识,在删除锁时,判断当前这把锁的标识是不是自己存入的,如果是,则进行删除,如果不是,则不进行删除。
具体代码如下:加锁
1 | private static final String ID_PREFIX = UUID.randomUUID().toString(true) + "-"; |
具体的执行逻辑如下:
stringRedisTemplate.opsForValue()
:获取Redis的Value操作实例。setIfAbsent(KEY_PREFIX + name, threadId + "", timeoutSec, TimeUnit.SECONDS)
:调用setIfAbsent方法尝试获取锁。锁的key是KEY_PREFIX + name
,锁的value是threadId
(当前线程的ID),并且设置了一个过期时间timeoutSec
。
在这个例子中,锁的名字就是KEY_PREFIX + name
,其中KEY_PREFIX
是一个前缀字符串,name
是具体的锁的名字。这种方式可以方便管理和区分不同的锁。
释放锁
1 | public void unlock() { |
有关代码实操说明:
在我们修改完此处代码后,我们重启工程,然后启动两个线程,第一个线程持有锁后,手动释放锁,第二个线程 此时进入到锁内部,再放行第一个线程,此时第一个线程由于锁的value值并非是自己,所以不能释放锁,也就无法删除别人的锁,此时第二个线程能够正确释放锁,通过这个案例初步说明我们解决了锁误删的问题。
4.6 分布式锁的原子性问题
更为极端的误删逻辑说明:
线程1现在持有锁之后,在执行业务逻辑过程中,他正准备删除锁,而且已经走到了条件判断的过程中,比如他已经拿到了当前这把锁确实是属于他自己的,正准备删除锁,但是此时他的锁到期了,那么此时线程2进来,但是线程1他会接着往后执行,当他卡顿结束后,他直接就会执行删除锁那行代码,相当于条件判断并没有起到作用,这就是删锁时的原子性问题,之所以有这个问题,是因为线程1的拿锁,比锁,删锁,实际上并不是原子性的,我们要防止刚才的情况发生,
【※】
假设我们有两个线程,线程1和线程2,他们都试图获取同一把锁去执行某项任务。
现在,线程1已经成功获得了这把锁,并且正在执行任务。线程1已经走到了准备删除锁的步骤,它已经确认这把锁属于自己,正准备进行删除。但是,此时,线程1的锁因为超时,自动被系统释放了。然后线程2进来,获取到了这把锁。
此时,线程1从阻塞状态恢复过来,继续执行它的删除锁的操作。因为线程1并不知道它的锁已经被线程2获取,所以它仍然会执行删除锁的操作。这样,线程2的锁就被线程1误删了,可能会导致数据不一致的问题。
4.7 Lua脚本解决多条命令原子性问题
简单来说,就是将判断锁和释放锁的操作合成一个命令放在脚本中,脚本的实现要不全部实现,要不全部不实现,因此满足原子性。
为什么lua脚本具有原子性?
1 | 简单来说,因为所有的lua脚本在Redis实例中共用同一个Lua解释器,某一个lua脚本在被执行的时候,其他lua脚本无法执行。 |
Redis提供了Lua脚本功能,在一个脚本中编写多条Redis命令,确保多条命令执行时的原子性。Lua是一种编程语言,它的基本语法大家可以参考网站:https://www.runoob.com/lua/lua-tutorial.html,这里重点介绍Redis提供的调用函数,我们可以使用lua去操作redis,又能保证他的原子性,这样就可以实现拿锁比锁删锁是一个原子性动作了,作为Java程序员这一块并不作一个简单要求,并不需要大家过于精通,只需要知道他有什么作用即可。
这里重点介绍Redis提供的调用函数,语法如下:
1 | redis.call('命令名称', 'key', '其它参数', ...) |
例如,我们要执行set name jack,则脚本是这样:
1 | # 执行 set name jack |
例如,我们要先执行set name Rose,再执行get name,则脚本如下:
1 | # 先执行 set name jack |
写好脚本以后,需要用Redis命令来调用脚本,调用脚本的常见命令如下:
例如,我们要执行 redis.call(‘set’, ‘name’, ‘jack’) 这个脚本,语法如下:
如果脚本中的key、value不想写死,可以作为参数传递。key类型参数会放入KEYS数组,其它参数会放入ARGV数组,在脚本中可以从KEYS和ARGV数组获取这些参数:
接下来我们来回一下我们释放锁的逻辑:
释放锁的业务流程是这样的
1、获取锁中的线程标示
2、判断是否与指定的标示(当前线程标示)一致
3、如果一致则释放锁(删除)
4、如果不一致则什么都不做
如果用Lua脚本来表示则是这样的:
最终我们操作redis的拿锁比锁删锁的lua脚本就会变成这样
1 | -- 这里的 KEYS[1] 就是锁的key,这里的ARGV[1] 就是当前线程标示 |
4.8 利用Java代码调用Lua脚本改造分布式锁
lua脚本本身并不需要大家花费太多时间去研究,只需要知道如何调用,大致是什么意思即可,所以在笔记中并不会详细的去解释这些lua表达式的含义。
我们的RedisTemplate中,可以利用execute方法去执行lua脚本,参数对应关系就如下图股
Java代码
1 | private static final DefaultRedisScript<Long> UNLOCK_SCRIPT; |
小总结:
基于Redis的分布式锁实现思路:
- 利用setnx ex获取锁,并设置过期时间,保存线程标示
- 释放锁时先判断线程标示是否与自己一致,一致则删除锁
- 特性:
- 利用set nx满足互斥性
- 利用set ex保证故障时锁依然能释放,避免死锁,提高安全性
- 利用Redis集群保证高可用和高并发特性
- 特性:
笔者总结:我们一路走来,利用添加过期时间,防止死锁问题的发生,但是有了过期时间之后,可能出现误删别人锁的问题,这个问题我们开始是利用删之前 通过拿锁,比锁,删锁这个逻辑来解决的,也就是删之前判断一下当前这把锁是否是属于自己的,但是现在还有原子性问题,也就是我们没法保证拿锁比锁删锁是一个原子性的动作,最后通过lua表达式来解决这个问题
但是目前还剩下一个问题锁不住,什么是锁不住呢,你想一想,如果当过期时间到了之后,我们可以给他续期一下,比如续个30s,就好像是网吧上网, 网费到了之后,然后说,来,网管,再给我来10块的,是不是后边的问题都不会发生了,那么续期问题怎么解决呢,可以依赖于我们接下来要学习redission啦
测试逻辑:
第一个线程进来,得到了锁,手动删除锁,模拟锁超时了,其他线程会执行lua来抢锁,当第一天线程利用lua删除锁时,lua能保证他不能删除他的锁,第二个线程删除锁时,利用lua同样可以保证不会删除别人的锁,同时还能保证原子性。
5、分布式锁-redission
5.1 分布式锁-redission功能介绍
基于setnx实现的分布式锁存在下面的问题:
【分布式锁解决了setnx的什么问题呢?】
重入问题:重入问题是指 获得锁的线程可以再次进入到相同的锁的代码块中,可重入锁的意义在于防止死锁,比如HashTable这样的代码中,他的方法都是使用synchronized修饰的,假如他在一个方法内,调用另一个方法,那么此时如果是不可重入的,不就死锁了吗?所以可重入锁他的主要意义是防止死锁,我们的synchronized和Lock锁都是可重入的。
不可重试:是指目前的分布式只能尝试一次,我们认为合理的情况是:当线程在获得锁失败后,他应该能再次尝试获得锁。
**超时释放:**我们在加锁时增加了过期时间,这样的我们可以防止死锁,但是如果卡顿的时间超长,虽然我们采用了lua表达式防止删锁的时候,误删别人的锁,但是毕竟没有锁住,有安全隐患
主从一致性: 如果Redis提供了主从集群,当我们向集群写数据时,主机需要异步的将数据同步给从机,而万一在同步过去之前,主机宕机了,就会出现死锁问题。
那么什么是Redission呢?
Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid)。它不仅提供了一系列的分布式的Java常用对象,还提供了许多分布式服务,其中就包含了各种分布式锁的实现。
Redission提供了分布式锁的多种多样的功能
5.2 分布式锁-Redission快速入门
引入依赖:
1 | <dependency> |
配置Redisson客户端:
1 |
|
如何使用Redission的分布式锁
1 |
|
在 VoucherOrderServiceImpl
注入RedissonClient
1 |
|
5.3 分布式锁-redission可重入锁原理
在Lock锁中,他是借助于底层的一个voaltile的一个state变量来记录重入的状态的,比如当前没有人持有这把锁,那么state=0,假如有人持有这把锁,那么state=1,如果持有这把锁的人再次持有这把锁,那么state就会+1 ,如果是对于synchronized而言,他在c语言代码中会有一个count,原理和state类似,也是重入一次就加一,释放一次就-1 ,直到减少成0 时,表示当前这把锁没有被人持有。
在redission中,我们的也支持支持可重入锁。
在分布式锁中,他采用hash结构用来存储锁,其中大key表示表示这把锁是否存在,用小key表示当前这把锁被哪个线程持有,所以接下来我们一起分析一下当前的这个lua表达式
这个地方一共有3个参数
KEYS[1] : 锁名称
ARGV[1]: 锁失效时间
ARGV[2]: id + “:” + threadId; 锁的小key
exists: 判断数据是否存在 name:是lock是否存在,如果==0,就表示当前这把锁不存在
redis.call(‘hset’, KEYS[1], ARGV[2], 1);此时他就开始往redis里边去写数据 ,写成一个hash结构
Lock{
id + “:” + threadId : 1
}
如果当前这把锁存在,则第一个条件不满足,再判断
redis.call(‘hexists’, KEYS[1], ARGV[2]) == 1
此时需要通过大key+小key判断当前这把锁是否是属于自己的,如果是自己的,则进行
redis.call(‘hincrby’, KEYS[1], ARGV[2], 1)
将当前这个锁的value进行+1 ,redis.call(‘pexpire’, KEYS[1], ARGV[1]); 然后再对其设置过期时间,如果以上两个条件都不满足,则表示当前这把锁抢锁失败,最后返回pttl,即为当前这把锁的失效时间
如果小伙帮们看了前边的源码, 你会发现他会去判断当前这个方法的返回值是否为null,如果是null,则对应则前两个if对应的条件,退出抢锁逻辑,如果返回的不是null,即走了第三个分支,在源码处会进行while(true)的自旋抢锁。
1 | "if (redis.call('exists', KEYS[1]) == 0) then " + |
5.4 分布式锁-redission锁重试和WatchDog机制
说明:由于课程中已经说明了有关tryLock的源码解析以及其看门狗原理,所以笔者在这里给大家分析lock()方法的源码解析,希望大家在学习过程中,能够掌握更多的知识
抢锁过程中,获得当前线程,通过tryAcquire进行抢锁,该抢锁逻辑和之前逻辑相同
1、先判断当前这把锁是否存在,如果不存在,插入一把锁,返回null
2、判断当前这把锁是否是属于当前线程,如果是,则返回null
所以如果返回是null,则代表着当前这哥们已经抢锁完毕,或者可重入完毕,但是如果以上两个条件都不满足,则进入到第三个条件,返回的是锁的失效时间,同学们可以自行往下翻一点点,你能发现有个while( true) 再次进行tryAcquire进行抢锁
1 | long threadId = Thread.currentThread().getId(); |
接下来会有一个条件分支,因为lock方法有重载方法,一个是带参数,一个是不带参数,如果带带参数传入的值是-1,如果传入参数,则leaseTime是他本身,所以如果传入了参数,此时leaseTime != -1 则会进去抢锁,抢锁的逻辑就是之前说的那三个逻辑
1 | if (leaseTime != -1) { |
如果是没有传入时间,则此时也会进行抢锁, 而且抢锁时间是默认看门狗时间
commandExecutor.getConnectionManager().getCfg().getLockWatchdogTimeout()
ttlRemainingFuture.onComplete((ttlRemaining, e) 这句话相当于对以上抢锁进行了监听,也就是说当上边抢锁完毕后,此方法会被调用,具体调用的逻辑就是去后台开启一个线程,进行续约逻辑,也就是看门狗线程
1 | RFuture<Long> ttlRemainingFuture = tryLockInnerAsync(waitTime, |
此逻辑就是续约逻辑,注意看commandExecutor.getConnectionManager().newTimeout() 此方法
Method( new TimerTask() {},参数2 ,参数3 )
指的是:通过参数2,参数3 去描述什么时候去做参数1的事情,现在的情况是:10s之后去做参数一的事情
因为锁的失效时间是30s,当10s之后,此时这个timeTask 就触发了,他就去进行续约,把当前这把锁续约成30s,如果操作成功,那么此时就会递归调用自己,再重新设置一个timeTask(),于是再过10s后又再设置一个timerTask,完成不停的续约
那么大家可以想一想,假设我们的线程出现了宕机他还会续约吗?当然不会,因为没有人再去调用renewExpiration这个方法,所以等到时间之后自然就释放了。
1 | private void renewExpiration() { |
5.5 分布式锁-redission锁的MutiLock原理
为了提高redis的可用性,我们会搭建集群或者主从,现在以主从为例
此时我们去写命令,写在主机上, 主机会将数据同步给从机,但是假设在主机还没有来得及把数据写入到从机去的时候,此时主机宕机,哨兵会发现主机宕机,并且选举一个slave变成master,而此时新的master中实际上并没有锁信息,此时锁信息就已经丢掉了。
为了解决这个问题,redission提出来了MutiLock锁,使用这把锁咱们就不使用主从了,每个节点的地位都是一样的, 这把锁加锁的逻辑需要写入到每一个主丛节点上,只有所有的服务器都写入成功,此时才是加锁成功,假设现在某个节点挂了,那么他去获得锁的时候,只要有一个节点拿不到,都不能算是加锁成功,就保证了加锁的可靠性。
那么MutiLock 加锁原理是什么呢?笔者画了一幅图来说明
当我们去设置了多个锁时,redission会将多个锁添加到一个集合中,然后用while循环去不停去尝试拿锁,但是会有一个总共的加锁时间,这个时间是用需要加锁的个数 * 1500ms ,假设有3个锁,那么时间就是4500ms,假设在这4500ms内,所有的锁都加锁成功, 那么此时才算是加锁成功,如果在4500ms有线程加锁失败,则会再次去进行重试。
【补充】
1)加锁:
1 | if (redis.call('exists', KEYS[1]) == 0) then |
将业务封装在lua中发给redis,保障业务执行的原子性。
第1个if表示执行加锁,会先判断要加锁的key是否存在,不存在就加锁。
当第1个if执行,key存在的时候,会执行第2个if,第2个if会获取第1个if对应的key剩余的有效时间,然后会进入while循环,不停的尝试加锁。
完整的例子:
- Thread A 尝试获取锁,首先检查 Redis 中是否已经存在该锁。
- 如果锁不存在,Thread A 获取锁并设置过期时间。
- 如果锁已经存在,Thread A 检查锁是否是由自己持有,如果是,则执行可重入锁逻辑,增加锁的计数并重置过期时间。
- 如果锁是由其他线程(如 Thread B)持有,线程 B 获取剩余的 TTL(锁的剩余时间)以决定是否继续等待或重试加锁。
2)释放锁:
1 | if (redis.call('exists', KEYS[1]) == 0) then |
执行lock.unlock(),每次都对myLock数据结构中的那个加锁次数减1。如果发现加锁次数是0了,说明这个客户端已经不再持有锁了,此时就会用:“del myLock”命令,从redis里删除这个key,另外的客户端2就可以尝试完成加锁了。
完整的例子:
场景:两个线程 A 和 B,A 加锁 3 次,B 尝试解锁。
- 线程 A 第一次加锁,计数器为 1。
- 线程 A 第二次加锁(重入),计数器为 2。
- 线程 A 第三次加锁(重入),计数器为 3。
此时,锁还没有释放,其他线程无法获得锁。
- 线程 B 尝试解锁,发现自己没有持有锁,返回
nil
,解锁失败。 - 线程 A 第一次解锁,计数器递减为 2,锁的过期时间被更新,但锁仍然未释放。
- 线程 A 第二次解锁,计数器递减为 1,锁的过期时间再次更新,锁仍然未释放。
- 线程 A 第三次解锁,计数器递减为 0,锁被删除,解锁成功,并发送解锁通知给其他线程。
面试积累
Redisson的watchdog机制用来干嘛
自动续期:当一个Redisson客户端实例获取到一个分布式锁时,如果没有指定锁的超时时间,Watchdog会基于Netty的时间轮启动一个后台任务,定期向Redis发送命令,重新设置锁的过期时间,通常是锁的租约时间的1/3。这确保了即使客户端处理时间较长,所持有的锁也不会过期。
续期时长:默认情况下,每10s钟做一次续期,续期时长是30s。
停止续期:当锁被释放或者客户端实例被关闭时,Watchdog会自动停止对应锁的续租任务。
什么情况会续期时间
什么情况会进行续期:锁没有自动的过期时间。
1 | private RFuture<Long> tryAcquireAsync(long waitTime, long leaseTime, TimeUnit unit, long threadId) { |
什么情况会停止续期
1.锁被手动释放(即调用unlock方法)。
2.没有线程再持有该锁。
6、秒杀优化
6.1 秒杀优化-异步秒杀思路
我们来回顾一下下单流程
当用户发起请求,此时会请求nginx,nginx会访问到tomcat,而tomcat中的程序,会进行串行操作,分成如下几个步骤
1、查询优惠卷
2、判断秒杀库存是否足够
3、查询订单
4、校验是否是一人一单
5、扣减库存
6、创建订单
在这六步操作中,又有很多操作是要去操作数据库的,而且还是一个线程串行执行, 这样就会导致我们的程序执行的很慢,所以我们需要异步程序执行,那么如何加速呢?
在这里笔者想给大家分享一下课程内没有的思路,看看有没有小伙伴这么想,比如,我们可以不可以使用异步编排来做,或者说我开启N多线程,N多个线程,一个线程执行查询优惠卷,一个执行判断扣减库存,一个去创建订单等等,然后再统一做返回,这种做法和课程中有哪种好呢?答案是课程中的好,因为如果你采用我刚说的方式,如果访问的人很多,那么线程池中的线程可能一下子就被消耗完了,而且你使用上述方案,最大的特点在于,你觉得时效性会非常重要,但是你想想是吗?并不是,比如我只要确定他能做这件事,然后我后边慢慢做就可以了,我并不需要他一口气做完这件事,所以我们应当采用的是课程中,类似消息队列的方式来完成我们的需求,而不是使用线程池或者是异步编排的方式来完成这个需求
优化方案:我们将耗时比较短的逻辑判断放入到redis中,比如是否库存足够,比如是否一人一单,这样的操作,只要这种逻辑可以完成,就意味着我们是一定可以下单完成的,我们只需要进行快速的逻辑判断,根本就不用等下单逻辑走完,我们直接给用户返回成功, 再在后台开一个线程,后台线程慢慢的去执行queue里边的消息,这样程序不就超级快了吗?而且也不用担心线程池消耗殆尽的问题,因为这里我们的程序中并没有手动使用任何线程池,当然这里边有两个难点。
第一个难点是我们怎么在redis中去快速校验一人一单,还有库存判断
第二个难点是由于我们校验和tomct下单是两个线程,那么我们如何知道到底哪个单他最后是否成功,或者是下单完成,为了完成这件事我们在redis操作完之后,我们会将一些信息返回给前端,同时也会把这些信息丢到异步queue中去,后续操作中,可以通过这个id来查询我们tomcat中的下单逻辑是否完成了。
我们现在来看看整体思路:当用户下单之后,判断库存是否充足只需要导redis中去根据key找对应的value是否大于0即可,如果不充足,则直接结束,如果充足,继续在redis中判断用户是否可以下单,如果set集合中没有这条数据,说明他可以下单,如果set集合中没有这条记录,则将userId和优惠卷存入到redis中,并且返回0,整个过程需要保证是原子性的,我们可以使用lua来操作
当以上判断逻辑走完之后,我们可以判断当前redis中返回的结果是否是0 ,如果是0,则表示可以下单,则将之前说的信息存入到到queue中去,然后返回,然后再来个线程异步的下单,前端可以通过返回的订单id来判断是否下单成功。
6.2 秒杀优化-Redis完成秒杀资格判断
需求:
-
新增秒杀优惠券的同时,将优惠券信息保存到Redis中
-
基于Lua脚本,判断秒杀库存、一人一单,决定用户是否抢购成功
-
如果抢购成功,将优惠券id和用户id封装后存入阻塞队列
-
开启线程任务,不断从阻塞队列中获取信息,实现异步下单功能
VoucherServiceImpl
1 |
|
完整lua表达式
1 | -- 1.参数列表 |
当以上lua表达式执行完毕后,剩下的就是根据步骤3,4来执行我们接下来的任务了
VoucherOrderServiceImpl
1 |
|
6.3 秒杀优化-基于阻塞队列实现秒杀优化
VoucherOrderServiceImpl
修改下单动作,现在我们去下单时,是通过lua表达式去原子执行判断逻辑,如果判断出来不为0 ,则要么是库存不足,要么是重复下单,返回错误信息,如果是0,则把下单的逻辑保存到队列中去,然后异步执行
1 | // 异步处理线程池 |
小总结:
秒杀业务的优化思路是什么?
- 先利用Redis完成库存余量、一人一单判断,完成抢单业务
- 再将下单业务放入阻塞队列,利用独立线程异步下单
- 基于阻塞队列的异步秒杀存在哪些问题?
- 内存限制问题
- 数据安全问题
7、Redis消息队列
7.1 Redis消息队列-认识消息队列
什么是消息队列:字面意思就是存放消息的队列。最简单的消息队列模型包括3个角色:
- 消息队列:存储和管理消息,也被称为消息代理(Message Broker)
- 生产者:发送消息到消息队列
- 消费者:从消息队列获取消息并处理消息
使用队列的好处在于 **解耦:**所谓解耦,举一个生活中的例子就是:快递员(生产者)把快递放到快递柜里边(Message Queue)去,我们(消费者)从快递柜里边去拿东西,这就是一个异步,如果耦合,那么这个快递员相当于直接把快递交给你,这事固然好,但是万一你不在家,那么快递员就会一直等你,这就浪费了快递员的时间,所以这种思想在我们日常开发中,是非常有必要的。
这种场景在我们秒杀中就变成了:我们下单之后,利用redis去进行校验下单条件,再通过队列把消息发送出去,然后再启动一个线程去消费这个消息,完成解耦,同时也加快我们的响应速度。
这里我们可以使用一些现成的mq,比如kafka,rabbitmq等等,但是呢,如果没有安装mq,我们也可以直接使用redis提供的mq方案,降低我们的部署和学习成本。
7.2 Redis消息队列-基于List实现消息队列
基于List结构模拟消息队列
消息队列(Message Queue),字面意思就是存放消息的队列。而Redis的list数据结构是一个双向链表,很容易模拟出队列效果。
队列是入口和出口不在一边,因此我们可以利用:LPUSH 结合 RPOP、或者 RPUSH 结合 LPOP来实现。
不过要注意的是,当队列中没有消息时RPOP或LPOP操作会返回null,并不像JVM的阻塞队列那样会阻塞并等待消息。因此这里应该使用BRPOP或者BLPOP来实现阻塞效果。
基于List的消息队列有哪些优缺点?
优点:
- 利用Redis存储,不受限于JVM内存上限
- 基于Redis的持久化机制,数据安全性有保证
- 可以满足消息有序性
缺点:
- 无法避免消息丢失
- 只支持单消费者
7.3 Redis消息队列-基于PubSub的消息队列
PubSub(发布订阅)是Redis2.0版本引入的消息传递模型。顾名思义,消费者可以订阅一个或多个channel,生产者向对应channel发送消息后,所有订阅者都能收到相关消息。
SUBSCRIBE channel [channel] :订阅一个或多个频道
PUBLISH channel msg :向一个频道发送消息
PSUBSCRIBE pattern[pattern] :订阅与pattern格式匹配的所有频道
基于PubSub的消息队列有哪些优缺点?
优点:
- 采用发布订阅模型,支持多生产、多消费
缺点:
- 不支持数据持久化
- 无法避免消息丢失
- 消息堆积有上限,超出时数据丢失
7.4 Redis消息队列-基于Stream的消息队列
Stream 是 Redis 5.0 引入的一种新数据类型,可以实现一个功能非常完善的消息队列。
发送消息的命令:
例如:
读取消息的方式之一:XREAD
例如,使用XREAD读取第一个消息:
XREAD阻塞方式,读取最新的消息:
在业务开发中,我们可以循环的调用XREAD阻塞方式来查询最新消息,从而实现持续监听队列的效果,伪代码如下
注意:当我们指定起始ID为$时,代表读取最新的消息,如果我们处理一条消息的过程中,又有超过1条以上的消息到达队列,则下次获取时也只能获取到最新的一条,会出现漏读消息的问题
STREAM类型消息队列的XREAD命令特点:
- 消息可回溯
- 一个消息可以被多个消费者读取
- 可以阻塞读取
- 有消息漏读的风险
7.5 Redis消息队列-基于Stream的消息队列-消费者组
消费者组(Consumer Group):将多个消费者划分到一个组中,监听同一个队列。具备下列特点:
创建消费者组:
key:队列名称
groupName:消费者组名称
ID:起始ID标示,$代表队列中最后一个消息,0则代表队列中第一个消息
MKSTREAM:队列不存在时自动创建队列
其它常见命令:
删除指定的消费者组
1 | XGROUP DESTORY key groupName |
给指定的消费者组添加消费者
1 | XGROUP CREATECONSUMER key groupname consumername |
删除消费者组中的指定消费者
1 | XGROUP DELCONSUMER key groupname consumername |
从消费者组读取消息:
1 | XREADGROUP GROUP group consumer [COUNT count] [BLOCK milliseconds] [NOACK] STREAMS key [key ...] ID [ID ...] |
- group:消费组名称
- consumer:消费者名称,如果消费者不存在,会自动创建一个消费者
- count:本次查询的最大数量
- BLOCK milliseconds:当没有消息时最长等待时间
- NOACK:无需手动ACK,获取到消息后自动确认
- STREAMS key:指定队列名称
- ID:获取消息的起始ID:
“>”:从下一个未消费的消息开始
其它:根据指定id从pending-list中获取已消费但未确认的消息,例如0,是从pending-list中的第一个消息开始
消费者监听消息的基本思路:
STREAM类型消息队列的XREADGROUP命令特点:
- 消息可回溯
- 可以多消费者争抢消息,加快消费速度
- 可以阻塞读取
- 没有消息漏读的风险
- 有消息确认机制,保证消息至少被消费一次
最后我们来个小对比
7.6 基于Redis的Stream结构作为消息队列,实现异步秒杀下单
需求:
- 创建一个Stream类型的消息队列,名为stream.orders
- 修改之前的秒杀下单Lua脚本,在认定有抢购资格后,直接向stream.orders中添加消息,内容包含voucherId、userId、orderId
- 项目启动时,开启一个线程任务,尝试获取stream.orders中的消息,完成下单。
修改lua表达式,新增3.6
VoucherOrderServiceImpl
1 | private class VoucherOrderHandler implements Runnable { |
补充:
- 延时队列的工作原理
在 Redisson 中,延时队列 RDelayedQueue
是依赖于一个基础的 RBlockingQueue
来工作的。RDelayedQueue
负责将消息延迟处理,而 RBlockingQueue
则是用来存储那些从 RDelayedQueue
延迟过期后转移过来的消息。
- RBlockingQueue:基础队列,用于存储实际从延时队列过期的消息,消费者会从这个队列中取出消息进行处理。
- RDelayedQueue:延时队列,消息会在延迟时间到达后转移到
RBlockingQueue
中,供消费者处理。
-
创建延时队列的流程
-
抢购成功后,将用户信息存入
RDelayedQueue
中,设置延时时间(如 10 分钟)。 -
延时时间过后,消息会从
RDelayedQueue
转移到RBlockingQueue
中。 -
消费者线程会从
RBlockingQueue
中取出消息,处理超时逻辑(如修改代金券状态或发送通知)。 -
关键代码实现
3.1 用户抢购逻辑
在用户成功抢购代金券后,将用户信息放入 RDelayedQueue
中。
1 | import org.redisson.api.RBlockingQueue; |
3.2 处理超时通知的消费者线程
消费者线程会从 RBlockingQueue
中取出延迟过期的消息,并执行相应的超时处理逻辑,比如将代金券的状态从 pending
改为 expired
。
1 | import org.redisson.api.RBlockingQueue; |
3.3 启动消费者线程
在主程序中,启动消费者线程来监听延时队列的超时消息,并处理超时逻辑。
1 | import org.redisson.api.RedissonClient; |
问题
Redisson 延时队列的底层实现原理是什么?
核心原理
- 使用 Zset 存储任务:
每个任务被存储在 Redis 的有序集合里,任务的执行时间被作为score
。score
实际上是任务的未来执行时间(通常为 Unix 时间戳),而任务的具体内容作为 Zset 的成员值。 - 定时轮询任务:
Redisson 通过定时轮询 Zset,检查是否有任务的score
已经小于或等于当前的时间戳(即任务的延时时间已到)。到期的任务会被取出执行。 - 任务的删除:
当任务到期并执行后,Redisson 会从 Zset 中删除这些任务,防止重复执行。
举例说明
假设我们要将一个任务延时 10 秒后执行。
- 将任务存入 Zset
当前时间为 2024-10-07 14:00:00
,对应 Unix 时间戳 1696677600
。我们希望延时 10 秒执行任务,于是将任务的执行时间设为 1696677610
(即当前时间戳 + 10 秒)。
使用 Redis 的 ZADD
命令,将任务存入 Zset:
1 | ZADD delayQueue 1696677610 "task1" |
1696677610
:任务的执行时间(10 秒后的时间戳)。"task1"
:任务的标识或内容。
- 定时轮询任务
Redisson 会定期轮询 Redis,检查是否有任务的 score
小于或等于当前时间戳。例如,当前时间为 2024-10-07 14:00:10
(即时间戳 1696677610
),Redisson 检查到任务 “task1” 的 score
已经达到了当前时间戳,因此可以执行。
使用 ZRANGEBYSCORE
命令获取到期任务:
1 | ZRANGEBYSCORE delayQueue 0 1696677610 |
0 1696677610
:查找score
在 0 到1696677610
之间的任务。
返回结果:
1 | 1) "task1" |
Redisson 获取到任务 “task1” 后执行该任务。
- 删除已执行的任务
执行完任务后,为了防止重复执行,需要从 Zset 中删除该任务。Redisson 使用 ZREMRANGEBYSCORE
命令删除到期任务:
1 | ZREMRANGEBYSCORE delayQueue 0 1696677610 |
0 1696677610
:删除score
在 0 到1696677610
之间的所有任务。
此时,任务 “task1” 已被删除。
总结
ZADD
:将新的任务插入 Zset,并设置任务的延迟执行时间(score
)。ZRANGEBYSCORE
:按时间顺序轮询 Zset,找到所有已经到期的任务。ZREMRANGEBYSCORE
:删除已经执行的任务,确保任务不会重复执行。
如果延时队列中的任务长时间未被消费,如何处理?
当 Redisson 延时队列中的任务长时间未被消费时,常见的处理方法包括:
- 任务执行超时和重试机制:为任务设置超时时间和重试次数,避免任务无限期未被消费。
- 任务监控与告警:通过监控延时队列的长度和任务的处理时间,及时告警,防止任务堆积。
- 死信队列:将重试多次失败的任务转移到死信队列,供后续人工或系统处理。
- 消费者扩容:增加消费者实例,提升并发消费能力,缓解任务堆积压力。
- Redis 集群优化:通过 Redis 集群提高系统性能,避免单点压力过大。
当延时队列中的任务未按时处理时
当延时队列中的任务未按时处理时,常见的补偿机制包括:
- 重试机制:为任务设置重试次数和重试间隔,确保任务最终被处理。
- 定时任务补偿:通过定时任务定期扫描未处理的任务,确保任务按时处理。
- 死信队列:将多次重试仍然失败的任务转移到死信队列,供后续人工或系统处理。
- 任务幂等性:确保任务的幂等性,避免重复执行导致数据不一致。
- 人工干预:通过管理工具或运维人员手动干预,解决自动化补偿机制无法处理的任务。
- 监控与告警:实时监控任务执行状态,及时发现问题并进行补偿。
8、达人探店
8.1、达人探店-发布探店笔记
发布探店笔记
探店笔记类似点评网站的评价,往往是图文结合。对应的表有两个:
tb_blog:探店笔记表,包含笔记中的标题、文字、图片等
tb_blog_comments:其他用户对探店笔记的评价
具体发布流程
上传接口
1 |
|
注意:同学们在操作时,需要修改SystemConstants.IMAGE_UPLOAD_DIR 自己图片所在的地址,在实际开发中图片一般会放在nginx上或者是云存储上。
BlogController
1 |
|
8.2 达人探店-查看探店笔记
实现查看发布探店笔记的接口
实现代码:
BlogServiceImpl
1 |
|
8.3 达人探店-点赞功能
初始代码
1 |
|
问题分析:这种方式会导致一个用户无限点赞,明显是不合理的
造成这个问题的原因是,我们现在的逻辑,发起请求只是给数据库+1,所以才会出现这个问题
完善点赞功能
需求:
- 同一个用户只能点赞一次,再次点击则取消点赞
- 如果当前用户已经点赞,则点赞按钮高亮显示(前端已实现,判断字段Blog类的isLike属性)
实现步骤:
- 给Blog类中添加一个isLike字段,标示是否被当前用户点赞
- 修改点赞功能,利用Redis的set集合判断是否点赞过,未点赞过则点赞数+1,已点赞过则点赞数-1
- 修改根据id查询Blog的业务,判断当前登录用户是否点赞过,赋值给isLike字段
- 修改分页查询Blog业务,判断当前登录用户是否点赞过,赋值给isLike字段
为什么采用set集合:
因为我们的数据是不能重复的,当用户操作过之后,无论他怎么操作,都是
具体步骤:
1、在Blog 添加一个字段
1 |
|
2、修改代码
1 |
|
8.4 达人探店-点赞排行榜
// 2种方式
MySQL中的order by
redis sorted set
在探店笔记的详情页面,应该把给该笔记点赞的人显示出来,比如最早点赞的TOP5,形成点赞排行榜:
之前的点赞是放到set集合,但是set集合是不能排序的,所以这个时候,咱们可以采用一个可以排序的set集合,就是咱们的sortedSet
我们接下来来对比一下这些集合的区别是什么
所有点赞的人,需要是唯一的,所以我们应当使用set或者是sortedSet
其次我们需要排序,就可以直接锁定使用sortedSet啦
修改代码
BlogServiceImpl
点赞逻辑代码
1 |
|
点赞列表查询列表
BlogController
1 |
|
BlogService
1 |
|
9、好友关注
9.1 好友关注-关注和取消关注
针对用户的操作:可以对用户进行关注和取消关注功能。
实现思路:
需求:基于该表数据结构,实现两个接口:
- 关注和取关接口
- 判断是否关注的接口
关注是User之间的关系,是博主与粉丝的关系,数据库中有一张tb_follow表来标示:
注意: 这里需要把主键修改为自增长,简化开发。
FollowController
1 | //关注 |
FollowService
1 | 取消关注service |
9.2 好友关注-共同关注
想要去看共同关注的好友,需要首先进入到这个页面,这个页面会发起两个请求
1、去查询用户的详情
2、去查询用户的笔记
以上两个功能和共同关注没有什么关系,大家可以自行将笔记中的代码拷贝到idea中就可以实现这两个功能了,我们的重点在于共同关注功能。
1 | // UserController 根据id查询用户 |
接下来我们来看看共同关注如何实现:
需求:利用Redis中恰当的数据结构,实现共同关注功能。在博主个人页面展示出当前用户与博主的共同关注呢。
当然是使用我们之前学习过的set集合咯,在set集合中,有交集并集补集的api,我们可以把两人的关注的人分别放入到一个set集合中,然后再通过api去查看这两个set集合中的交集数据。
我们先来改造当前的关注列表
改造原因是因为我们需要在用户关注了某位用户后,需要将数据放入到set集合中,方便后续进行共同关注,同时当取消关注时,也需要从set集合中进行删除
FollowServiceImpl
1 |
|
具体的关注代码:
FollowServiceImpl
1 |
|
9.3 好友关注-Feed流实现方案
当我们关注了用户后,这个用户发了动态,那么我们应该把这些数据推送给用户,这个需求,其实我们又把他叫做Feed流,关注推送也叫做Feed流,直译为投喂。为用户持续的提供“沉浸式”的体验,通过无限下拉刷新获取新的信息。
对于传统的模式的内容解锁:我们是需要用户去通过搜索引擎或者是其他的方式去解锁想要看的内容
对于新型的Feed流的的效果:不需要我们用户再去推送信息,而是系统分析用户到底想要什么,然后直接把内容推送给用户,从而使用户能够更加的节约时间,不用主动去寻找。
Feed流的实现有两种模式:
Feed流产品有两种常见模式:
Timeline:不做内容筛选,简单的按照内容发布时间排序,常用于好友或关注。例如朋友圈
- 优点:信息全面,不会有缺失。并且实现也相对简单
- 缺点:信息噪音较多,用户不一定感兴趣,内容获取效率低
智能排序:利用智能算法屏蔽掉违规的、用户不感兴趣的内容。推送用户感兴趣信息来吸引用户
- 优点:投喂用户感兴趣信息,用户粘度很高,容易沉迷
- 缺点:如果算法不精准,可能起到反作用
本例中的个人页面,是基于关注的好友来做Feed流,因此采用Timeline的模式。该模式的实现方案有三种:
我们本次针对好友的操作,采用的就是Timeline的方式,只需要拿到我们关注用户的信息,然后按照时间排序即可
,因此采用Timeline的模式。该模式的实现方案有三种:
- 拉模式
- 推模式
- 推拉结合
拉模式:也叫做读扩散
该模式的核心含义就是:当张三和李四和王五发了消息后,都会保存在自己的邮箱中,假设赵六要读取信息,那么他会从读取他自己的收件箱,此时系统会从他关注的人群中,把他关注人的信息全部都进行拉取,然后在进行排序
优点:比较节约空间,因为赵六在读信息时,并没有重复读取,而且读取完之后可以把他的收件箱进行清除。
缺点:比较延迟,当用户读取数据时才去关注的人里边去读取数据,假设用户关注了大量的用户,那么此时就会拉取海量的内容,对服务器压力巨大。
推模式:也叫做写扩散。
推模式是没有写邮箱的,当张三写了一个内容,此时会主动的把张三写的内容发送到他的粉丝收件箱中去,假设此时李四再来读取,就不用再去临时拉取了
优点:时效快,不用临时拉取
缺点:内存压力大,假设一个大V写信息,很多人关注他, 就会写很多分数据到粉丝那边去
解释:
推模式就像是你订阅了一份报纸,报社会在每天固定的时间将报纸送到你的家门口,你只需要打开门,就可以立即阅读最新的新闻内容。你不需要去报亭买报纸,因为报纸已经送到你的手中。
举个例子,假设张三是一位博客作者,他有很多粉丝关注他的博客。当张三写了一篇新的博客文章时,他不需要等待他的粉丝来访问他的博客查看新的文章,而是会主动将新文章的链接发送到他的粉丝的邮箱中。这样,当粉丝打开他们的邮箱时,就可以直接看到张三的新文章,而不需要去张三的博客中寻找新的内容。这就是推模式的工作方式。
相反,如果使用拉模式,那么张三的粉丝需要定期访问张三的博客,检查是否有新的文章。这会增加粉丝的工作量,因为他们需要不断地检查是否有新的内容。
推拉结合模式:也叫做读写混合,兼具推和拉两种模式的优点。
推拉模式是一个折中的方案,站在发件人这一段,如果是个普通的人,那么我们采用写扩散的方式,直接把数据写入到他的粉丝中去,因为普通的人他的粉丝关注量比较小,所以这样做没有压力,如果是大V,那么他是直接将数据先写入到一份到发件箱里边去,然后再直接写一份到活跃粉丝收件箱里边去,现在站在收件人这端来看,如果是活跃粉丝,那么大V和普通的人发的都会直接写入到自己收件箱里边来,而如果是普通的粉丝,由于他们上线不是很频繁,所以等他们上线时,再从发件箱里边去拉信息。
这样,对于活跃粉丝,无论关注的是大V还是普通用户,他们都能在登录后立即看到新的微博。对于不活跃的粉丝,他们在登录后,需要去每个关注的用户的主页上拉取新的微博。
这就是推拉模式的原理,它既考虑了服务器压力,也保证了用户体验。
9.4 好友关注-推送到粉丝收件箱
需求:
- 修改新增探店笔记的业务,在保存blog到数据库的同时,推送到粉丝的收件箱
- 收件箱满足可以根据时间戳排序,必须用Redis的数据结构实现
- 查询收件箱数据时,可以实现分页查询
Feed流中的数据会不断更新,所以数据的角标也在变化,因此不能采用传统的分页模式。
传统了分页在feed流是不适用的,因为我们的数据会随时发生变化
假设在t1 时刻,我们去读取第一页,此时page = 1 ,size = 5 ,那么我们拿到的就是10~6 这几条记录,假设现在t2时候又发布了一条记录,此时t3 时刻,我们来读取第二页,读取第二页传入的参数是page=2 ,size=5 ,那么此时读取到的第二页实际上是从6 开始,然后是6~2 ,那么我们就读取到了重复的数据,所以feed流的分页,不能采用原始方案来做。
Feed流的滚动分页
我们需要记录每次操作的最后一条,然后从这个位置开始去读取数据
举个例子:我们从t1时刻开始,拿第一页数据,拿到了10~6,然后记录下当前最后一次拿取的记录,就是6,t2时刻发布了新的记录,此时这个11放到最顶上,但是不会影响我们之前记录的6,此时t3时刻来拿第二页,第二页这个时候拿数据,还是从6后一点的5去拿,就拿到了5-1的记录。我们这个地方可以采用sortedSet来做,可以进行范围查询,并且还可以记录当前获取数据时间戳最小值,就可以实现滚动分页了
核心的意思:就是我们在保存完探店笔记后,获得到当前笔记的粉丝,然后把数据推送到粉丝的redis中去。
1 |
|
9.5 好友关注-实现分页查询收邮箱
使用ZREVRANGEBYSCORE实现滚动查询
ZREVRANGEBYSCORE z1 1000 0 WITHSCORES LIMIT 0 3
需求:在个人主页的“关注”卡片中,查询并展示推送的Blog信息:
具体操作如下:
1、每次查询完成后,我们要分析出查询出数据的最小时间戳,这个值会作为下一次查询的条件
2、我们需要找到与上一次查询相同的查询个数作为偏移量,下次查询时,跳过这些查询过的数据,拿到我们需要的数据
综上:我们的请求参数中就需要携带 lastId:上一次查询的最小时间戳 和偏移量这两个参数。
这两个参数第一次会由前端来指定,以后的查询就根据后台结果作为条件,再次传递到后台。
一、定义出来具体的返回值实体类
1 |
|
BlogController
注意:RequestParam 表示接受url地址栏传参的注解,当方法上参数的名称和url地址栏不相同时,可以通过RequestParam 来进行指定
1 |
|
BlogServiceImpl
1 |
|
补充:
上述需要注意2点:
- 第一点就是流推送的模式不能受到角标的影响,因为我们的流是动态变化的
- 第二点就是理解
ZREVRANGEBYSCORE
中偏移量"(offset
)的含义。【下面将会举出2个例子】
例子1:不设置偏移量的获取情况
假设你的 Redis 有序集合中保存了以下博客ID和它们对应的时间戳(分数):
- 博客ID: 103, 时间戳: 990
- 博客ID: 102, 时间戳: 995
- 博客ID: 101, 时间戳: 1000
- 博客ID: 100, 时间戳: 1005
- 博客ID: 99, 时间戳: 1010
用户希望查看他们的 feed 流,每次加载 2 条数据。
🛠️ 第一次请求
请求参数: max = 1015
(当前时间或任意较大时间戳),offset = 0
Redis 命令:
1 | ZREVRANGEBYSCORE key 1015 0 LIMIT 0 2 |
这个命令会从分数(时间戳)最高的开始(1015以下),获取两个元素:
- 返回博客 99 和 100
此时,我们记录最小的时间戳 minTime = 1005
(博客ID 100的时间戳)。
🛠️ 第二次请求
请求参数: max = minTime
(上次加载的最小时间戳),offset = 0
Redis 命令:
1 | ZREVRANGEBYSCORE key 1005 0 LIMIT 0 2 |
这个命令会从分数(时间戳)1005开始往下获取两个元素:
- 返回博客 100 和 101
此时,minTime
更新为 1000(博客ID 101的时间戳)。
你可能注意到这里会重复获取博客 100。这是因为我们每次都设置 offset = 0
。为避免这种重复,我们需要动态调整 offset
。
例子2:设置偏移量的情况
- Key:
feed:123
- 成员:笔记 ID
- 分数:笔记的时间戳
假设 SortedSet 中的数据如下:
成员(笔记 ID) | 分数(时间戳) |
---|---|
1001 | 1736647545166 |
1002 | 1736647545170 |
1003 | 1736647545175 |
1004 | 1736647545180 |
1005 | 1736647545180 |
1006 | 1736647545185 |
滚动分页的实现过程
(1)第一次请求
-
参数:
max = 1736647545185
(当前最大时间戳)。offset = 0
(初始偏移量)。
-
查询语句:
1
2stringRedisTemplate.opsForZSet()
.reverseRangeByScoreWithScores("feed:123", 0, 1736647545185, 0, 2); -
查询结果:
成员(笔记 ID) 分数(时间戳) 1006 1736647545185 1005 1736647545180 -
解析结果:
ids = [1006, 1005]
minTime = 1736647545180
(最小时间戳)。os = 1
(偏移量,因为1005
和1004
的时间戳相同,但只查询到1005
)。
-
返回结果:
list = [1006, 1005]
minTime = 1736647545180
offset = 1
(2)第二次请求
参数:
max = 1736647545180
(上一次的最小时间戳)。offset = 1
(上一次的偏移量)。
查询语句:
1 | stringRedisTemplate.opsForZSet() |
查询结果:
成员(笔记 ID) | 分数(时间戳) |
---|---|
1004 | 1736647545180 |
1003 | 1736647545175 |
解析结果:
ids = [1004, 1003]
minTime = 1736647545175
(最小时间戳)。os = 1
(偏移量,因为1004
和1005
的时间戳相同,但已经处理了1005
,所以偏移量为1
)。
返回结果:
list = [1004, 1003]
minTime = 1736647545175
offset = 1
(3)第三次请求
-
参数:
max = 1736647545175
(上一次的最小时间戳)。offset = 1
(上一次的偏移量)。
-
查询语句:
1
2stringRedisTemplate.opsForZSet()
.reverseRangeByScoreWithScores("feed:123", 0, 1736647545175, 1, 2); -
查询结果:
成员(笔记 ID) 分数(时间戳) 1002 1736647545170 1001 1736647545166 -
解析结果:
ids = [1002, 1001]
minTime = 1736647545166
(最小时间戳)。os = 1
(偏移量)。
-
返回结果:
list = [1002, 1001]
minTime = 1736647545166
offset = 1
0、附近商户
10.1、附近商户-GEO数据结构的基本用法
GEO就是Geolocation的简写形式,代表地理坐标。Redis在3.2版本中加入了对GEO的支持,允许存储地理坐标信息,帮助我们根据经纬度来检索数据。常见的命令有:
- GEOADD:添加一个地理空间信息,包含:经度(longitude)、纬度(latitude)、值(member)
- GEODIST:计算指定的两个点之间的距离并返回
- GEOHASH:将指定member的坐标转为hash字符串形式并返回
- GEOPOS:返回指定member的坐标
- GEORADIUS:指定圆心、半径,找到该圆内包含的所有member,并按照与圆心之间的距离排序后返回。6.以后已废弃
- GEOSEARCH:在指定范围内搜索member,并按照与指定点之间的距离排序后返回。范围可以是圆形或矩形。6.2.新功能
- GEOSEARCHSTORE:与GEOSEARCH功能一致,不过可以把结果存储到一个指定的key。 6.2.新功能
10.2、 附近商户-导入店铺数据到GEO
具体场景说明:
当我们点击美食之后,会出现一系列的商家,商家中可以按照多种排序方式,我们此时关注的是距离,这个地方就需要使用到我们的GEO,向后台传入当前app收集的地址(我们此处是写死的) ,以当前坐标作为圆心,同时绑定相同的店家类型type,以及分页信息,把这几个条件传入后台,后台查询出对应的数据再返回。
我们要做的事情是:将数据库表中的数据导入到redis中去,redis中的GEO,GEO在redis中就一个menber和一个经纬度,我们把x和y轴传入到redis做的经纬度位置去,但我们不能把所有的数据都放入到menber中去,毕竟作为redis是一个内存级数据库,如果存海量数据,redis还是力不从心,所以我们在这个地方存储他的id即可。
但是这个时候还有一个问题,就是在redis中并没有存储type,所以我们无法根据type来对数据进行筛选,所以我们可以按照商户类型做分组,类型相同的商户作为同一组,以typeId为key存入同一个GEO集合中即可
代码
HmDianPingApplicationTests
1 |
|
10.3 附近商户-实现附近商户功能
SpringDataRedis的2.3.9版本并不支持Redis 6.2提供的GEOSEARCH命令,因此我们需要提示其版本,修改自己的POM
第一步:导入pom
1 | <dependency> |
第二步:
ShopController
1 |
|
ShopServiceImpl
1 |
|
11、用户签到
11.1、用户签到-BitMap功能演示
我们针对签到功能完全可以通过mysql来完成,比如说以下这张表
用户一次签到,就是一条记录,假如有1000万用户,平均每人每年签到次数为10次,则这张表一年的数据量为 1亿条
每签到一次需要使用(8 + 8 + 1 + 1 + 3 + 1)共22 字节的内存,一个月则最多需要600多字节
我们如何能够简化一点呢?其实可以考虑小时候一个挺常见的方案,就是小时候,咱们准备一张小小的卡片,你只要签到就打上一个勾,我最后判断你是否签到,其实只需要到小卡片上看一看就知道了
我们可以采用类似这样的方案来实现我们的签到需求。
我们按月来统计用户签到信息,签到记录为1,未签到则记录为0.
把每一个bit位对应当月的每一天,形成了映射关系。用0和1标示业务状态,这种思路就称为位图(BitMap)。这样我们就用极小的空间,来实现了大量数据的表示
Redis中是利用string类型数据结构实现BitMap,因此最大上限是512M,转换为bit则是 2^32个bit位。
BitMap的操作命令有:
- SETBIT:向指定位置(offset)存入一个0或1
- GETBIT :获取指定位置(offset)的bit值
- BITCOUNT :统计BitMap中值为1的bit位的数量
- BITFIELD :操作(查询、修改、自增)BitMap中bit数组中的指定位置(offset)的值
- BITFIELD_RO :获取BitMap中bit数组,并以十进制形式返回
- BITOP :将多个BitMap的结果做位运算(与 、或、异或)
- BITPOS :查找bit数组中指定范围内第一个0或1出现的位置
11.2 、用户签到-实现签到功能
需求:实现签到接口,将当前用户当天签到信息保存到Redis中
思路:我们可以把年和月作为bitMap的key,然后保存到一个bitMap中,每次签到就到对应的位上把数字从0变成1,只要对应是1,就表明说明这一天已经签到了,反之则没有签到。
我们通过接口文档发现,此接口并没有传递任何的参数,没有参数怎么确实是哪一天签到呢?这个很容易,可以通过后台代码直接获取即可,然后到对应的地址上去修改bitMap。
代码
UserController
1 |
|
UserServiceImpl
1 |
|
11.3 用户签到-签到统计
**问题1:**什么叫做连续签到天数?
从最后一次签到开始向前统计,直到遇到第一次未签到为止,计算总的签到次数,就是连续签到天数。
Java逻辑代码:获得当前这个月的最后一次签到数据,定义一个计数器,然后不停的向前统计,直到获得第一个非0的数字即可,每得到一个非0的数字计数器+1,直到遍历完所有的数据,就可以获得当前月的签到总天数了
**问题2:**如何得到本月到今天为止的所有签到数据?
BITFIELD key GET u[dayOfMonth] 0
假设今天是10号,那么我们就可以从当前月的第一天开始,获得到当前这一天的位数,是10号,那么就是10位,去拿这段时间的数据,就能拿到所有的数据了,那么这10天里边签到了多少次呢?统计有多少个1即可。
问题3:如何从后向前遍历每个bit位?
注意:bitMap返回的数据是10进制,哪假如说返回一个数字8,那么我哪儿知道到底哪些是0,哪些是1呢?我们只需要让得到的10进制数字和1做与运算就可以了,因为1只有遇见1 才是1,其他数字都是0 ,我们把签到结果和1进行与操作,每与一次,就把签到结果向右移动一位,依次内推,我们就能完成逐个遍历的效果了。
需求:实现下面接口,统计当前用户截止当前时间在本月的连续签到天数
有用户有时间我们就可以组织出对应的key,此时就能找到这个用户截止这天的所有签到记录,再根据这套算法,就能统计出来他连续签到的次数了
代码
UserController
1 |
|
UserServiceImpl
1 |
|
11.4 额外加餐-关于使用bitmap来解决缓存穿透的方案
回顾缓存穿透:
发起了一个数据库不存在的,redis里边也不存在的数据,通常你可以把他看成一个攻击
解决方案:
-
判断id<0
-
如果数据库是空,那么就可以直接往redis里边把这个空数据缓存起来
第一种解决方案:遇到的问题是如果用户访问的是id不存在的数据,则此时就无法生效
第二种解决方案:遇到的问题是:如果是不同的id那就可以防止下次过来直击数据
所以我们如何解决呢?
我们可以将数据库的数据,所对应的id写入到一个list集合中,当用户过来访问的时候,我们直接去判断list中是否包含当前的要查询的数据,如果说用户要查询的id数据并不在list集合中,则直接返回,如果list中包含对应查询的id数据,则说明不是一次缓存穿透数据,则直接放行。
现在的问题是这个主键其实并没有那么短,而是很长的一个 主键
哪怕你单独去提取这个主键,但是在11年左右,淘宝的商品总量就已经超过10亿个
所以如果采用以上方案,这个list也会很大,所以我们可以使用bitmap来减少list的存储空间
我们可以把list数据抽象成一个非常大的bitmap,我们不再使用list,而是将db中的id数据利用哈希思想,比如:
id % bitmap.size = 算出当前这个id对应应该落在bitmap的哪个索引上,然后将这个值从0变成1,然后当用户来查询数据时,此时已经没有了list,让用户用他查询的id去用相同的哈希算法, 算出来当前这个id应当落在bitmap的哪一位,然后判断这一位是0,还是1,如果是0则表明这一位上的数据一定不存在, 采用这种方式来处理,需要重点考虑一个事情,就是误差率,所谓的误差率就是指当发生哈希冲突的时候,产生的误差。
12、UV统计
12.1 、UV统计-HyperLogLog
首先我们搞懂两个概念:
- UV:全称Unique Visitor,也叫独立访客量,是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站,只记录1次。
- PV:全称Page View,也叫页面访问量或点击量,用户每访问网站的一个页面,记录1次PV,用户多次打开页面,则记录多次PV。往往用来衡量网站的流量。
通常来说UV会比PV大很多,所以衡量同一个网站的访问量,我们需要综合考虑很多因素,所以我们只是单纯的把这两个值作为一个参考值
UV统计在服务端做会比较麻烦,因为要判断该用户是否已经统计过了,需要将统计过的用户信息保存。但是如果每个访问的用户都保存到Redis中,数据量会非常恐怖,那怎么处理呢?
Hyperloglog(HLL)是从Loglog算法派生的概率算法,用于确定非常大的集合的基数,而不需要存储其所有值。相关算法原理大家可以参考:https://juejin.cn/post/6844903785744056333#heading-0
Redis中的HLL是基于string结构实现的,单个HLL的内存永远小于16kb,内存占用低的令人发指!作为代价,其测量结果是概率性的,有小于0.81%的误差。不过对于UV统计来说,这完全可以忽略。
12.2 UV统计-测试百万数据的统计
测试思路:我们直接利用单元测试,向HyperLogLog中添加100万条数据,看看内存占用和统计效果如何
经过测试:我们会发生他的误差是在允许范围内,并且内存占用极小。
补充
概念介绍
PV(Page View,页面浏览量):
- 每个用户每次打开页面都会记录一次 PV,因此同一个用户多次刷新页面会导致 PV 增加。
- 例如:一个用户访问了某个网页 5 次,那么该页面的 PV 就是 5。
UV(Unique Visitor,独立访客):
- UV 统计的是访问网站的不同用户的数量,通常是基于用户的唯一标识符(如用户的 Cookie 或用户 ID)。
- 例如:两个人分别访问了某个网页 5 次和 3 次,那么 UV 是 2(表示有两个不同的用户访问了该页面)。
VV(Visit View,访问次数):
- VV 表示用户访问网站的次数。与 UV 不同,同一个用户可以多次访问网站,每次访问都会增加 VV。
- 例如:一个用户一天内访问了网站 3 次,VV 就是 3。
IP(独立IP数):
- 统计的是访问该网站的不同 IP 地址的数量。与 UV 类似,但 UV 是基于用户的唯一标识(如 Cookie),而 IP 是基于用户的 IP 地址。
如何统计 UV:
详细实现步骤
- 确定用户唯一标识
为了统计 UV,我们需要为每个用户生成一个唯一标识。通常可以使用以下几种方式:
- Cookie ID:每个用户在第一次访问网站时,服务器会给他分配一个唯一的 Cookie,之后用户再次访问时服务器可以识别该 Cookie。
- 用户 ID:对于登录用户,可以直接使用用户的 ID。
- IP 地址:对于未登录用户,可以使用用户的 IP 地址作为唯一标识,不过 IP 地址可能会有 NAT 问题,不完全准确。
为了举例,这里我们假设使用 Cookie ID 作为唯一标识符。
- Redis 中的 Key 设计
为了每天统计 UV,我们可以为每天生成一个独立的 Redis Key,通常的设计方式是:
- Redis Key 的格式为:
uv:yyyy-MM-dd
- 例如:
uv:2024-07-07
表示 2024 年 07 月 7 日的 UV 统计。
每当用户访问时,将用户的唯一标识添加到当天的 Set 中。
- Redis 的 Set 操作
Redis 提供了丰富的 Set 操作命令,用于管理集合中的元素。我们会用到以下两个命令:
- SADD:将一个或多个成员元素加入到集合中,已存在的元素不会重复。
- SCARD:返回集合中元素的数量。
下面是使用 Java 和 Redis 实现 UV 统计的详细步骤。
步骤 1:依赖项
首先,确保你的项目中有以下依赖项:
1 | <dependency> |
这些依赖项包括了 Redis 的客户端库 Redisson 和 Jedis。
步骤 2:Redis 配置
首先,配置 Redis 连接。你可以使用 Redisson 来连接 Redis,以下是一个简单的 Redis 配置:
1 | import org.redisson.Redisson; |
步骤 3:UV 统计逻辑
UV 统计可以通过 Redis 的 Set 数据结构 实现,因为 Set 可以自动去重。我们可以将每个用户的唯一标识(如 IP、Cookie 值等)存储到 Redis 的一个 Set 中:
- 对于同一个用户,Set 保证不会重复计数。
- 每天可以使用一个不同的 Key 进行统计,例如
uv:{date}
,这样可以方便统计每日的 UV。
1 | import org.redisson.api.RSet; |
步骤 4:测试代码
为了测试 UV 统计功能,可以编写一个简单的测试用例,模拟多个用户访问:
1 | public class Main { |
运行上述代码时,user1
访问了两次,但由于 Set 的特性,UV 统计结果应该是 3。
可以继续往里面添加实际业务的功能:
我觉得应该看些实际的业务,从而去不足那些知识点。大看看CSDN上的大佬的操作。
https://blog.csdn.net/guaotianxia?type=blog
https://blog.csdn.net/abu935009066
补充
支付流程
涉及的流程步骤
- 用户在商户前台选择商品,点击支付。
- 商户前台向商户后台发起支付请求。
- 商户后台调用支付平台接口,生成支付二维码链接。
- 商户前台展示二维码(用户通过扫码设备扫描)。
- 用户通过扫码设备(如手机)扫描二维码。
- 支付平台响应扫码请求,允许用户输入支付密码。
- 支付平台验证用户的支付信息,完成支付。
- 支付完成后,通知商户后台。
- 商户后台处理支付结果,通知商户前台。
- 商户前台展示支付结果确认信息。
- 支付完成后,商户后台发起订单确认请求,确认支付状态。
关键技术点
- HTTP请求/响应:商户后台通过 HTTP 请求与支付平台交互。
- 二维码生成:商户后台生成支付二维码并传递给前台。
- 轮询支付状态:商户后台可以轮询支付平台,确认支付状态。
- 异步通知处理:支付平台异步通知商户后台支付结果。
- 安全:需要处理签名、加密等安全问题,验证支付平台返回的签名。
这里,我对【商户后台可以轮询支付平台,确认支付状态】业务比较感兴趣。
轮询业务逻辑
轮询支付状态的实现是指商户后台为了确认订单的支付状态,可以通过定期调用支付平台的API来查询订单的支付状态。在一些支付场景中,支付平台可能不会主动推送支付结果(或推送失败),这时商户系统可以通过轮询的方式来主动查询支付结果。
轮询支付状态的实现步骤
- 商户后台发起支付请求后,支付平台会返回一个支付订单号(
orderId
)。 - 商户后台根据这个订单号,不断调用支付平台的查询接口,检查该订单的支付状态。
- 如果支付成功,则停止轮询,并处理后续逻辑(更新订单状态、通知前台等)。
- 如果支付失败或仍在处理中,轮询继续,直到满足条件为止(如支付成功或超时退出)。
关键点
- 轮询间隔:为了避免系统资源浪费或对支付平台造成过多压力,轮询的时间间隔通常需要设置合理,建议每隔几秒查询一次。
- 轮询的退出条件:轮询应当有明确的退出机制,比如支付成功、支付失败或轮询超时(防止无限轮询)。