深入理解高并发超卖一系列问题与解决方案(近7万字详解,跳槽涨薪必备宝藏珍藏级分享)

破除困境带你飞

能遇上高并发的,基本都是有点规模的公司,小公司基本都是CRUD。
想去一线城市跳槽,想去有高并发的公司,但是没有高并发经验,没有高并发的经验,就去不了高并发的公司,去不了这样的公司,就没有高并发经验,前狼后虎两头堵的困境,干就完了。

一语道破

超卖问题是属于并发安全问题,在并发情况下出现数据一致性的问题的表现,据有代表性。
这是个概率问题,不是一定发生或一定不发生。
核心问题就两个:

  • 并发引起的资源竞争却没有加锁,导致运行时序不可控(MySQL超卖)。
  • 多个读写操作存在间隙,导致并发请求通过间隙插队引发的时序不可控问题(Redis超卖)。

解决方案也很简单,上锁或者保证无间隙执行就行了。

并发问题仅仅只是一种,至于并发带来的,大数据存储、检索、以及安全问题都是需要考虑进去的。

MySQL超卖原理分析

假设无并发情况下代码逻辑没问题。这个问题主要出现在获取库存数据的方式上,并发过来时,多个请求获取到的库存一致,然后都在这个一致的库存基础上扣库存,自然要出错。

MySQL的解决方案

并发存在资源争夺问题,时序是不可控的,所以要上锁,强制在短时间内让数据串行更改。

  • 乐观锁:MySQL乐观锁与悲观锁
  • 悲观锁:MySQL锁(读锁、共享锁、写锁、S锁、排它锁、独占锁、X锁、表锁、意向锁、自增锁、MDL锁、RL锁、GL锁、NKL锁、插入意向锁、间隙锁、页锁、悲观锁、乐观锁、隐式锁、显示锁、全局锁、死锁)
  • 分布式锁:深入理解PHP+Redis实现分布式锁的相关问题

Redis超卖原理分析

Redis超卖,主要是开发者没有考虑到并发下资源争夺的间隙问题。
redis get(‘stock’)是5,然后decr(‘stock’),想让库存减到4,看起来没毛病。
但是get和decr是两条语句,因此存在间隙,get(‘stock’)是5只能代表执行的那个时刻是5,decr在执行时不能保证redis是以5的基础上自减的,可能已经被秒成0了。

Redis的解决方案

  • 笨方法:
    由于Redis是单线程的,利用Redis双向链表的特性可以完成,利用左推右拉的单向队列完成对库存的扣减。笨方法,笨就笨在要是有1000个商品,一共50000个库存,难道要存50000条数据吗。
    伪代码如下:
    实现通过缓存预热,将商品id缓存进redis队列中,例如:lPush('goods_ids' , 商品id)	
    然后抢购时:在逐个取出来,利用这些数据,做其它逻辑操作rPush('goods_ids', 商品id),知道这个动作返回false,证明库存全部扣完。
    
  • Redis+lua:
    利用Redis+Lua脚本的方式,让扣库存的动作无间隙执行,超卖问题,用redis操作string,或者hash类型都行。
    //用字符串类型操作,单商品库存
    $lua = <<<EOF
        local stock_key   = KEYS[1]                                -- Redis中存储库存数量的键名
        local input_stock = tonumber(ARGV[1])                      -- 要扣除的库存数量
        local redis_stock = tonumber(redis.call('GET', stock_key)) -- 获取当前库存数量
        if redis_stock >= input_stock then
            redis.call('DECRBY', stock_key, input_stock)           -- 如果库存充足,则扣除库存数量
            return redis_stock - input_stock                       -- 返回扣除后的库存数量
        else
            return -1                                              -- 库存不足,返回标记值,别返回0,有歧义
        end
    EOF;
    
    $redis = new Redis();
    $redis->connect('127.0.0.1', 6379);
    //stock为string名,2为要扣库存的数量
    $res = $redis->eval($lua, ['stock' , 2], 1);
    if($res == -1) {
        //库存不足
    }
    
    //库存充足,其它下游流程...
    
    用hash类型操作多商品库存
    $script = <<<EOF
        local hash_key    = KEYS[1]
        local goods_id    = KEYS[2]
        local input_stock = - tonumber(ARGV[1])
        if input_stock >= 0 then
            return -1 -- 表单验证
        end
        
        local redis_stock = tonumber(redis.call('HGET', hash_key, goods_id))
        if redis_stock == nil then
            return -2 -- 商品不存在
        end
    
        local stock_res = redis_stock + input_stock
        if stock_res < 0 then
            return -3 -- 库存不足
        end
    
        redis.call('HSET', hash_key, goods_id, stock_res)
        return stock_res
    EOF;
    //扣减商品id为50的3个库存。
    $res = $redis->eval($script, ['stock', 50, 3], 2);
    if($res == -1) {
        echo '库存数据不合法';
        return;
    }
    if($res == -2) {
        echo '商品不存在';
        return;
    }
    if($res == -3) {
        echo '库存不足';
        return;
    }
    
    echo "库存扣减成功,当前库存为:{$res}";
    

关于Redis+Lua是否是原子性执行的争议问题

https://redis.io/docs/latest/develop/interact/programmability/eval-intro/
对Redis官网进行搜索,出现了原子性的字眼。
原话是:
Blocking semantics that ensure the script’s atomic execution.
Lua lets you run part of your application logic inside Redis. Such scripts can perform conditional updates across multiple keys, possibly combining several different data types atomically.

但是我想了想有矛盾的地方:
MySQL使用了undo log来保证原子性,要么成功全部执行,要么失败全部回滚。
众所周知,Redis不支持回滚的,那么ACID的A就没办法全部保证,最多是没有执行期间没有间隙,不被其它过来的请求影响,引起并发问题。

然后我又看了看阿里某架构师对此的剖析,跟我设想的一样:
Redis会把Lua脚本当做一个整体去执行,中间不会被其它的命令插入,但是如果执行过程中出现了错误,事务是不会回滚的。
也就意味着执行Lua脚本的过程不可被拆分,不可被中断,但是遇到错误不会回滚。

并发情况下MySQL与Redis缓存一致性问题详解

并发情况单个MySQL或单个Redis本身都有读写不一致的问题,更何况MySQL与Redis两个组件间通信又没有事务的约束,或者锁的加持,同样会出现一致性问题。
深入理解高并发下的MySQL与Redis缓存一致性问题(增删改查数据缓存的一致性、Canal、分布式系统CAP定理、BASE理论、强、弱一致性、顺序、线性、因果、最终一致性)

高并发带来的数据幂等性问题

库存一致性是一方面,库存保证好了,不代表,其它地方就一定不会出现库存一致性问题:
高并发下数据幂等问题的9种解决方案

高并发带来海量数据MySQL查询问题

MySQL索引底层原理相关问题自总结(难度对标18K-25K薪资,已总结80+,持续更新中)

MySQL查询优化方案汇总(索引相关)

高并发带来的亿级大数据检索问题

万字详解PHP+Sphinx中文亿级数据全文检索实战(实测亿级数据0.1秒搜索耗时)

高并发从侧面带来的安全问题

深入理解PHP+Redis实现布隆过滤器(亿级大数据处理和黑客攻防必备)

其它文章持续更新中……

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/559105.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

HTML、CSS常用的vscode插件 +Css reset 和Normalize.css

个人主页&#xff1a;学习前端的小z 个人专栏&#xff1a;HTML5和CSS3悦读 本专栏旨在分享记录每日学习的前端知识和学习笔记的归纳总结&#xff0c;欢迎大家在评论区交流讨论&#xff01; 文章目录 ✍HTML、CSS常用的vscode插件&#x1f34e;1 HTML 标签同步重命名 – Auto Re…

大型网站系统架构演化实例_7.使用NoSQL和搜索引擎

1.使用NoSQL和搜索引擎 随着网站业务越来越复杂&#xff0c;对数据存储和检索的需求也越来越复杂&#xff0c;网站需要采用一些非关系数据库技术如NoSQL和非数据库查询技术如搜索引擎。NoSQL和搜索引擎都是源自互联网的技术手段&#xff0c;对可伸缩的分布式特性具有更好的支持…

【代理模式】静态代理-简单例子

在Java中&#xff0c;静态代理是一种设计模式&#xff0c;它涉及到为一个对象提供一个代理以控制对这个对象的访问。静态代理在编译时就已经确定&#xff0c;代理类和被代理类会实现相同的接口或者是代理类继承被代理类。客户端通过代理类来访问&#xff08;调用&#xff09;被…

QT跨平台读写Excel

QT跨平台读写Excel 背景Excel工具CMakeLists.txt工程目录 背景 开发框架QT&#xff0c;makefile构建工具CMake&#xff0c;编译器MinGW Excel工具 考虑跨平台则不能使用针对微软COM组件的QAxObject来读写Excel&#xff0c;因此使用开源QtXlsx。 这里是将QXlsx当做源码嵌入使…

【Linux学习】Linux权限(二)

文章目录 &#x1f680;Linux权限管理&#x1f680;修改文件的所有者&#x1f680;修改文件或目录的所属组&#x1f680;同时修改为念的拥有者与所属组&#x1f680;文件类型&#x1f680;file指令&#x1f680;目录权限&#x1f680;umask指令&#x1f680;粘滞位 &#x1f68…

使用 Docker 部署 instantbox 轻量级 Linux 系统

1&#xff09;instantbox 介绍 GitHub&#xff1a;https://github.com/instantbox/instantbox instantbox 是一款非常实用的项目&#xff0c;它能够让你在几秒内启动一个主流的 Linux 系统&#xff0c;随起随用&#xff0c;支持 Ubuntu&#xff0c;CentOS&#xff0c; Arch Li…

c#+unity基础

序列化&#xff1a; [SerializeField]&#xff0c;点不出来&#xff0c;只能在面板上显示绑定游戏物体 //公有隐藏 特有函数 特有函数&#xff1a;不需要调用&#xff0c;自动执行 Awake最先执行->OnEable 面向对象思想 面向对象思想&#xff1a;分为具体对象和抽象对…

nas如何异地共享文件?

nas异地共享文件是一种通过网络实现不同地区电脑与电脑、设备与设备、电脑与设备之间的文件共享的技术。通过nas&#xff08;网络附加存储&#xff09;设备&#xff0c;用户可以在不同地点的电脑或设备之间快速、安全地共享文件和数据。本文将介绍nas异地共享文件的原理以及它在…

day4网络编程作业

#include <myhead.h> #define SER_IP "192.168.125.78" #define SER_PORT 69 #define CLI_IP "192.168.125.176" #define CLI_PORT 4399 //文件上传 void upload(int cfd,struct sockaddr_in sin)//服务器信息结构体传参 {//填充读写请求字符数组--&…

如何查看项目中使用的Qt版本

如何查看项目中使用的Qt版本 1.点击左下角电脑按钮查看Qt版本。 2.点击左侧栏项目按钮查看Qt版本。

代码编辑工具PilotEditPro18.4版本在Windows系统的下载与安装配置

目录 前言一、PilotEdit Pro安装二、使用配置总结 前言 “ PilotEdit Pro是一个功能强大且功能丰富的文本和代码编辑器&#xff0c;可满足程序员、开发人员和IT专业人员的不同需求。定位为一个多功能的编辑解决方案&#xff0c;PilotEdit Pro以其对广泛的文本和代码文件格式的…

【黑马头条】-day11热点文章实时计算-kafka-kafkaStream-Redis

文章目录 今日内容1 实时流式计算1.1 应用场景1.2 技术方案选型 2 Kafka Stream2.1 概述2.2 KafkaStream2.3 入门demo2.3.1 需求分析2.3.2 实现2.3.2.1 添加依赖2.3.2.2 创建快速启动&#xff0c;生成kafka流2.3.2.3 修改生产者2.3.2.4 修改消费者2.3.2.5 测试 2.4 SpringBoot集…

短视频批量采集软件|视频无水印下载提取工具

全新发布&#xff01;DY视频批量下载工具&#xff0c;实现轻松快捷的视频提取 为了更好地满足您的需求&#xff0c;我们自主研发了全新的DY视频批量下载工具。相较于市面上单个视频链接提取的工具&#xff0c;我们的产品更为便捷&#xff0c;不仅支持单个视频链接提取&#xf…

mysql 日环比 统计

接到一个任务&#xff0c;要计算日环比的情况。 16、查询销售额日环比情况 日环比&#xff1a; &#xff08;今日-昨日&#xff09;/ 昨日 的一个比率情况。 1&#xff0c;建表 DROP TABLE IF EXISTS sale; create table sale(id int not null AUTO_INCREMENT,record_date da…

Linux下SPI设备驱动实验:测试读取ICM20608设备中数据是否正常

一. 简介 前面文章实现了 SPI设备的读写功能&#xff0c;也对ICM20608设备中&#xff08;即SPI设备&#xff09;寄存器里的数据进行了读取。文章如下&#xff1a; Linux下SPI设备驱动实验&#xff1a;读取ICM20608设备的数据-CSDN博客 本文对驱动功能进行测试&#xff0c;即…

SpringSecurity源码分析3--UserDetail部分

前言&#xff1a;本章提及的类都是与用户名、密码相关的类 UserDetailsService.class 用于加载用户信息 DaoAuthenticationProvider.class 将数据库的信息拿出来进行认证 AbstractUserDetailsAuthenticationProvider.class DaoAuthenticationProvider的父类&#xff0c;通过模…

基于Web的宠物医院信息管理系统论文

摘 要 现代经济快节奏发展以及不断完善升级的信息化技术&#xff0c;让传统数据信息的管理升级为软件存储&#xff0c;归纳&#xff0c;集中处理数据信息的管理方式。本宠物医院信息管理系统就是在这样的大环境下诞生&#xff0c;其可以帮助管理者在短时间内处理完毕庞大的数据…

【海思Hi3516CV610】是面向新一代视频编解码标准、网络安全和隐私保护、人工智能行业应用方面的IPC SoC

海思Hi3516CV610是面向新一代视频编解码标准、网络安全和隐私保护、人工智能行业应用方面的IPC SoC&#xff0c;除了开发普通摄像机&#xff0c;还可以打造极具竞争力的枪球一体机、双目长短焦摄像机产品&#xff1b; 处理器内核: 支持ARM Cortex-A7 MP2 时钟速率950MHz 支持…

java中的枚举概述

枚举指的是将一个事物的所有情况列举出来&#xff0c;这个概念在数学中的概率那一块经常有所体现。用一个简单的例子加以说明&#xff0c;我们对投掷两个骰子时出现的点数进行记录&#xff0c;当把所有可能出现的情况都列举出来时&#xff0c;所体现的就是枚举的概念。这里可能…

C++_类型转换

文章目录 学习目标&#xff1a;1.static_cast2. reinterpret_cast3.const_cast4. dynamic_cast 学习过程1.static_cast2. reinterpret_cast3.const_cast在这里插入图片描述4. dynamic_cast 学习目标&#xff1a; 标准C为了加强类型转换的可视性&#xff0c;引入了四种命名的强…
最新文章