死扛零點(diǎn)前十秒流量,預(yù)測(cè)取消訂單,為了保衛(wèi)雙十一京東有多拼?
双十一,剁手党的节日,恨不能是各大电商程序员的忌日。
京东,作为全国买买买炮火的主要目标,架构师、码农们一边承担着全国人民打折购物的殷切期望,一边承受着老板东哥如芒在背的犀利目光。
总之,一旦出现闪失,后果不堪设想。
那么,究竟架构师们如何万无一失地完成这样“不允许失败”的任务呢?
在今天的 SDCC 中国软件开发者大会上,京东商城总架构师、基础平台负责人刘海锋为现场观众介绍了今年保卫京东双十一的“五大法宝”。
【京东商城总架构师、基础平台负责人 刘海锋】
好钢留在刀刃上:资源规划
说到底,双十一最大的挑战就是访问和业务激增。如果能够提供无限的带宽和计算资源,那么双十一和其他日期不会有任何可以感知的区别。
然而,资源永远是有限的。这就好像一个人往往不能又买房又买车还天天吃大餐。从这个角度来说,资源规划就变得非常重要。
每当各种电商节来临之前,各路部门都变成了嗷嗷待哺的雏鸟。恨不能张口就要十倍于平时的资源。
不过刘海锋说:
大家都觉得资源充分才不会出问题。但是事实证明,有些部门多准备一些CPU,心理上可能轻敌,在代码上就放松了警惕,这样未必可以活下;相反资源不那么充足的情况下,反而未必死掉。
那么,有限的 CPU 究竟分给谁呢?
【前端用户下单方法调用双十一峰值达到了平均值的16倍,而机房内网络流量峰值只有平均值的1.5倍】
根据刘海锋的研究,京东商城前端的访问系统在零点之前的十几秒负载达到峰值。几秒内就可以达到平均值的16倍。这是因为大家都已经选好了想要的商品,只等零点之前刷新下单。但是,这样狂飙的访问量在系统内部却没有表现得如此恐怖。在系统内部,访问量可能只有平时的1.5倍。
我们把各个系统分为两类:平稳型系统和毛刺型系统。
平稳型系统,包括商品的详情页、价格页面、库存信息等等;
毛刺型系统,包括下单、秒杀页面、抢购页面等等。
做了细致的研究之后,对于资源的分配就有了依据。这样就可以在保证核心流程充分扩容的基础上,再来满足锦上添花的功能需求。
“逼”内存做存储:夯实基础架构
基础架构是京东商城的基础。而在巨大访问中一旦基础架构出现了问题,会影响无数附加其上的应用。为了保证这个庞大的基础架构,京东做了一些重点动作。
多数据中心
刘海锋说,一个机房的安全系数永远不够,一旦出问题将会造成不可估量的损失。所以京东采用了多数据中心的策略。
这种冗余策略存在于包括电商在内的很多服务中。是一种通用的手段,当然京东也不例外。
全面容器化
京东从2014年开始,对系统进行 Docker 容器化改造。
通俗来说,“容器化”就是把系统的各项资源进行虚拟化,可以更加自由地分配给各个服务。
这种改造有一个巨大的优势,那就是极大地加快了资源交付和速度,更小地细分了资源的粒度。刘海锋说,2014年之前,大促时各个系统分资源还在分物理机,而现在大家可以直接分CPU,系统在后台直接把 CPU 的计算能力分配给需要的部门。
“逼”内存做磁盘
在京东的构架中,内存可以被用作存储器,而不是缓存。刘海锋说,这就是所谓的 JIMDB(以内存为中心的存储)。
众所周知,硬盘是在电子化的 IT架构中,唯一一个还在使用机械结构的元件。它的效率之低令人发指。所以在大促的时候,订单内容和实时护具不会回到后台存储,直接在内存中被调用。这样就大大提缩短了系统响应时间。
为此,京东的内存容量储备达到了 260T。
大促的时候,99%的访问请求最高延迟都小于 5 毫秒。
刘海锋说。
消息平台 JMQ
在京东的体系中,最重要的可能就是订单和运单数据。而这些数据需要在许多系统内部实时同步。
很多下游系统关心订单信息。按照传统的思路,所有下游系统都想要获得订单信息,必须通过订单系统,调用其他的接口才能实现。这样就会给订单系统带来极大的压力。
针对这个矛盾,京东开发了消息平台 JMQ。JMQ 的工作原理很简单,大致相当于信息统筹的秘书。订单系统只需要把数据交给 JMQ,其他系统只需要调用 JMQ就可以查看信息。这在客观上大大缓解了订单系统的压力。
预测取消订单:增强智能
双十一,所有系统资源全部被调动起来。人工智能,这个正在井喷的高科技也可以在这个时候“帮工”。
不过,刘海锋告诉,这并不是什么虚头巴脑的大概念,而是一些接地气的小功能。所以他更愿意把它叫做“增强智能”。
增强智能在京东商城的体系内应用场景不少,例如:客服机器人、库存优化、信息合规校验、智能物流仓储等等。刘海锋举了两个有趣的例子。
【替用户冷静的“订单冷静管道”】
订单冷静:冲动购物的后悔药
如果我看到别人在大促的当天买了一部手机送给女朋友。我一冲动,一次购买了两台,冷静下来想想, 我还没有女朋友。这个时候,我可能会选择退货。
刘海锋说。
然而,京东的很多产品都是自营,在下单之后几分钟内就已经开始分拣打包。然而, 系统订单是在几小时内都支持取消的。
这时,如果用户选择了取消订单,那么打包工作就浪费了。这对于双十一期间资源相对宝贵的京东来说,就是一种资源浪费。
这时,就到了人工智能显示威力的时候。
如果系统探测到下单买两部 iPhone的用户,经常买奢侈品送给(不同的)女朋友,那么没事。如果探测到这个用户以前购买的最贵的商品就是200块钱的食用油,并且通过大数据分析,这位用户可能没有女朋友。那么就在后台自动把订单“冷静”10-20分钟。如果用户没有后悔取消订单,再继续大宝流程。这有助于减少浪费的成本。
订单预测:从下单到送到只需 12 分钟
在双十一当天,凌晨第一单从下单到出库到用户签收仅仅用了12分31秒。这个看起来有点假的成绩是怎么取得的呢?
如果从下单开始,才从最大的仓库备货,12分钟也许都不够用来分拣。能够做到这么快,要归功于“订单预测系统” 。
【订单预测系统工作原理】
刘海锋讲解了订单预测系统的工作原理:
一个商圈,将会在双十一购买多少手机、电池、尿布、啤酒这类标准品,是可以通过大数据来预测的。而京东的库房是分级的。有后端的仓储和前端的仓储。通过预测,京东会提前把一些商品前置到前端仓(FDC),这样在用户下单之后就可以瞬间从仓库发出,就近送到用户手里。
“自残式”演习:大规模故障模拟演练
验证技术团队可靠性的最好方式,莫过于真枪实弹的技术演习。
Chaos Monkey,是很多平台都在使用的故障演习模式,简单说来就是随即关闭生产环境中的实例,然后检查系统是否能经受故障考验。
刘海锋把这个英语词汇改成了更接地气的中文名称——响尾蛇。
总之,就是在双十一真正的考验来临之前,用一种“自残”的方式来检查系统的可靠性。
刘海锋介绍,京东的“响尾蛇”行动玩法如下:
把运维人员分为两组,一组资深的运维工程师在会议室里,负责模拟故障。而在会议室外面,是负责解决问题的小组。对于将要出现什么问题,会议室外面的小组是毫不知情的。模拟故障五花八门,从机器到网络,到模块,到服务,到中间件和数据库,甚至整个机房消失。应急小组都必须给出合理的处置方法,拼死保证业务不出现问题。
刘海锋说,“由于这种演练具有一定的破坏性,所以我们都是在半夜一点到三点之间进行。”
军演机器人:全链路压力测试
所谓压力测试,就是在真实模拟无数人访问京东并作出各种请求的情况下, 测试系统能否正常运作。
虽然各个环节的工程师都会对自己的系统进行压力测试,但是毕竟这种测试是分散的,导致最终容易在各个业务的接口处产生问题。而且,普通的压力测试,很难模拟真实用户的访问行为。
为此,刘海锋专门让团队开发了“军演压力测试机器人”。
这个机器人,就是模拟我们雇佣一亿人同时访问我们网站的行为。这套程序分布在全国各地,对我们的业务做全链路的读写混合压力测试。
如同军演一样,全链路的压力测试并不如想象般容易实现。例如,这样的演习不能使用真正的银行支付,不能影响真正的库存数量,不能动用真的物流。所以,和演习相关的所有上下游业务,都要设计一套虚拟系统。
在这套“军事演习”里,最重要的步骤就是“黄金链路压力测试”。所谓黄金链路,就是普通用户使用京东的“标准流程”,包括:登录,搜索,浏览,购物,结算,支付。这个链路,是双十一用户体验的最主要体现。京东的工程师们不断对这个链路进行测试,就可以发现很多存在的问题。
【黄金链路压力测试流程】
以上,就是京东保障正在看文章的你“剁手顺利”的五大法宝。仅仅是24小时的买买买,背后却涉及无数风险控制手段和资源调度模型。
正如刘海锋所说,
双十一是电商企业整体技术能力的一个缩影,各个电商在保障的过程中都会有一些插曲,正是这些小问题,让中国的电商行业不断地成长。
SDCC,中国软件开发者大会。由全球最大中文 IT 社区 CSDN于2007年创办,每年举办。主题是下一代软件开发技术趋势与对各行业的深刻影响,以谈干货实料著称。
推薦系統(tǒng)
雨林木風(fēng) winxp下載 純凈版 永久激活 winxp ghost系統(tǒng) sp3 系統(tǒng)下載
系統(tǒng)大?。?/em>0MB系統(tǒng)類型:WinXP雨林木風(fēng)在系統(tǒng)方面技術(shù)積累雄厚深耕多年,打造了國(guó)內(nèi)重裝系統(tǒng)行業(yè)知名品牌,雨林木風(fēng)WindowsXP其系統(tǒng)口碑得到許多人認(rèn)可,積累了廣大的用戶群體,是一款穩(wěn)定流暢的系統(tǒng),雨林木風(fēng) winxp下載 純凈版 永久激活 winxp ghost系統(tǒng) sp3 系統(tǒng)下載,有需要的朋友速度下載吧。
系統(tǒng)等級(jí):進(jìn)入下載 >蘿卜家園win7純凈版 ghost系統(tǒng)下載 x64 聯(lián)想電腦專用
系統(tǒng)大?。?/em>0MB系統(tǒng)類型:Win7蘿卜家園win7純凈版是款非常純凈的win7系統(tǒng),此版本優(yōu)化更新了大量的驅(qū)動(dòng),幫助用戶們進(jìn)行舒適的使用,更加的適合家庭辦公的使用,方便用戶,有需要的用戶們快來(lái)下載安裝吧。
系統(tǒng)等級(jí):進(jìn)入下載 >雨林木風(fēng)xp系統(tǒng) xp系統(tǒng)純凈版 winXP ghost xp sp3 純凈版系統(tǒng)下載
系統(tǒng)大?。?/em>1.01GB系統(tǒng)類型:WinXP雨林木風(fēng)xp系統(tǒng) xp系統(tǒng)純凈版 winXP ghost xp sp3 純凈版系統(tǒng)下載,雨林木風(fēng)WinXP系統(tǒng)技術(shù)積累雄厚深耕多年,采用了新的系統(tǒng)功能和硬件驅(qū)動(dòng),可以更好的發(fā)揮系統(tǒng)的性能,優(yōu)化了系統(tǒng)、驅(qū)動(dòng)對(duì)硬件的加速,加固了系統(tǒng)安全策略,運(yùn)行環(huán)境安全可靠穩(wěn)定。
系統(tǒng)等級(jí):進(jìn)入下載 >蘿卜家園win10企業(yè)版 免激活密鑰 激活工具 V2023 X64位系統(tǒng)下載
系統(tǒng)大小:0MB系統(tǒng)類型:Win10蘿卜家園在系統(tǒng)方面技術(shù)積累雄厚深耕多年,打造了國(guó)內(nèi)重裝系統(tǒng)行業(yè)的蘿卜家園品牌,(win10企業(yè)版,win10 ghost,win10鏡像),蘿卜家園win10企業(yè)版 免激活密鑰 激活工具 ghost鏡像 X64位系統(tǒng)下載,其系統(tǒng)口碑得到許多人認(rèn)可,積累了廣大的用戶群體,蘿卜家園win10純凈版是一款穩(wěn)定流暢的系統(tǒng),一直以來(lái)都以用戶為中心,是由蘿卜家園win10團(tuán)隊(duì)推出的蘿卜家園
系統(tǒng)等級(jí):進(jìn)入下載 >蘿卜家園windows10游戲版 win10游戲?qū)I(yè)版 V2023 X64位系統(tǒng)下載
系統(tǒng)大?。?/em>0MB系統(tǒng)類型:Win10蘿卜家園windows10游戲版 win10游戲?qū)I(yè)版 ghost X64位 系統(tǒng)下載,蘿卜家園在系統(tǒng)方面技術(shù)積累雄厚深耕多年,打造了國(guó)內(nèi)重裝系統(tǒng)行業(yè)的蘿卜家園品牌,其系統(tǒng)口碑得到許多人認(rèn)可,積累了廣大的用戶群體,蘿卜家園win10純凈版是一款穩(wěn)定流暢的系統(tǒng),一直以來(lái)都以用戶為中心,是由蘿卜家園win10團(tuán)隊(duì)推出的蘿卜家園win10國(guó)內(nèi)鏡像版,基于國(guó)內(nèi)用戶的習(xí)慣,做
系統(tǒng)等級(jí):進(jìn)入下載 >windows11下載 蘿卜家園win11專業(yè)版 X64位 V2023官網(wǎng)下載
系統(tǒng)大小:0MB系統(tǒng)類型:Win11蘿卜家園在系統(tǒng)方面技術(shù)積累雄厚深耕多年,windows11下載 蘿卜家園win11專業(yè)版 X64位 官網(wǎng)正式版可以更好的發(fā)揮系統(tǒng)的性能,優(yōu)化了系統(tǒng)、驅(qū)動(dòng)對(duì)硬件的加速,使得軟件在WINDOWS11系統(tǒng)中運(yùn)行得更加流暢,加固了系統(tǒng)安全策略,WINDOWS11系統(tǒng)在家用辦公上跑分表現(xiàn)都是非常優(yōu)秀,完美的兼容各種硬件和軟件,運(yùn)行環(huán)境安全可靠穩(wěn)定。
系統(tǒng)等級(jí):進(jìn)入下載 >
相關(guān)文章
- 如何解決銳龍2200g死機(jī)藍(lán)屏
- Win8.1本地搜索為什么無(wú)法使用
- Win8.1無(wú)線網(wǎng)絡(luò)不穩(wěn)定/掉線怎么辦
- 電腦機(jī)箱漏電怎么消除?電腦機(jī)箱漏電是哪里的問(wèn)題?
- 電腦開(kāi)不了機(jī)怎么辦?電腦無(wú)法開(kāi)機(jī)怎么解決?
- 硬盤雙擊無(wú)法打開(kāi)的問(wèn)題該怎么辦
- 風(fēng)行下載速度慢甚至是為0怎么辦?風(fēng)行播放器下載問(wèn)題及解決方法匯總
- 蘋果回應(yīng)新的iOS惡意軟件YiSpector:已在iOS8.4中解決該問(wèn)題
- 沒(méi)有路由器怎么連無(wú)線 160wifi 解決沒(méi)有路由器連接無(wú)線問(wèn)題
- 維棠FLV下載視頻失敗問(wèn)題匯總及解決方法
- Word2016 出現(xiàn)“此功能看似已中斷 并需要修復(fù)”問(wèn)題解決方案(圖文)
- Cisco管理的35個(gè)常見(jiàn)問(wèn)題及解答
- NanoStudio怎么用?NanoStudio使用方法及常見(jiàn)問(wèn)題
- IE瀏覽器登錄網(wǎng)上銀行時(shí)出現(xiàn)崩潰問(wèn)題的解決辦法
熱門系統(tǒng)
推薦軟件
推薦應(yīng)用
推薦游戲
熱門文章
常用系統(tǒng)
- 1win11最新娛樂(lè)版下載 技術(shù)員聯(lián)盟x64位 ghost系統(tǒng) ISO鏡像 v2023
- 2電腦公司windows7純凈版 ghost x64位 v2022.05 官網(wǎng)鏡像下載
- 3外星人系統(tǒng)Win11穩(wěn)定版系統(tǒng)下載 windows11 64位穩(wěn)定版Ghost V2022
- 4win11一鍵裝機(jī)小白版下載 外星人系統(tǒng) x64位純凈版下載 筆記本專用
- 5蘿卜家園Ghost win10 64位中文版專業(yè)版系統(tǒng)下載 windows10純凈專業(yè)版下載
- 6【國(guó)慶特別版】番茄花園Windows11高性能專業(yè)版ghost系統(tǒng) ISO鏡像下載
- 7青蘋果系統(tǒng) GHOST WIN7 SP1 X64 專業(yè)優(yōu)化版 V2024
- 8深度技術(shù)ghost win7純凈版最新下載 大神裝機(jī)版 ISO鏡像下載
- 9雨林木風(fēng)windows11中文版免激活 ghost鏡像 V2022.04下載