根据 CNIT-Research 最新发布的《2014年第二季度中国网购市场研究报告》,我国移动购物市场交易规模达1674.6亿元,环比增长22.4%。移动网购渗透率持续提升,第二季度达15.1%,较去年同期增长6.2个百分点。近年来,3G及wifi网络环境的优化、智能终端的普及、网民移动购物行为习惯的养成等等,均对移动购物交易额占比的提升起到较大的推动作用。手机购物作为当前移动商务的主要表现形式,已经逐步成为手机用户的主流应用之一。虽然移动电商目前的交易额在整个电商市场中所占的比重还很小,但其增长速度之快却不可小觑。我国目前已成为全球网购人群规模最大的国家。

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图1)移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图2)

本文整理自 GOPS2017·上海站演讲 《从0到1:2天搭建互联网电商全链路压测平台》

一、小红书前世今生

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图3)

  作为国内领先的移动电商平台--口袋购物,主要有两块业务,口袋购物 App 和面向中小卖家的微店。随着微信的用户爆炸式增长,越来越多的商家看到了新的商机,于是在朋友圈(微信的一项功能)出现了各种代购和其他信息,口袋购物微店的推出凭借其门槛低,易操作等优势迅速得到了众多中小卖家的青睐,同时口袋购物也面临着做电商平台所面临的普遍问题--卖家利用虚假交易来增加店铺信用,为了维护平台的公平性,保证其他卖家的利益不受损害,口袋购物设置了商户信用等级增长规则,并配备了专业的团队去防范网络风险和欺诈问题,同时为了更进一步准确地识别卖家恶意刷信用、以及买家套现套利的欺诈行为,口袋购物接入了同盾科技的反欺诈云服务,通过对卖家在买卖过程中行为的检测分析,来判断交易的真伪性。在接入同盾服务的短短 3个月时间里,同盾科技发现并经人工审核确认的欺诈交易数万笔、欺诈卖家数千个。口袋购物技术副总裁马飞表示,通过和同盾科技的合作,有效地增强了其虚假交易判定的准确率,在降低平台欺诈率的同时,提升了真实买卖双方的满意度以及体验度。

  作为一家提供企业网络风险管控及反欺诈服务的专业机构,同盾科技相继推出了企业级以及SAAS级反欺诈系统,以更好地满足处于不同规模和发展阶段的客户对反欺诈服务的需求。其企业级产品是面向大型金融机构推出的私有云方案,可快速部署于企业数据中心并上线运行。而针对中小型企业推出的SAAS 产品,可以在帮助企业减少欺诈损失的同时,大幅降低前期的硬件和实施成本。目前同盾科技已经和国内P2P、银行、支付、基金等诸多领域的企业达成合作关系,帮助企业解决风控方面遇到的问题。

 -------------------------------

2013年小红书成立之初,主要是让大家分享自己所购买的商品或者是使用好的商品、好的体验。在很短的时间内迅速成长为全国最大的商品分享社区。
很多妹子看到这口红不错、那个包包很好看;很多口红是国外的,没有地方买。由此在2014年构建电商平台开始上业务。

  更多风控与反欺诈信息请关注微信

  “风险控制和反欺诈”

目前小红书已经成为国内最大的社区跨境电商之一。现在我们在上海、郑州、宁波和深圳有多个保税仓,为全国提供各类全球的好商品。

  微信号:antifraud

二、快速成长的痛

记得在2015年的时候,阿里双十一会场可能做了上千号的人来同时进行全链路压测。小红书因为成长的这三年非常迅速;和阿里、京东大厂曾经遇到的稳定性问题一样需要去面对、解决。主要有三个方面:

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图4)

其一,随着业务增长,人员、IT资源的扩张赶不上业务的快速发展。比如说,在负责稳定性保障这块,我们测试团队在构建全链路压测过程中也就两三位同学。相对于阿里、京东来说是数量级的差异。

其二,以前基于单体python的系统架构在大促时常常成为瓶颈;

其三,缺乏有效的性能和线上稳定性保障策略和实践。

三、全链路压测系统架构

对于全链路压测,阿里有PDS、京东有全链路压测平台。大厂这样的压测系统都是经过较长的时间不断迭代出来的。我们怎么办?我们没有那么的人力和资源;最核心的就是要搞定问题。

在电商高峰期场景下,它的流量可能是平时的10倍甚至是几十倍。在这种情况下流量不是均匀地打到各个业务线的。例如,90%流量先进到主会场;再由主会场引流到各个分会场,然后是下单等等。整个过程是一个漏斗模型;这个可以用接口的水位对比来表示。为了保证模拟高峰期线上行为,我们需要基于水位对比对整个业务模型进行全链路压测。

据此,我们的全链路压测系统架构分为四大块:

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图5)

各个链路压测脚本配置管理;

压测调度;

统一压测数据管理;

被测业务系统状态监控;

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图6)

对于压测系统来说,最核心的就是压测脚本;怎么能够快速、方便的开发出来一大批链路的压测脚本。

四、构建全链路压测:从0到14.1、从0开始

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图7)

6月6号大促是我们平常比较重要的三个大促之一。我们在5月接到需要保障今年大促的任务。当时整个测试的同学只有两人可以投入,运维同学只有一位可以支持。而开发的同学一直会致力于业务开发直到6月4号。同时测试系统方面基本上是白纸一张。

4.2、压测模型

要进行全链路压测则需要构建压测模型;就是要知道压什么、怎么压、压到什么样的水平。

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图8)

首先,我们需要做链路的梳理。我们和开发、运维协作通过运维监控系统将线上接口所有列表获取到。

然后,通过调用监控系统获取各个链路之间的配比关系。同时根据去年和日常链路监控的配比得知各个接口平时和去年大促在什么样的水平。

最后,依据前面两个步骤去计算链路调用、压测脚本以及施压机等情况。

据此,我们任何一个链路压测脚本都一共有四个压测的参数,分别为:

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图9)

输出压力qps;

当前水位;

施压周期;

压测链路;

4.3、密切协作

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图10)

在这样的情况下,对于我们测试的同学来说就简单了许多;我们可以将这个工具达成一个包方便部署。这样就可以和运维同学一起合作,一次性生成多台施压机器同时去压一个系统。目前,我们大概可以在五分钟之内能够创建出来400台以上的 压测容器也就是说快速输出5G以上的压力。

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图11)

为了区分压测流量和真实线上流量,我们和开发同学全力协作对线上的每个测试数据进行打标。这样一来在出业务报告或数据报表的时候,我们有统一的框架将测试数据进行剥离;进而保证了测试数据不污染线上数据。

全链路压测目标就是模拟真实的大促情况下,我们的各个链路能够承载多大流量以及各个业务系统的瓶颈点所在。

五、压测之外

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图12)

除了前述的全链路压测之外,我们这里还包括容量预估、降级方案、应急预案、大促演练以及值班计划。我们会通过流量历史监控来做容量的预估;同时,为压测基线和限流熔断提供依据。

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图13)

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图14)

当线上业务流量水位超过我们设置的阈值的时候,为了保障线上运行稳定我们会对相关的业务进行功能降级。另外当线上水位超过我们原来预期的时候,我们会有相应的应急预案以降低容量不足带来的影响。

六、年中66大促全链路实践

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图15)

从5月6日开始立项到8号开始第一条链路施压,只用了两天我们实现了从0到1的跨越。其实对于从0到80%的这个过程,大家是可以很快做到的。因为对于运维同学来说这些工具、方法基本上是每天都在做的事情。复制从0到1的构建思路,我们在人员紧缺的情况下实现了预期目标。

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图16)

最后,对于有兴趣开展线上全链路压测的同学有以下三点建议:

1、先不要想大而全的平台化;

2、关注系统的本身,从监控和限流开始做起;

3、掌握全链路压测方法,快速构建实现从0到1;

更多相关文章阅读

用几行代码管理几十种网络设备

携程运维自动化平台,上万服务器变更也可以很轻松

智能运维就是 由 AI 代替运维人员?

看腾讯运维应对“18岁照片全民怀旧”事件的方案,你一定不后悔!

运行无间:阿里巴巴运维保障体系的一种最佳实践

芳华永在!一个老运维的20年奋斗史

饿了么异地双活数据库实战

运维版《成都》,听哭了多少人...

阿里万亿交易量级下的秒级监控

IT 运维的救赎——顺丰运维的理想践行

2018年,GOPS 全球运维大会第一站:深圳站

—— AIOps 风向标

第九届GOPS全球运维大会将于2018年4月13日-14日在深圳召开。

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图17)

长按二维码,进入官网报名,大会早鸟价倒计时1个月。

3人以上团购优惠请联系刘静:130 2108 2989

移动电商平台口袋购物携手同盾科技共同防御网络欺诈2天快速搭建一个互联网电商全链路压测平台(图18)

商务合作请联系刘欣电子商务:158 0111 5386

了解大会详情、请点击“阅读原文”链接