报告电子版至听云官方博客下载：http://blog.tingyun.com/web/article/detail/1352
评测说明
评测目标：同一应用（网站）在不同云上的用户访问体验，以及对云资源的使用
洞察周期及范围：2017年4月-2017年9月
访问量：6642000PV
评测工具：听云Network、听云Server、听云Sys、压力IO程序、云计算调查问卷
云服务配置
国内云服务现状
在向智能时代演进的过程中，云计算，大数据和人工智能等作为最强劲的推动力，正在成为人们生活和工作中不可缺少的部分。如今大多数人对于云计算一词早已有了一定的了解，但是云计算的真正含义相信没有多少人能说的明白。
据IDC预计，在2020年之前，中国的IaaS市场需求仍然很大，年复合增长率将有36.6%的提升空间。而整个云计算服务市场将以每年32.2%的速度增长，2020年将达到50亿美元以上的市场规模。因此在互联网时代的浪潮中，云计算服务从落地到成熟所花费的时间将会不断缩短，其市场份额的增速也会越来越快。
随着云计算的热潮在中国兴起，越来越多的云服务厂商加入到这场“厮杀”中。而对于云的选择也成为了越来越多企业所关注的重点，在现阶段各家云都有各自所关注的重点，每一家都有各自的优势。而听云的云评测报告就完美的对每家云的各项指标进行了全方位的测试，在报告中显露出了各家云的优势及不足，为企业做云的选型提供相应的参考。
关键挑战
AWS、Azure、IBM等为代表的全球领先的云计算厂商也看到了中国目前庞大的市场需求，相继进入中国开展业务，并凭借其自身雄厚的技术实力，在进入国内云服务市场后迅速占领了一定份额，虽尚未对阿里云、腾讯云等国内云服务巨头产生实质性的影响，但是其对国内中小型云厂商却带来了极大的挑战。
国内云计算市场未来发展的关键趋势在于能否将研发、生态系统与企业管理更好的结合。当前国内云计算服务仍处于“单打独斗，提供单向服务”的阶段，完整生态模式尚未搭建完成。
生态数据安全问题，目前国内云计算发展速度过快，导致数据安全方面在整体发展上略有滞后。由于全行业均向互联网靠拢，企业无形的数字资产价值尤为突出，而当前国内云服务提供商无法提供完整生态环境，因此如何在短时间内提升自身的安全防范能力，将成为当前国内云服务提供商急需提高的重要部分。
评测方法说明
1.听云云计算调查问卷
通过听云《2017云计算调查问卷》对计算，存储、网络、弹性伸缩、监控、技术支持与数据服务中共计132项能力对云服务能力及基础设施进行调查，并根据调查结果对各家云进行全方位的评测。
听云云评测调查问卷架构图详见：附表一
2.验证式评测
所有云服务通过k8s进行统一部署监控，每家云的服务器通过运行Wordpress程序并通过听云Network模拟真实用户发起持续访问，同时使用压力IO程序来对服务器进行加压（具体加压方法为，同一压力IO 程序部署在不同的云服务中从而提高服务器CPU压力，不同云服务在运行压力IO程序后所消耗CPU比例不同，从而体现出云服务CPU性能差异），最后通过听云Server和听云Sys对服务端性能进行评测。
验证式评测架构图详见：附表二
评测架构
一、云计算综合用户体验
自我国进入互联网时代后，互联网行业的发展已经日新月异，“快”一直是互联网行业的极致追求。而作为互联网行业的命门，网络性能问题则一直是影响互联网产品发展趋势的重要因素之一。而网络问题的多样性、频发性、不重复性导致了每次运维人员均无法快速有效地诊断故障原因，从而白白流失故障修复的黄金时间。再加上如三大运营商间的网络延迟等国内特有的网络性能问题，使得国内的网络环境尤为特殊。而网络环境的变化之快，更是我们无法预料的。
影响网络性能表现的指标有首页打开成功率、首页打开时间及首屏时间（图中的各地区用户体验得分是根据本次听云评分标准，并由这三项相加得出），而影响这三个指标的性能因素有DNS时间、建连时间、首包时间、延时及丢包率。
从全国地图来看，在全国范围内，山西和陕西的整体网络性能用户体验表现最为优异。其中，以山西地区为例，经听云测试得出，阿里云在山西地区的首屏时间为1.21s，首页打开成功率为99.96%，首页打开时间为2.93s；根据听云本次的分值计算规则，故而阿里云在山西地区的网络用户体验得分为28。
性能指标部分，DNS时间部分，上海地区最慢，达到了9. 20ms，而青海地区最快，为1.42ms；建连时间部分，西藏地区最慢，达到了102.24ms，北京地区最快，为30.32ms；首包时间部分，云南地区耗时最长，达到了298.28ms，北京地区耗时最短，为234.55ms；延时部分，西藏地区延时最大，达到了75ms，北京地区延时最小，为16ms；丢包率部分，湖北地区丢包率最高，达到了2.17%，江西地区丢包率最低，为0.12%。根据以上指标计算得出各地区各项指标的综合得分情况如雷达图所示。
从全国地图来看，在全国范围内，宁夏的整体网络性能用户体验表现最为优异。其中，经听云测试得出，AWS在宁夏地区的首屏时间为1.11s，首页打开成功率为99.98%，首页打开时间为1.89s；根据听云本次的分值计算规则，故而AWS在宁夏地区的网络用户体验得分为29。
性能指标部分，DNS时间部分，山西地区最慢，达到了8.60ms，青海地区最快，为1.41ms； 建连时间部分，西藏地区最慢，达到了148.84ms，河北地区最快，为25.19ms；首包时间部分， 西藏地区耗时最长，达到了395.11ms，北京地区耗时最短，为201.97ms；延时部分，西藏地区延时最大，达到了76ms，北京地区延时最小，为10ms；丢包率部分，吉林地区丢包率最高，达到了1.65%，陕西与浙江地区丢包率最低，为0.01%。根据以上指标计算得出各地区各项指标的综合得分情况如雷达图所示。
从全国地图来看，在全国范围内，山西的整体网络性能用户体验表现最为优异。其中，经听云测试得出，华为云在山西地区的首屏时间为1. 17s， 首页打开成功率为99.91%，首页打开时间为3.41s； 根据听云本次的分值计算规则，故而华为云在山西地区的网络用户体验得分为27。
性能指标部分，DNS时间部分，山西地区最慢，达到了23.96ms，青海地区最快，为1.55ms；建连时间部分，西藏地区最慢，达到了107.32ms，北京地区最快，为30.62ms；首包时间部分，福建地区耗时最长，达到了308ms，陕西地区耗时最短，为228.94ms；延时部分，西藏地区延时最大，达到了79ms，北京地区延时最小，为11ms；丢包率部分，黑龙江地区丢包率最高，达到了10.30%， 江西、新疆与青海地区丢包率最低，为0.41%。根据以上指标计算得出各地区各项指标的综合得分情况如雷达图所示。
从全国地图来看，在全国范围内，山西的整体网络性能用户体验表现最为优异。其中，经听云测试得出，金山云在山西地区的首屏时间为1.15s， 首页打开成功率为99.94%，首页打开时间为3.46s；根据听云本次的分值计算规则，故而金山云在山西地区的网络用户体验得分为27。
性能指标部分，DNS时间部分，上海地区最慢，达到了9.53ms，青海地区最快，为1.39ms；建连时间部分，贵州地区最慢，达到了108.54ms，北京地区最快，为21.09ms；首包时间部分，云南地区耗时最长，达到了318.89ms，北京地区耗时最短，为240.11ms；延时部分，西藏地区延时最大，达到了72ms，北京地区延时最小，为9ms；丢包率部分，山东地区丢包率最高，达到了2.45%，新疆地区丢包率最低，为0.20%。根据以上指标计算得出各地区各项指标的综合得分情况如雷达图所示。
注：特别说明的是，评测期间我们随机抽取了金山云位于北京1区的机房用于验证评测，属传统扁平网络，此机房在本次报告发布时已不再售卖。
从全国地图来看，在全国范围内，山西、安徽以及河南的整体网络性能用户体验表现最为优异。其中以河南地区为例，经听云测试得出，腾讯云在河南地区的首屏时间为1.28s，首页打开成功率为99.95%，首页打开时间为3.67s；根据听云本次的分值计算规则，故而腾讯云在河南地区的网络用户体验得分为26。
性能指标部分，DNS时间部分，上海地区最慢，达到了10.27ms，青海地区最快，为1.57ms；建连时间部分，西藏地区最慢，达到了102.98ms，辽宁地区最快，为37.14ms；首包时间部分，广西地区耗时最长，达到了288.77ms，河南地区耗时最短，为230.15ms；延时部分，西藏地区延时最大，达到了75ms，河北以及河南地区延时最小，为21ms；丢包率部分，陕西及贵州地区丢包率最高，达到了1.27%，江西地区丢包率最低，为0.16%。根据以上指标计算得出各地区各项指标的综合得分情况如雷达图所示。
从全国地图来看，在全国范围内，宁夏及青海的整体网络性能用户体验表现最为优异。其中以青海地区为例，经听云测试得出，UCloud在青海地区的首屏时间为1.10s，首页打开成功率为100%，首页打开时间为3.42s；根据听云本次的分值计算规则，故而UCloud在青海地区的网络用户体验得分为28。
性能指标部分，DNS时间部分，上海地区最慢，达到了9.39ms，青海地区最快，为1.36ms； 建连时间部分，西藏地区最慢，达到了106.25ms，陕西地区最快，为38.59ms；首包时间部分，广西地区耗时最长，达到了332.95ms，北京地区耗时最短，为258.96ms；延时部分，西藏地区延时最大，达到了80ms，北京地区延时最小，为19ms；丢包率部分，云南地区丢包率最高，达到了5.21%，江西地区丢包率最低，为0.13%。根据以上指标计算得出各地区各项指标的综合得分情况如雷达图所示。
从全国地图来看，在全国范围内，微软云在宁夏、青海、山西、甘肃、河南以及河北的整体网络性能用户体验表现最为优异。其中以河北地区为例，经听云测试得出，微软云在河北地区的首屏时间为1.13s，首页打开成功率为97.64%，首页打开时间为3.96s；根据听云本次的分值计算规则，故而微软云在河北地区网络用户体验得分为25。
性能指标部分，DNS时间部分，山西地区最慢，达到了8.65ms，青海地区最快，为1.40ms；建连时间部分，贵州地区最慢，达到了107.10ms，山西地区最快，为25.91ms；首包时间部分，广西地区耗时最长，达到了319.71ms，北京地区耗时最短，为216ms；延时部分，云南地区延时最大，达到了73ms，天津地区延时最小，为8ms；丢包率部分，黑龙江地区丢包率最高，达到了1.29%，四川地区丢包率最低，为0.1%。根据以上指标计算得出各地区各项指标的综合得分情况如雷达图所示。
从全国地图来看，在全国范围内，移动云在山东的整体网络性能用户体验表现最为优异。其中以山东地区为例，经听云测试得出，移动云在山东地区的首屏时间为1.96s，首页打开成功率为99.82%，首页打开时间为4.76s；根据听云本次的分值计算规则，故而移动云在山东地区的网络用户体验得分为22。
性能指标部分，DNS时间部分，山西地区最慢，达到了12.60ms，新疆地区最快，为1.65ms；建连时间部分，西藏地区最慢，达到了136.89ms，江苏地区最快，为62.05ms；首包时间部分，内蒙古地区耗时最长，达到了417.71ms，海南地区耗时最短，为330.67ms；延时部分，西藏地区延时最大，达到了97ms，广西及海南地区延时最小，为24ms；丢包率部分，北京地区丢包率最高，达到了9.45%，重庆地区丢包率最低，为0.1%。根据以上指标计算得出各地区各项指标的综合得分情况如雷达图所示。
二、云计算性能与可用性
“性能为先、用户为王”这些名词伴随着移动互联网的发展逐渐深入人心。云服务相比传统IDC机房，其优势就是减少成本、方便维护以及高可用，而高可用则正是这三者中唯一影响企业营收的重要因素。并且，云服务可用性的高低，是可以直接在使用过程中感知到的，这一部分，会是所有云服务提供商最为关注的一部分。
分值计算部分，听云有自己的一套评分标准，通过对System-CPU使用率、User-CPU使用率、系统负载等图中所含的性能指标进行分值为1-10的划分。
阿里云在云计算可用性方面，Stolen CPU usage是它最大的优势，经听云详细测评后得出其详细数据，阿里云Stolen CPU usage为0。相较于这方面的优势，其System-CPU使用率和磁盘IO-写速率是最主要的两个弱项，其对应数据System-CPU使用率为45.21%、磁盘IO-写速率为32.18MB/s。根据听云此次的分值计算标准，评分结果如图上所示。
AWS在云计算可用性方面，System-CPU使用率、User-CPU使用率以及IO wait CPU使用率是它最大的优势，经听云详细测评后得出其详细数据：分别为System-CPU使用率为21.64%，User-CPU使用率为7.91%，IO wait CPU使用率为0.000009%。相较于这三方面的优势，其磁盘IO-写速率以及磁盘IO读速率是最主要的两个弱项，其中磁盘IO写速率具体数据为33.34 MB/s，磁盘IO读速率则为40.75MB/s。根据听云此次的分值计算标准，评分结果如图上所示。
华为云在云计算可用性方面，Stolen CPU usage与磁盘IO-写速率是其最大的优势，所对应的详细数据Stolen CPU usage为0，磁盘IO-写速率为52.34MB/s。与之相反，系统负载及System-CPU使用率是其两个最大的弱项，系统负载为3.06，System-CPU使用率为41.85%。根据听云此次的分值计算标准，评分结果如图上所示。
金山云在云计算可用性方面，数据库响应时间是其最大的卖点。此次数据库响应时间指标是由Select、Insert、Update、Delete和Call这五项数据库操作时间之和与0.2相乘所得出的结果，金山云的数据库响应时间为0.21ms，在本次评测云厂商之中处于领先地位。相反，其System-CPU使用率则是其最弱的一项，所对应数据为45.05%。根据听云此次的分值计算标准，评分结果如图上所示。
腾讯云在云计算可用性放面，Stolen CPU usage是其最大的优势之一，经听云详细测评后，得出Stolen CPU usage为0；相较于这方面的优势，System-CPU使用率和IO wait CPU使用率是其最弱的两项，其中System-CPU使用率为44.82%，IO wait CPU使用率0.32%。根据听云此次的分值计算标准，评分结果如图上所示。
UCloud在云计算可用性方面，系统负载、数据库响应时间与Stolen CPU usage是其最大的三个优势，经听云详细测评后，得出UCloud系统负载的详细数据为1.08，数据库响应时间为0.17ms，Stolen CPU usage为0.02%；相较于这两方面的优势，System-CPU使用率是其最大的弱势，其中System-CPU 的详细数据为41.47%。根据听云此次的分值计算标准，评分结果如图上所示。
微软云在云计算可用性方面，Stolen CPU usage是最大优势，经听云详细测评后，得出微软云的Stolen CPU usage详细数据为0；同时，其系统负载与磁盘IO-读速率则是微软云的两处弱项，其中系统负载的详细数据为2.83，磁盘IO-读速率的详细数据为45.91MB/s。根据听云此次的分值计算标准，评分结果如图上所示。
移动云在云计算可用性方面，磁盘IO-读速率与Stolen CPU usage是其最大的两处优势，经听云详细测评后，得出移动云的磁盘IO-读速率详细数据为97.23MB/s，是本次所有评测云厂商中性能最优的，另外移动云的Stolen CPU usage的详细数据为0；同时，System-CPU使用率是其最弱的一项，其详细数据为43.42%。根据听云此次的分值计算标准，评分结果如图上所示。
三、云计算易用性
以使用者为中心，操作简单、性价比高、功能完善等等，这些不仅限于2C端，2B端也一样适用。每个人都在追求效率的最大化，都在追求在最短时间内完成最大效益的工作。所以云计算如何体现出自身的优越性，就在于与传统数据中心相比，如何用最少的努力发挥最大的效能。同理，在争夺用户的过程中，哪一方的操作简单，功能实用且覆盖面广，那这一方就会拥有更多的用户。
易用性评分标准，通过结合听云《2017云计算调查问卷》与自身对云服务商的实际评测结果综合得出，最后换算为百分制，分值范围为0-100。
阿里云在云计算易用性方面， 监控和网络是其最优的两项，其中监控部分，阿里云的警报通知方式、支持第三方监测软件以及自定义服务健康控制台历史天数方面均位于行业前列。阿里云对于实例间的网络加密、NAT网关、多虚拟NIC等网络部分的支持也做到行业中较高的水平。
AWS在云计算易用性方面，监控、弹性伸缩以及网络等都是AWS在易用性方面的优势所在，但是从图中可看其出存储服务明显落后于其它服务， 一方面是由于当前用户对于存储需求类型的不断变化，国内云计算市场普遍对于这种情况反应不及时，另一方面由于初进国内市场，对于国内企业在存储方面的实战需求并不十分清楚，从而造成现在对于存储服务支持度较低的局面。
华为云在云计算易用性方面，弹性伸缩是其表现最为良好的一部分，其对健康实例替换、静态弹性伸缩服务等方面的支持程度较高。其它方面虽然相比弹性伸缩而言支持程度不够，但是目前来说是处于同步发展的阶段，并没有明显的弱项。
金山云在云计算易用性方面，其弹性伸缩是所有云评测厂商中表现最好的，对于预约增加，减少实例池的实例数量、故障实例替换为健康实例的支持度很高；但是对于存储方面，如为每个对象分配一个或多个元数据标签、指定某些存储交互的优先级等方面的支持力度还不够。同时体系化的大数据平台整合将是未来的一大趋势，在这一趋势下，通过推出一系列包括行业解决方案定制、用户画像分析、优化数据传输及迁移等各个详细划分的数据服务，金山云将继续自己的全面均衡的发展路线。
腾讯云在云计算易用性方面，对于易用性服务的支持表现较为平滑，没有特别突出的优势但是也没有明显的劣势，整体而言对于弹性伸缩、网络以及技术支持与服务方面的支持度比较高。同时从报告所包含的云服务提供商整体表现上来看，各家所提供的存储服务能力并没有完全跟上市场的需求，可见存储服务拥有极大的发展潜力，以持续数据保护为例，其作用是在云服务发生任何故障及问题时能对企业数据及时进行灾备，这是用户在当前以及将来很难改变的重要需求之一，因此腾讯云在存储服务上的持续发力势必将进一步巩固自身在易用性方面的优势。
UCloud在云计算易用性性方面，对于弹性伸缩和计算实例的支持是它的两个亮点，以计算实例为例，其对于VM主机故障恢复、实例维护及故障通知以及Windows、Linux系统镜像的支持等方面有着很高的支持度；但是相较于其他方面，对于存储服务的支持程度明显不够。
微软云在云计算易用性方面表现较为均衡，弹性伸缩是表现最为良好的服务之一，对于负载均衡的配置，动态弹性伸缩等方面的服务支持度较高。但是对于存储服务的支持力度则远远不够，比如不支持SSD混合存储、NFS协议等，总体来说对于存储方面的服务支持还有待提高。
移动云在云计算易用性方面，其技术支持与服务方面领先于其它评测中的云厂商，无论是云端还是数据机房，数据安全以及灾备能力永远是最受关注的两个点，而移动云的技术支持与服务部分则是领先于上述其它云服务提供商，这也使其平台级异地灾备的能力得到了良好的体现，同时巩固并持续发展这一优势，对于稳扎稳打的移动云就目前的情况来说更为合适。但是相较于这方面，移动云对于数据服务和存储方面的支持程度还有待完善。
评测指标说明
1.用户体验指标：
首屏时间：浏览器显示第一屏主页面的消耗时间。首屏的定义以1024X768像素尺寸为标准。从开始监测开始计时，到IE浏览器页面显示高度达到768像素且此区域有内容显示之后的时间。
首页打开时间：首页打开时间是指，打开一个网页的总消耗时间，即从DNS解析开始到浏览器返回完成时的时间。
首页打开成功率：首页打开成功率是指成功打开网页次数与总访问次数的比值。
DNS时间：通过域名解析服务（DNS），将指定的域名解析成IP地址的消耗时间。
建连时间：IE浏览器和Web服务器建立TCP/IP连接的消耗时间。
首包时间：首包时间是指浏览器从发送HTTP请求结束开始，到接收到Web服务器返回的第一个数据包的消耗时间。
延时：延时是指一个报文或分组从一个网络的一端传送到另一个端所需要的时间。
丢包率：丢包率是指测试中所丢失数据包数量占所发送数据组的比率。
2.云计算性能与可用性指标：
System-CPU使用率：系统执行系统进程占用CPU的比例。
User-CPU使用率：系统执行用户进程所占用CPU比例。
Stolen CPU usage：服务器资源泄漏所占用的CPU比例（此项指标过高说明服务器出现了资源隔离的问题）。
IO wait CPU使用率：系统在执行io操作时所占用的CPU比例。
数据库响应时间：数据库5种SQL操作（INSERT、UPDATE、SELECT、DELETE、CALL）的平均响应时间。
磁盘IO-读速率：每秒进行读（I/O）操作的大小。
磁盘IO-写速率：每秒进行写（I/O）操作的大小。
服务器响应时间：应用服务器从收到请求到返回响应的时间。
系统负载：系统CPU繁忙程度的度量，即有多少进程在等待被CPU调度。
3.云计算易用性指标：
数据服务：数据服务是指云厂商对数据处理组件支持能力的体现。
监控：监控是指云厂商对用户所选服务器运行状况的监控性能。
弹性伸缩：弹性伸缩是指云厂商针对用户需求和策略自动调整其弹性计算资源的管理服务。
网络：网络是指云厂商基础设施中的网络建设情况。
存储：存储是指云厂商对与存储服务的支持情况。
计算实例：计算实例是指云厂商服务器支持情况及其基础设施建设情况。
技术支持与服务：技术支持与服务是指云厂商对用户所提供的支持及服务水平的情况。
注：
1.本次评测中所选运营商网络为（中国移动，中国联通，中国电信，中国铁通，教育网）各运营商所占比例为相同比例。评测中所选实例均为相同配置主机，系统盘为创建实例时系统自动提供的系统盘（没有单独挂载磁盘）。
2.本报告中所有雷达图中分值越高所占面积越大。
