智慧城市当中的新型测试手段: 赛马机制、AB测试和混沌工程

简介: 随着智慧城市如火如荼地建设,城市管理的智能化程度越来越高,诸如城市大脑、边缘计算、数字孪生等新技术的融入,给城市管理者带来了新的工具,也为市民的生活带来了极大的便利。在城市智能化建设过程中,总不可或缺的涌现多种新技术新思路。这些用于城市治理领域的新技术、新思路,和互联网领域的新技术有着异曲同工之妙,为智慧城市的评测提供了有利的武器。

随着智慧城市如火如荼地建设,城市管理的智能化程度越来越高,诸如城市大脑、边缘计算、数字孪生等新技术的融入,给城市管理者带来了新的工具,也为市民的生活带来了极大的便利。在城市智能化建设过程中,总不可或缺的涌现多种新技术新思路。这些用于城市治理领域的新技术、新思路,和互联网领域的新技术有着异曲同工之妙,本文就进行简单的分析。

城市治理领域的人工智能算法模型是智能化系统的关键和核心要素。因此,如何有效的对不同的人工智能算法模型进行评估,选出最优模型,是城市治理当中不可或缺的重要步骤。通俗点来讲,一个好的模型评估策略就犹如伯乐之于千里马,这也侧面映照了一个好的模型评估策略的重要性。

过去在建设这些系统时候,针对同一个模型,大多数采用一个算法模型供应商的策略。然而,智慧城市的建设不是一个一蹴而就的工程,而是一个循序渐进的过程。在这个过程中,政府部门也深刻地认识到,需要将算法模型交给多家供应商建模对比,不同的供应商会根据自身优势和资源去设计不同的建模策略和模型调优策略。政府部门会就不同的算法模型进行对比评估,例如,利用赛马机制来选出最优的模型,或者是在线上持续运营当中,根据某一段时间多个线上模型的实际运行效果进行付费。这就是企业管理、互联网领域的赛马机制。

赛马机制如其名,是一种类似于赛马比赛,通过马儿的速度来做决定的评估机制,也是当前企业内部选拔人才、项目竞争的有利评估方法。关于此,业界有流传较广的故事,相信大家对微信一定不会陌生,这个已经融入到我们日常生活中的集分享、办公和聊天于一体的软件。实际上,在微信起初的研发过程中,腾讯内部有多个团队在同时开发类似的软件,经过激烈的竞争,最终是由张小龙的团队胜出。尤其是微信经过了时间的考验,我们可以看到,当时的决策者显然是明智的,腾讯借助赛马机制内部竞争选出更优的产品的一个缩影。再如,当前正火的手游《王者荣耀》,2015年可以说是手游的黄金时期,在这一年,腾讯接连推出了两款极其相似的手游,分别是天美工作室的《英雄战迹》(后改名王者荣耀)和另外一个工作室的另一款游戏。起初另一款游戏是处于比较迅猛的发展势头,天美工作室迅速调整了各方面的策略,并且最终在赛马机制的竞争当中最终胜出。据了解,阿里云一些产品研发的背后,也有赛马机制的功劳。

由此可见,赛马机制是残酷的,其中被淘汰的项目往往会消耗大量的资源,这也是无法避免的局限性,但同样,其效果也是显著的,将其合理运用在智慧城市的项目建设中,也往往会取得不错的效果。在智慧城市的项目建设过程中,往往会有几家供应商同台竞技,重要应用就是人工智能算法模型,这时候便可以运用赛马机制,让不同的供应商在同一平台进行角逐,对算法模型的运行速度、识别准确率及资源占比率进行得分评估,最终选出最优的模型,将其应用到智慧城市建设中去,提升项目的实际应用效果。

除了赛马机制,在互联网的评估测试中,还有一种比较常用的评估方法,那就是AB测试。AB测试是一种对比评估方法,它往往用在WebApp的页面效果评测,简单点说就是通过设计MN两个实体页面,在同一时间推给两批相似的用户,通过收集用户反馈,以样本代总体来对MN两个页面做出评价,决定实际上线的到底是M还是N。在智慧城市的建设运营中,也有类似的思路。例如,当前有MN两个模型,通过对两个不同区域进行模型试点,收集市民反馈,选出较优的模型,打造标杆项目,借此向全区域推广,做到由点至面。也就是试点先行,打造标杆,最终全面推广。但由于此测试方法以样本代全体的性质,所以被挑选的区域在经济情况和市民风俗习惯等方面,必须有可推广的基础,例如是高度相似性,在特征上能代表大部分区域的集体特征,以最大限度减小初始条件的差别性。

最后,探讨的是城市自我评估。很多时候,项目建设完毕了,在验收之时,项目是满足要求的。但是,城市的客观环境在不断发展变化当中,项目建设的系统是否能动态、时刻满足城市的要求,就必须得对进行检测。混沌工程是由网飞公司提出,是一种比较流行的自我评估方法,广泛的受用于多个领域,其主要思想是借助自我模拟、自我攻击的方式来发现自己的不足。例如,安全开发部门往往会通过故意设置故障来检测系统的安全性;支撑运营部门往往会通过切断一台或多台服务器来检测系统的承受能力;产品研发部门往往会通过各种极端情况测试来检测产品各项性能是否达标。同样,在智慧城市的建设过程中,也有很多应用混沌工程来进行自检的场景,最常见的莫过于通过消防演练、地震演练来测试城市面对紧急情况的应对速度,系统有效性,以做到有备无患。混沌工程作为一种简单而又常见的自我评估方法,优点是不会造成过多的资源浪费,但也正因此,其缺少了项目过程中的竞争性,而且往往忽略用户的舒适性,不过,合理运用这种方法,可以提早发现系统中存在的各种漏洞,也是一种不错的手段。

当前智慧城市的建设无疑是处于一个上升期,因此必须要牢牢把关好测试这一监督环节,将评测的公平性、全面性落实到每一环节。当然,无论是赛马机制评测、AB测试评测、混沌工程评测亦或是其它的评测方法,它们都各有各的优点,但同时也有掩盖不住的局限性,只有因地制宜的选择不同的评测方法,贴合不同的算法模型,才能最大限度的保证评测结果的有效性。

目录
相关文章
|
6月前
反射机制测试实体类User
反射机制测试实体类User
|
6月前
|
Kubernetes NoSQL 网络协议
VS2017编译TarsCpp测试工程
VS2017编译TarsCpp测试工程
|
6月前
|
监控 前端开发 JavaScript
如何测试前端代码? 知道 BDD, TDD, Unit Test 么? 知道怎么测试你的前端工程么(mocha, sinon, jasmin, qUnit..)?
如何测试前端代码? 知道 BDD, TDD, Unit Test 么? 知道怎么测试你的前端工程么(mocha, sinon, jasmin, qUnit..)?
141 0
|
5月前
|
SQL 搜索推荐 Android开发
AB测试实战(一)
AB测试是一种数据驱动的产品优化方法,用于比较不同版本的网页、应用界面或营销策略的效果。
|
1月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
40 1
|
1月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
42 1
|
3月前
|
数据可视化 API 开发工具
影创SDK☀️三、工程默认配置,及基础测试建议
影创SDK☀️三、工程默认配置,及基础测试建议
|
3月前
|
监控 测试技术 数据库
Python自动化测试之异常处理机制
总体而言,妥善设计的异常处理策略让自动化测试更加稳定和可靠,同时也使得测试结果更加清晰、易于理解和维护。在设计自动化测试脚本时,务必考虑到异常处理机制的实现,以保证测试过程中遇到意外情况时的鲁棒性和信息的有效传达。
47 2
|
3月前
|
Java 测试技术 数据库
SpringBoot单元测试快速写法问题之不想在PandoraBoot工程中Mock Dao层如何解决
SpringBoot单元测试快速写法问题之不想在PandoraBoot工程中Mock Dao层如何解决
|
4月前
|
测试技术 Shell Go
Golang质量生态建设问题之单元测试在卓越工程中的问题如何解决
Golang质量生态建设问题之单元测试在卓越工程中的问题如何解决