基于强化学习的质量AI在淘系互动业务的实践之路

背景&挑战

互联网电商中，迭代速度在竞争中能决定业务的生死。迭代速度和慢工出细活打磨用户体验看上去非常矛盾，在互动这种强用户体验的产品线矛盾更加突出。用户的游戏化体验是由一条条的用户行为路径的顺畅度和产品提供给用户的获得感来决定的，那我们就找到一个很好的切入点，如何用AI将用户行为路径全面模拟出来？

在解决这个问题之前，我们先来看看互动的业务场景。第一类是手淘上现有的三个典型互动产品，金币庄园，淘宝人生和芭芭农场。第二类是大促互动的产品，也就是大家都接触过的盖楼/养猫这样的大促互动。

这些互动产品的共同特点是极度追求用户的体验效果，不断在玩法上求新求变，没有那次大促大家会玩到不变的互动。同时电商场景下对迭代速度的要求也不断趋向极致，2个月需要完成一款其他游戏公司需要半年才能完成的作品。

在这种情况下，互动需要解决如下三个问题：

• 环境：互动的测试环境数据构造除了基础的部署环境意外，还有大量的用户状态数据、规则配置数据和权益数据，可能构造一个拉100人在盖楼获胜的场景用例需要一整天而测试执行只需要1分钟。如何构造一个高频易用的环境？
  
• 用例生成：互动的特色决定了大部分的功能都是新功能，是没有线上流量可以参考的，这种情况下大数据测试方案会陷入没有数据输入的困境。如何解决新功能的更全面的用例生成？
  
• 资损：互动有大量的权益发放，基于现有基于对账的事后资损防控方案，在互动这样的巨量场景下只能说是亡羊补牢。如何提供事前更全面的资损风险识别方案？
  

构建基于强化学习的质量AI

这个时候再回过头来看互动产品的特色，无论是做任务升级领红包，还是拉人盖楼pk领红包，都是由一条条用户的行为节点构成的行为路径来构成，如果我们能把互动的产品按照一个个的行为节点解构成一个有向图，那互动的用例生成也就抽象成了如何构建一个有向图和求解有向图中的路径集的问题？环境问题是AI执行的前置条件，而风险包括资损风险和架构风险的探测则是AI的用武之地。

有了思路，我们再来一步步看如何让AI真正在业务中落地。

▐  高频易用的环境

现有测试环境的解决方案更多基于如何降低系统部署对于分布式系统的影响来解决，包括监控应用的部署/构造隔离的分布式系统的镜像环境/从变更管控角度管控部署的时间段等等，主要解决不同代码部署情况下的环境问题。对于互动这样迭代速度极致求快的业务，这些方案都还是成本太高。

互动的解决思路是不改变部署结构的情况下，通过数据隔离的方式来解决。

互动环境的的目标是隔离稳定和高频易用。

• 隔离稳定：通过测试账号和影子数据库来实现流量隔离；通过系统架构改造，将互动所有的配置数据读取的方式进行收口，实现配置隔离，只有指定的账号能读取指定的配置。这样可以实现一套部署结构，同时允许正常的业务逻辑运行和测试流量执行，且互不影响
  
• 高频易用：由于没有代码和部署解构的变化，环境的准备变成了测试数据包括配置数据的准备，理论上可以做到随备随用。
  

有了这样的稳定的环境，AI的落地才有了前提条件。

▐  基于强化学习AI的用例生成

既然互动的业务场景抽象成了基于行为节点的有向图构建，已经有了很多针对有向图的算法解决方案。这个时候深入业务的特点和诉求看看要解决的核心问题，再来选取合适的解决方案。

• 新功能无输入或者少输入：互动的玩法大部分是新功能，能提供的没有大规模可以调用的线上请求数据或者日志数据，只有代码和代码相关的一些接口定义。
  
• 要全面：盖楼这样的玩法的用户量级决定了遗漏的风险真的会摧毁整个产品的体验。生成的用例需要更全面，能否发现人难以发现的问题是一个很重要的衡量标准。
  
• 自动化：智能化的前提一定是充分的自动化。从给定的输入到训练，从训练到用例生成，从用例生成到用例执行需要完成全自动化。
  

我们的解法是基于强化学习来构建用例生成的AI。

• 新功能少输入：用户的行为节点分为两种，一种是无系统数据传输的比如页面的滑动等纯前端交互事件，另一种是有系统数据传输的如按钮点击，这一种我们定义为用户的有效行为。在系统实现上有效行为最后会变成对后端接口的调用。因此基于接口定义而不是基于请求数据来建立有向图模型能极大减少需要的输入。在互动的实践中，只需要配置好需要的接口和对应的入参类型即可。
  
• 全面的用例生成：互动的接口调用我们认为是有先后顺序的，这是从接口的参数来体现的。因此有向图的路径构建问题，我们选用了强化学习来构建。这其中最关键的路径覆盖全面问题是一个十分复杂的问题，逻辑调用路径是代码接口调用路径和数据逻辑路径等众多因素的组合体。在互动的实践中，我们针对最急迫的冒烟用例覆盖问题，对探索策略也结合pagerank和dfs做了一些改进，同时对激励函数做了接口参数状态覆盖优先的优化。从最终的实践效果来看，发现了很多人容易遗漏的状态遗漏和动态概率计算问题。
  
• 全面自动化：这里最重要要解决的工程问题是将算法跑出来的接口调用路径，转化成可以有最终用户使用的可重复执行的用例，这里不做赘述。
  

▐  体验还原

自动化生成出来的用例要最终在业务线产生世纪作用，提高易用性是关键。而提高易用性的关键是打通端到端，让生成出来的用例不只是数据，更要成为具像化的可交互的端上的效果。

受益于近几年前端的数据驱动架构演进的红利，我们可以方便地在工程上实现给定接口数据，即可在端上复现出对应的交互行为。结合图像断言等技术可以打通用例自动验证这个测试智能化的最后一公里。

质量AI解决业务问题

当我们在互动场景中解决了环境的问题和用例的自动化生成问题，在工程上也打通了端到端的体验还原，构建了基于强化学习的质量AI，需要真正解决业务中的问题才能业务真正带来价值。

▐  权益链路预跑

资损问题最近两年成为了业界的一个棘手问题，也出现了很多基于对账的资损问题发现的思路和产品。但是如前所述对于互动特别是盖楼这样量级和短周期的产品，事后的亡羊补牢虽然能减少损失但是损失的量级依然很大，互动需要能事前探测资损风险的方案。这样的方案难点主要有二：

• 什么样的场景会发生资损难定位：资损场景虽然是业务逻辑场景的其中一个子集，如果业务逻辑场景本身都有遗漏，资损场景遗漏更加难以避免。现在的大数据测试方案对于回归类型可以解决，对于新功能新变更还是存在输入数据不够的问题。
  
• 资损发生的方式难模拟：资损发生的方式花样繁多，代码逻辑错误/异常处理/并发处理/数据污染/配置错误等等情况层出不穷。
  

对于质量AI来说，问题1可以归纳用例如何生成更全，问题2可以归纳为环境准备问题。在实现了冒烟用例的AI化之后，互动通过对AI的迭代加入更多如代码路径覆盖/数据血缘分析/异常的执行环境注入等方式逐渐演进风险探测的准确率。目前互动已经实现了核心权益发放场景完全基于智能AI的权益链路预跑。

▐  容错探测

在分布式系统中，单点的故障不仅仅影响自身功能。因此每个系统在做好自身功能验证的事后，还需要考虑对关联系统和关联功能的容错能力，保障极端情况下的自身功能可用性和用户体验。

目前互动核心的功能故障点的容错探测都以实现AI化。

总体展望

质量保障整体上在整个研发体系中处于守门员的角色，在整个世界都在全力拥抱数字化的大背景下，系统的复杂度提升越来越快，业务对迭代效率的诉求也越来越强，传统的解决方案越来越难以满足时代的要求。

智能化给出了质量行业的另一个产品化的解决，未来的质量保障一定是通过研发更好的质量产品来保障业务的快速迭代，而根据各个业务定义的质量AI会是下一代质量产品的最佳选择。虽有曲折，必有改变。