🙋🏻♀️ 编者按：本文作者是蚂蚁集团终端工程师赫仁，介绍了支付宝首页端智能化建设，在探索分发推荐和体验保障这条道路上，支付宝首页团队通过与端智能团队的深度合作，充分发挥端计算的优势，利用端侧丰富且实时的行为特征，结合端智能提供的算法平台能力，为支付宝首页业务带来效率和价值的增长点。
1. 前言
首页是支付宝 App 的第一个 Tab 页面，承载着整个支付宝端的流量分发以及端入口体验的重任。在探索分发推荐和体验保障这条道路上，首页团队通过与端智能团队的深度合作，充分发挥端计算的优势，利用端侧丰富且实时的行为特征，结合端智能提供的算法平台能力，为首页业务带来效率和价值的增长点。
2. 首页端迈向智能化
2.1 背景
支付宝首页推荐业务从成长逐步进入到成熟的阶段，首页技术的站位需要面向业务、面向数字化、面向未来做进一步的升级。以推荐区业务为例，需要从产品角度做好场景化推荐和精细化运营，需要从技术角度满足子业务的高效率接入和个性化配置，因此扩展底层能力边界、夯实技术核心是首页技术下一阶段的重中之重。
目前云端大规模计算已经成为了智能推荐业务的核心基础设施，在此基础上充分发挥端计算和端智能的优势，弥补云端实时感知的空白，不但可以帮助云端做出更好的推荐决策，也可以发挥端云协同的优势进一步提升数字化运营的能力。
2.2 智能化目标
首页端技术在当前的阶段主要面临两个方面的基本要求：1. 产品侧对业务稳定、灵活高效的要求；2. 技术侧对性能、稳定性、体验、数字化基本盘的要求。在此基础上通过智能化建设，一方面进一步提升业务的基础水位，另一方面持续深耕技术，做好产品体验的保障。
3. 首页智能化场景
3.1 智能刷新
刷新是首页作为分发平台最核心的能力。过去的刷新策略是尽量覆盖所有可能的刷新场景来保障算法推荐的触达，现在我们按照业务属性和特性将多点离散的刷新场景抽象归纳为时间、空间、事件三个维度，在这三个维度上分别进行智能化改造升级。
3.1.1 时间维度
目前首页推荐的基础架构是云推荐-端渲染，非首次进首页自动刷新等场景是通过较粗粒度的手段来尽量满足用户进入首页时的推荐触达，这里存在几个问题：
- 时间阈值不可靠，阈值只是在性能上做了平衡，没有可靠数据支撑，高频阈值则浪费推荐服务的性能，低频阈值则降低有效推荐触达率；
- 局部缺少连贯性，每次云端推荐只能依赖前序用户行为和历史特征画像，即使是在同一个App使用会话周期内，云端算法也只能通过将裁剪后的特征数据和历史访问数据进行模型输入；
- 策略模式太单一，目前阈值的调整只能依赖首页出现较大版本或策略的调整，无法做到千人千面和因人而异；
为了解决如上几个问题，首页建设阈值梯度变化的AB实验，接入端侧算法模型，而且端侧天然具备丰富的用户实时特征数据，理论上可以满足局部连贯性数据输入，另外算法建模，通过实时意图识别来决策刷新行为。在此基础上，搭建以端-云协同为基础的推荐架构：通过端侧感知实时用户行为，构建端意图识别-云意图理解的实时推荐架构。
3.1.2 空间维度
近场推荐是基于精准定位的场景化服务解决方案，首页的近场推荐载体是置顶的位置卡片，目前首页近场推荐覆盖的场景包括火车站、航站楼、医院、景区、商圈等（AOI，area of interest）。在位置相关推荐上，首页端技术面临的最主要问题是：
- 过于依赖刷新频次阈值，云端感知位置主要通过RPC上行携带经纬度/Wi-Fi/Beacon信息，请求频率高会带来无效的性能损耗，请求频率低则会直接影响位置卡片的透出效率；
- 位置感知不实时，近场推荐决策完全依赖于云端，客户端无法感知是否有近场推荐，更无法决策定位信息有效性，低频的定位会导致用户在进入AOI时无法及时体验到相关的服务，而高定位频次又将在用户远离AOI时损失设备性能并带来请求量的暴增；
为此我们设计了定位覆盖圈+地理围栏缓冲区的组合拳方案，核心思路是积极发挥端云协同，算法可以根据用户距离AOI的位置动态调整端侧定位频率，在最小开发成本下解耦定位和请求，实现按需渐进式定位，最大化的提升AOI的服务效率。
从技术概念上来讲，我们可以把定位覆盖圈理解成对位置是否需要关注的界限，缓冲区则是对定位精度是否敏感的界限。结合下一张图来说，具体执行细节如下：
- 位置1，云端以用户初始的位置为圆心，计算周边最近的AOI距离，以该距离得到覆盖圈半径R并下发到客户端，由于在覆盖圈内云端不需要关注定位，客户端在此期间只需采用中/低频的定位频次按时检测；
- 位置2，客户端按时检测机制通过计算和位置1的移动直线距离，判断用户是否离开了当前的覆盖圈，如果还在覆盖圈内则继续保持前一种状态；
- 位置3，如果检测离开当前覆盖圈则请求更新覆盖圈；
- 位置4，如果用户进入了AOI围栏的缓冲区，表示当前对位置精准度开始敏感，此时服务端下发围栏信息，客户端提高定位频率，检测用户是否会进入围栏；
- 位置5，当检测到用户已进入到围栏内，则主动请求服务端下发AOI服务卡片；当之后用户离开围栏，则主动请求服务端回收服务卡片并保持上一个状态；
- 最终用户离开围栏及缓冲区后，恢复覆盖圈状态下的低频定位。
3.1.3 事件维度
推荐区有很大一部分刷新场景和用户行为事件有关，在首页的垂直领域有下拉刷新、正负反馈刷新等；在全端的横向领域有功能设置、版本中心等；除此之外，在端外还有履约、订单、热点等事件源。由于不同业务有不同的刷新诉求，过去首页在对外接入上支持全局刷新、单卡刷新和Sync异步刷新的原子化能力，有以下两个显著问题：
- 事件感知能力弱，只能依赖事件生产方提供对外的通知或接口，首页需要及时跟版接入；事件源不理解，单维度的简单事件可以处理，多维度的复杂事件无法提供直接的接入方案，依赖业务侧定制化的间接生产并提供给首页；
- 异步流程效率低，拿业务场景来说，用户在端上产生了业务行为后请求到业务云端，业务云端异步通知到首页云端，首页云端再异步通知到首页客户端，异步通知有效率仅约10%，其余约90%链路都是低效消耗；
为此，我们重新规划了首页事件维度的刷新机制和规范，联合端智能和端基础团队构建了基于感知复杂事件的首页智能化刷新方案，另外基于此方案研发轻量级的业务的接入方式，不但可以解决上述两大问题，而且面向未来多种多样的业务刷新诉求可以更加得心应手。
3.2 推荐去重
去重是为了解决首页现有推荐架构下的问题：来自不同系统的流量位推荐内容重复。
问题原因：首页推荐的主要流量位由搜索底纹词、角标、腰封及卡片列表构成。在首页启动的时候，多个流量位并行发送各自的RPC请求获取推荐数据，由于多笔请求背后的业务系统相互之间没有感知，容易导致推荐内容重复，非常影响用户体验和流量分发的效率。
为了填补推荐系统联合优化能力的缺失，需要在各流量位之间建设流量中控能力，通过算法联合优化去重。为此分别设计了以Single-Request为基础的云端流量中控方案和以端智能为基础的端流量中控方案，两个方案的实现思路和对比如下：
方案一、Single-Request 算法去重：流量中控建设在云端，将首页各流量位请求合并，由于Recmixer（首页推荐系统）是主链路，所以在Recmixer链路下搭建中控平台，UCDP（投放推荐系统）配合链路改造；客户端CDP-SDK向首页SDK提供请求数据。
- 优点：多展位之间可联合优化，通过算法排序优化各展位的流量分配；
- 缺点：服务端各系统链路闭环打破，业务间互相依赖，接口耗时增加严重，客户端改造成本高；
方案二、端智能算法去重：流量中控建设在客户端，通过端智能架设流量中控平台，平台缓存各展位的推荐标的。首页SDK和CDP-SDK流量下行后统一经由中控平台决策。
- 优点：前后端各业务系统改造成本低，彼此间保持解耦，接口耗时影响小；
- 缺点：去重算法采用先到先得的贪心去重，无法在流量间做最优分配。
通过ROI和历史收益参考对比，最终选择了端算法去重方案，整体去重涉及两个部分改造，分别是1. 离线侧通过人工干预或标签分类将推荐内容的实体统一；2. 在线侧通过端智能中控规则去重。完整流程如下图：
4. 阶段性进展和成果
智能刷新
时间智能化方案实时推荐从0搭建端智能决策工程/算法链路，经过小流量实验到子场景逐步推全，目前在回首页刷新场景已经落地第一版意图预测刷新，整体请求量级下降14%，点击PV置信提升0.44%，PVCTR整体提升18.8%；
空间智能化方案地理围栏缓冲区方案目前已全量上线，首页位置卡片通过使用这套组合能力，围栏缓冲区点击pv/点击uv分别提升19.7%/20.02%，pvCtr/uvCtr分别提升4.4%/6.51%；定位覆盖圈点击PV/点击UV分别提升4.54%/2.54%，pvCtr/uvCtr分别提升2.38%/0.51%。
事件智能化方案机制已经逐步落地在会员积分领取、IOT支付后推荐等卡片业务场景，业务接入效率大幅提升，链路效率大幅优化(减少90%无效sync请求)，无需再进行开发对接服务端sync接口，仅做端侧标准CEP规则提报即可完成业务单卡刷新能力接入。
推荐去重
首页端智能去重方案经过多个团队联合开发后，目前线上腰封、feed、角标已全量开启，当前阶段联合去重实体重复度下降33%。目前团队针对下一步Action还在讨论中，中长期目标是会推进分数校准/展位偏好的计算模型上线，提供更优的流量分配策略。
5. 未来规划
首先围绕首页智能刷新架构的深度探索，持续发挥端云协同的优势，接下来将在几个方向重点发力：
- 深入内容实体挖掘，目前云端算法推荐技术在实体粒度，端侧还在类型粒度，后续会加大端侧的技术投入更好的推进端云联动推荐多场景落地，进一步提升分发有效转化；
- 扩大端侧算法决策范围，逐步将无效的刷新请求转化为有效请求，提供多种基础工程能力，由算法侧按业务类型个性化决策局部和整体内容的刷新；
继而，在智能化道路上继续探索落地场景，下一阶段我们在着手设计通过智能检测手段来保障首页用户体验的方案，针对重要的体验问题建设线上监控、异常报警和问题发现机制。
