视频用户网络画像与应用-阿里云开发者社区

开发者社区> 阿里文娱技术> 正文

视频用户网络画像与应用

简介: 视频用户是移动网络流量的主要消费者。和其他 APP 相比,观看视频的用户体验和和网络 环境密切相关。播放成功率、卡顿率、高清占比这些核心体验指标无不与网络环境下的产品表现相关。

作者| 阿里文娱无线开发专家 稻乐、阿里文娱测试开发工程师 心膂

一、背景

视频用户是移动网络流量的主要消费者。和其他 APP 相比,观看视频的用户体验和和网络 环境密切相关。播放成功率、卡顿率、高清占比这些核心体验指标无不与网络环境下的产品表现相关。
我们能发现市场上已有的一些网络分析和环境画像的实践。例如热门手游“王者荣耀”里提 供了网络质量的测量,用当前的路由器,小区,公共网络的延迟时间来描述当时的网络状态, 给用户呈现一个直观的检测结果。 比如用 500kbps 的网络限速模拟公交模型;用丢包率 20%来 模拟地铁模型等。网络画像的重要性用一句话概括就是:个性化,差异决策。不同用户在观看 视频时,所处的网络环境具有明显的差异性。这种差异体可以概括在两个方面:
1)网络质量差异。网络质量最终影响的是视频码流下载的速率。当下载速率长时间低于视 频码率或者抖动剧烈,就容易产生播放卡顿。下载速率受到播放链路上各个环节的综合因素的 影响,这要求我们评估链路上环节的质量,在发生下载速率下降时找到出问题的环节,针对具 体问题应用对应的解决方案,才能做到见招拆招,得心应手。
2)网络环境差异。用户是在家庭网络、公用网络还是在通勤的路上。这里环境的识别不再 是一个实时的数据采集分析,它需要一段周期的前置数据收集,要能根据网络流量等一系列特 征理解出用户所处的使用环境,从而具备这种环境下可能出现的播放事件做提前预判的能力, 结合定制化策略的应用,可以提供给用户更好的视频观看体验。

二、网络画像

评估播放过程中的网络,比较通用的手段是通过视频分片的下载速度,或是播放器缓冲区(buffer)下降速速率来估计。诚然,下载速度和 buffer 下降速率能反映出的播放链路端到端的表现,但是在实际的工程实践中,我们希望能掌握更多维度的信息,以采取不同的播放策略。 例如如果播放分片下载速度突然下降,如果我们知道是 CDN 侧发生了故障,就可以将播放链 路切换到备用的 CDN;而如果是用户的局域网带宽拥挤了,我们可以通过智能档逻辑切换播放 更低码率的码流。当我们能感知视频播放过程中的网络变化,分析下载速度变化的原因,就能 够有效作出相应策略,提升播放体验。
在用户终端播放视频的网络如图 1 所示。从网络拓扑结构出发,影响视频用户播放下载的 因素主要包括用户设备,局域网,公网,CDN 四个部分。用户设备影响网络质量的主要参数是 信号强度。局域网的网络质量反映了网关的数据分发能力。一些量化指标包括设备到网关的数 据时延、丢包率,网络信道拥挤度等。公网的网络质量反映设备进行随机网络请求的质量。指 标包括到随机地址的时延、丢包率等。CDN 侧主要是 CDN 的质量和调度策略是否正常,它反 映了。量化指标包括下载播放分片的下载速度、TCP 时延、丢包率。

image.png

用户设备,局域网,公网,CDN 这 4 个维度里的指标来源分散,且数据量纲不统一,需要 对指标数据进行处理清洗,再通过统计特征分析找到它对网速的表征能力。从原始的时序数据 里提取出统计特征的方法如图 2 所示:

image.png

1)数据清洗: 原始数据采集因为线程时序等问题,会引入脏数据。主要包括 0 值或极大 值。例如在处理网关时延 rtt 时会混杂一些-1,0,或超时值等数据。异常值会影响到最终的判 定结果,一般选择删除处理,而对于缺失值,可以做删除或者填充的操作, 填充则根据情况选 择均值、随机、k 近邻填充等方法。
2)数据规范化:数据规范化将清洗后的数据做归一化,去除单位的限制,方便不同指标的 比较或者加权操作。最后将多个特征变为一个多维向量,通过向量标准化以达到数据规范化的 目的,不管是 ms 为单位的数据还是 KBps 为单位的值,统一构成向量中的一个元素。
3)特征衍生与选择:特征衍生旨在对原始的特征进行转换,计算出所需要的新的数据,例 如:对特征计算均值、方差、标准差,对特征选取 X 分位数据来表征等。比如,网关时延 rtt 每次上报的数据是多次采集的结果,在计算的时候一般采用计算其的均值、方差等来表示,而 网卡流量而言,期望得到是一段时间内其能达到的最大值,因此,取均值并不是最佳方案,在 这里做的是取其的 90 分位的值来表征。
而特征的选择方面,可以通过相关性的验证,来选择与校验结果相关度较高的特征,比如 使用皮尔逊相关系数来验证变量之间的相关性。 通过一系列的数据清洗、规范、选择之后得到 的特征,是否具有所需的区分度,还要借助相应的聚类算法得以佐证,并可以利用散点图+密度 图的方式来更加直观地观察数据。

image.png

图 3 是部分用户的网关时延与其平均网速的散点图分布情况,横轴为平均网速,单位是 kbps, 纵轴为每次采集到的网关时延均值大小(单位 ms),每一个红点为一条数据,与传统散点图不 同的是,图中还计算了散点的密度分布情况,蓝色区域为密度取,颜色越深密度越大,除此之 外,右侧纵轴以及上面的横轴还有数据分布情况的边界分布图。该图通过把数据转化为可视化 图像的方式,展示了这部分数据的分布情况。可以从图中获得的信息是:
1)密度最高的部分几种在网关时延小的区域;
2)从横轴来看,网速越高的部分,网关时延出现较大值的量越少;

三、应用场景

网络质量分析提供了多维度的结果,这个结果能比较准确的告诉我们网络为什么出问题。 针对不同种类的问题,应用相应的策略,就可以达到理想的效果。表 1 列举了一些不同类型弱网下的策略。

image.png

1. 弱网用户提示

在弱网缓冲时,如果是信号或局域网时延高的时候,如图 4 所示,会在缓冲页面给给用户 相应提示,引导用户实现相应的优化。在客服系统的卡顿检测结果中,同样也会给出相应的提示。

image.png

2. 弱网调度优化

如果网络检测结果是公网质量不错,CDN 质量较差的情况,一般是遇到了调度问题。这时 候反查下载链接是否有问题,例如 CDN 调度是否出现跨省或跨运营商;URL 是否被劫持;CDN 水位是否吃紧需要启用备用线路等。

3. 弱网下载优化

如果网络检测结果是公网质量较差,CDN 质量也较差,说明用户处在弱网的环境下,我们 会启动并发下载,QUIC,BBR 等积极的下载方式抵抗高延迟和高丢包率,同时也会引导用户 使用智能档或降低码率观看。

4. 用户场景画像

网关时延、网关 IP、信号强度、网关时延等数据在不同场景下的表现也是不同的。例如家 庭网络相对较稳定,拥有更低的网关时延,连接局域网的设备有较为固定的,网关 IP 也有一定 的共性等。我们综合运用前面的网络指标进行分析和特征提取分类,可以应用到最终的用户场 景的识别。如图 5 所示。

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

带你了解阿里文娱技术

官方博客
官网链接