内容流量管理的关键技术:多任务保量优化算法实践

简介: 对于新热视频的投放来说,每个视频能投放的资源是十分有限的,如何科学地分配各视频的曝光资源,增加每个视频自身的曝光从而达到播放量最大化,是一个非常值得研究的问题。本文将分享阿里文娱高级算法工程师雷航在内容流量管理上的实践,通过分析其中的关键问题,建立了新热内容曝光敏感模型,并最终给出一种曝光资源约束下的多目标优化保量框架与算法。

image.png

一 业务背景

保量策略对于视频内容来说,是一种很重要的投放策略。新热视频内容都需要增加自身的曝光资源来达到播放量最大化,而各场景(首页、频道页等)的总体资源有限且每个抽屉坑位的日曝光资源有限,因此各内容的曝光资源分配存在竞争问题。另外,不同场景之间相互独立,每个场景根据自身的目标进行效率和体验上的优化,但是场景与场景之间流量协同无法通过优化单一场景来完成。

image.png

为内容分配曝光量涉及到关于曝光和点击建模问题,以及内容的未来点击量预测问题。内容曝光、点击和播放等构成了一个复杂的非线性混沌系统,不仅取决于内容质量本身,也取决于内容更新时间、更新策略和用户点击习惯等。传统的统计预测模型无法阐述外部环境的各种干扰因素以及系统的混沌特性,即无法从机理上描述系统本质。针对此问题,我们首先通过分析新热内容的历史曝光点击日志,使用常微分方程建立了新热内容曝光敏感模型,即pv-click-ctr模型(简称P2C模型)。在P2C模型基础上,结合各场景和抽屉的曝光资源约束,给出一种曝光资源约束下的多目标优化保量框架与算法。

image.png

二 内容曝光敏感度模型

通常情况下,点击PV(click)随曝光PV增大而增大,即高曝光带来高点击。但是,内容消费者数量有限,给同一个消费者针对单一内容重复曝光并不会带来更多的点击量。这种点击“饱和”现象可从内容的历史曝光点击日志观察得到。受此现象启发,我们根据内容曝光PV和点击PV历史数据特点,建立一种能够描述内容点击量随曝光量变化趋势的常微分方程(Ordinary Differential Equation, ODE)模型,即 pv-click-ctr (P2C) 模型,整体结构如图3所示。

image.png

一个内容由于自身因素和外部环境的限制,对应的点击量存在最大值或饱和值image.png。当给定一个曝光量image.png时,存在唯一的点击量image.png和饱和度image.png。对于一个点击量image.png,饱和度image.png定义为当前点击量和饱和值的差距与饱和值的比值,即

image.png

对于任意一个内容,随着pv的增大,click饱和度减小,且单位pv带来的click增量(简称click增量)与当前click比值呈下降趋势。也就是说,click增量与饱和度存在正相关关系,可用下式表示:

image.png

其中,image.png为正相关系数。根据式(2),可以得到click随pv增长的常微分方程模型。

image.png

对式(3)分离变量后两端进行积分,可以得到

image.png

其中,image.pngimage.png分别为初始pv和click。

对于式子 (4) 中的参数image.pngimage.png,可采用最小二乘法拟合。这里首先需要对历史pv和click数据以及参数进行过滤和预处理。

(a)样本点过滤原则。分别在日历史pv和click数据序列选取最大递增子序列。

(b)参数预处理。由于点击量饱和值image.png的数量级通常很大,而相关系数image.png数量级通常很小,为了避免“大数吃小数”的现象,分别对这两个参数进行数据变换,即: image.png

(c)样本点预处理。为了避免最小二乘法在拟合参数时陷入局部最优,分别对历史样本(click值y,pv值x)进行数据变换,即:image.pngimage.png。经过参数拟合过程,可得到单一内容pv-click函数关系。进而可进行pv-click-ctr预测,这里可采用有限差分的数值解法预测,也可将数据点代入式子 (4) 预测。

三 保量模型&算法

基于上一节建立的P2C模型,本节任务是在各场景和抽屉曝光资源有限的情况下,给出每个内容近似最优的曝光量。整体方案流程如下图:

image.png

首先,基于pv-click-ctr预测的常微分方程 (ODE) 模型,针对内容池中每个内容,采用最小二乘拟合ODE中的两个参数:click饱和值image.png和click随pv的固有增长率image.png。从而给出每个内容pv-click函数关系。

第二,基于给定的优化目标和约束条件,可建立pv分配的多目标非线性优化模型。在将业务问题抽象为数学模型之前,有必要对模型中的符号进行说明,如下所示。

image.png

image.png

上述模型的优化目标包含两个:多场景vv最大化,内容池内容ctr方差最小。需要注意的是,这里的ctr方差最小是曝光公平的一种形式化描述,用以平衡“过曝光”和“欠曝光”。约束条件分别表示了场景、抽屉、坑位和内容的曝光PV约束。由于目标函数我们采用数值方法求解,使得上述优化模型无法运用传统的基于梯度的算法求解。而进化算法提供了一种解决方案,这里选取遗传算法(GA)求解。需要说明的是,GA中的适应值函数计算采用了P2C模型。

四 实验结果

我们选取多个新热内容,分别给出P2C模型的预测效果以及保量模型的离线效果。这里的评估指标是均方根误差 (RMSE) 和绝对误差百分比 (APE)。分别采用P2C模型和平滑ctr方法[1]预测新热内容的点击量。从表中可以看出P2C模型可以有效预测点击量,在RMSE方面优于平滑ctr方法。

image.png

image.png

线上实验部分,我们建立了分桶实验。基准桶采用人工策略保量;实验桶采用本文提出的策略,实验过程中关注和对比基准桶和实验桶每日投放效果(CTR方差、策略在场景上的整体CTR等)。以下给出30天和7周的保量效果数据,与人工策略结果对比发现,保量策略在CTR方差和场景整体CTR方面均有不同程度的提升。特别地,在CTR方差方面,保量策略效果非常明显,平均相对提升+50%。

image.png
image.png

五 总结 & 展望

内容保量策略旨在解决流量资源有限与需求过多之间的矛盾,为各个内容提供一种优化的曝光量建议,从而使得各场景的曝光资源能够产生更大的价值。本文针对新热内容的多场景VV保量需求,提出了一种资源约束下的保量模型和算法框架,此框架整体由预测和优化两阶段构成。我们在部分场景进行了离线测试以及分桶实验,实验结果反映了本文策略的可行性和有效性。未来需要持续探索和完善的有很多方面,如PUV保量、保量冷启动问题等。

本文章已被KDD2020录用
Hang Lei, Yin Zhao, and Longjun Cai. 2020. Multi-objective Optimization for Guaranteed Delivery in Video Service Platform. In Proceedings of the 26th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ’20), August 23–27, 2020, Virtual Event, CA, USA. ACM, New York, NY, USA, 9 pages. https://doi.org/10.1145/3394486.3403352

参考文献
[1]Xuerui Wang, Wei Li, Ying Cui, Ruofei Zhang, and Jianchang Mao. 2011. Click through rate estimation for rare events in online advertising. In Online multimedia advertising: Techniques and technologies. IGI Global, 1–12.

目录
打赏
0
1
0
0
92
分享
相关文章
基于WOA鲸鱼优化的BiLSTM双向长短期记忆网络序列预测算法matlab仿真,对比BiLSTM和LSTM
本项目基于MATLAB 2022a/2024b实现,采用WOA优化的BiLSTM算法进行序列预测。核心代码包含完整中文注释与操作视频,展示从参数优化到模型训练、预测的全流程。BiLSTM通过前向与后向LSTM结合,有效捕捉序列前后文信息,解决传统RNN梯度消失问题。WOA优化超参数(如学习率、隐藏层神经元数),提升模型性能,避免局部最优解。附有运行效果图预览,最终输出预测值与实际值对比,RMSE评估精度。适合研究时序数据分析与深度学习优化的开发者参考。
基于GA遗传优化的BiLSTM双向长短期记忆网络序列预测算法matlab仿真,对比BiLSTM和LSTM
本内容包含基于BiLSTM与遗传算法(GA)的算法介绍及实现。算法通过MATLAB2022a/2024b运行,核心为优化BiLSTM超参数(如学习率、神经元数量),提升预测性能。LSTM解决传统RNN梯度问题,捕捉长期依赖;BiLSTM双向处理序列,融合前文后文信息,适合全局信息任务。附完整代码(含注释)、操作视频及无水印运行效果预览,适用于股票预测等场景,精度优于单向LSTM。
基于PSO粒子群优化的BiLSTM双向长短期记忆网络序列预测算法matlab仿真,对比BiLSTM和LSTM
本项目基于MATLAB2022a/2024b开发,结合粒子群优化(PSO)算法与双向长短期记忆网络(BiLSTM),用于优化序列预测任务中的模型参数。核心代码包含详细中文注释及操作视频,涵盖遗传算法优化过程、BiLSTM网络构建、训练及预测分析。通过PSO优化BiLSTM的超参数(如学习率、隐藏层神经元数等),显著提升模型捕捉长期依赖关系和上下文信息的能力,适用于气象、交通流量等场景。附有运行效果图预览,展示适应度值、RMSE变化及预测结果对比,验证方法有效性。
基于遗传优化ELM网络的时间序列预测算法matlab仿真
本项目实现了一种基于遗传算法优化的极限学习机(GA-ELM)网络时间序列预测方法。通过对比传统ELM与GA-ELM,验证了参数优化对非线性时间序列预测精度的提升效果。核心程序利用MATLAB 2022A完成,采用遗传算法全局搜索最优权重与偏置,结合ELM快速训练特性,显著提高模型稳定性与准确性。实验结果展示了GA-ELM在复杂数据中的优越表现,误差明显降低。此方法适用于金融、气象等领域的时间序列预测任务。
|
27天前
|
基于遗传优化算法的带时间窗多车辆路线规划matlab仿真
本程序基于遗传优化算法,实现带时间窗的多车辆路线规划,并通过MATLAB2022A仿真展示结果。输入节点坐标与时间窗信息后,算法输出最优路径规划方案。示例结果包含4条路线,覆盖所有节点并满足时间窗约束。核心代码包括初始化、适应度计算、交叉变异及局部搜索等环节,确保解的质量与可行性。遗传算法通过模拟自然进化过程,逐步优化种群个体,有效解决复杂约束条件下的路径规划问题。
基于差分进化灰狼混合优化的SVM(DE-GWO-SVM)数据预测算法matlab仿真
本项目实现基于差分进化灰狼混合优化的SVM(DE-GWO-SVM)数据预测算法的MATLAB仿真,对比SVM和GWO-SVM性能。算法结合差分进化(DE)与灰狼优化(GWO),优化SVM参数以提升复杂高维数据预测能力。核心流程包括DE生成新种群、GWO更新位置,迭代直至满足终止条件,选出最优参数组合。适用于分类、回归等任务,显著提高模型效率与准确性,运行环境为MATLAB 2022A。
基于PSO粒子群优化的多无人机路径规划matlab仿真,对比WOA优化算法
本程序基于粒子群优化(PSO)算法实现多无人机路径规划,并与鲸鱼优化算法(WOA)进行对比。使用MATLAB2022A运行,通过四个无人机的仿真,评估两种算法在能耗、复杂度、路径规划效果及收敛曲线等指标上的表现。算法原理源于1995年提出的群体智能优化,模拟鸟群觅食行为,在搜索空间中寻找最优解。环境建模采用栅格或几何法,考虑避障、速度限制等因素,将约束条件融入适应度函数。程序包含初始化粒子群、更新速度与位置、计算适应度值、迭代优化等步骤,最终输出最优路径。
基于GWO灰狼优化的BiLSTM双向长短期记忆网络序列预测算法matlab仿真,对比BiLSTM和LSTM
本项目基于Matlab 2022a/2024b实现,结合灰狼优化(GWO)算法与双向长短期记忆网络(BiLSTM),用于序列预测任务。核心代码包含数据预处理、种群初始化、适应度计算及参数优化等步骤,完整版附带中文注释与操作视频。BiLSTM通过前向与后向处理捕捉序列上下文信息,GWO优化其参数以提升预测性能。效果图展示训练过程与预测结果,适用于气象、交通等领域。LSTM结构含输入门、遗忘门与输出门,解决传统RNN梯度问题,而BiLSTM进一步增强上下文理解能力。
基于WOA鲸鱼优化的TCN-GRU时间卷积神经网络时间序列预测算法matlab仿真
本内容包含时间序列预测算法的相关资料,涵盖以下几个方面:1. 算法运行效果预览(无水印);2. 运行环境为Matlab 2022a/2024b;3. 提供部分核心程序,完整版含中文注释及操作视频;4. 理论概述:结合时间卷积神经网络(TCN)与鲸鱼优化算法(WOA),优化TCN超参数以提升非线性时间序列预测性能。通过因果卷积层与残差连接构建TCN模型,并用WOA调整卷积核大小、层数等参数,实现精准预测。适用于金融、气象等领域决策支持。

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等