前言
业务背景介绍:
- 拍卖中的约束条件:浅库存、时效性
- 交易链路及频道页的布局
- 拍卖导购与传统频道页的区别
- 研究对象:在浅库存和时效性约束下的拍下率优化问题
技术点:
- 运用拉格朗日乘子法求解在浅库存约束下的流量调控问题,并分析了上述调控模型适用的必要条件;
- 从Knowledge Graph Embedding和概率图模型两个角度来描述拍品的关键属性,以优化拍品的冷启动问题
值得一提,今年诺贝尔经济学奖颁发给了保罗·米尔格罗姆(Paul R.Milgrom)和罗伯特·威尔逊(Robert B.Wilson),他们因“对拍卖理论的改进和拍卖新形式的发明”获奖。本文中的拍卖业务,均采用英式升价拍卖,更多从流量分配和效率优化角度探讨,尚未从拍卖机制设计上做尝试。
阿里拍卖简介
说到拍卖,脑海中就很容易涌现出这样的画面:拍卖师站在台上拿着锤子装作要一锤定音,台下一堆人1w,5w的往上加价。所卖的标的物,往往是翡翠、字画、瓷器这样的珍品。那么线上拍卖又是什么呢?
每年双十一的零点,优衣库这样的店铺都会选出一部分商品,让前100名购买者以极低的价格拿到。这种饥饿营销可以成功带来流量,背后则是通过捡漏+浅库存+时间窗口的形式让消费者之间形成竞争。有一个频道页,时时刻刻都在进行这样的消费者PK,在特定的时间段对稀有的商品多轮出价,这就是在线的阿里拍卖。
比双十一更严苛的是,阿里拍卖的库存一般只有一件;与线下拍卖行也不同,在线拍卖可以同时进行几千上万场拍卖,且一件拍品可以多达4w人围观,1000多人订阅,最终31人出价,经历了253轮竞拍。啥拍品??今年6月,一套离西湖边仅100多米的北山街栖霞岭小区,有一套法拍房起拍价仅为260万元。你~ 有没有一些心动呢?
补充拍卖交易链路的小知识:
围观:就是点击进商品详情页,热门的标的物往往有过万的围观群众。
订阅:除了即刻拍在线拍卖一般有排期的进行。拍品一般分为预热,开拍和结束拍卖三个时间点,珍品往往当天结束,而房产等大资产会有多天甚至30天的拍卖时间。订阅好比是闹钟,用于提醒用户该关注了。
交保:缴纳保证金,交保意味着正式入场。
出价:各方竞价,截止时间内价格最高者胜出。
支付:支付尾款,违约且当前价高于保留价需支付违约金(保证金)
中国移动
拍下
拍卖的一般过程
H三
出价
交保
即刻明拍首次出价20分钟后结束拍卖
[无保留价195.新欧米茄碟飞系列黑盘动
储自动机械男表
分享
RMB
19,800
订阅
起拍价
夷作基
给鸡
设置拇醒1人
可观185次
报名0人
阿里拍卖
品质保障任价掉渴
更多拍妆
心拍
花呗
及一赔三
围观
立即参拍
(保证金¥2000)
咨薄
拍品主要分以下三块;
- 大资产:如法拍房、二手车、股权、破产公司的厂房、商铺,不一而足;
- 高消品:名牌手表、名家字画、古董玉器、名酒钱币等等;
- 大众商品:少量淘系商家供给,也包括部分闲鱼商品。如下图:
上文提到了起拍价260w西湖边法拍房就是大资产。和其他频道页不同,来线上拍卖的人有刚需偏好,也有情怀,但更多是投资。当一个价格洼地出现,且是网红资产,短时间内会迅速产生聚集效应。可这是我们想看到的吗?试想我们把上面的西湖边房产推送给每个用户,作为业务核心指标点击、订阅、交保那是蹭蹭蹭的往上涨,但抱歉只有一套。所以成交量只有可怜的1套。在浅库存和时间窗口的约束下,用户效率最大化并没有带来频道整体收益最大化。不妨引申,拍卖业务中的导购,和传统频道页导购究竟有哪些不同?
带着问题,我们先看下阿里拍卖频道页的布局。其中,主入口是手机淘宝轻应用第8个坑位的icon,此外还通过短信push,首猜云主题和商品投放,主搜等渠道。拍卖首页是承接流量的主阵地,模块包括:搜索框、子频道icon、四个子业务模块和猜你喜欢。
阿里拍卖导购 VS 传统商品导购
单从频道页看,拍卖的feeds流和传统猜你喜欢没有太大区别。也许是表象使然,刚接手业务后,我们用近一个月时间尝试把阿里拍卖推荐按照传统频道页推荐来做,结果用户侧的效率有明显提升,但和业务对焦发现,核心指标拍品拍下率不升反降,甚至是降的厉害。被打脸后我们不禁反思,我们错在哪里?
先看业务指标:
拍下率 = = 1 - 流拍率
解读:
(1) 业务最终目标是GMV,可是拍卖中的价格差从几百到几亿,直接量化存在困难。因而,业务和技术一致认同将目标先拆解为拍下率;
(2) 在浅库存约束下,要考虑到长尾商品,并对头部商品流量去中心化;
(3) 从业务侧,相比于酒类玉器等珍品,房产等大资产的拍下率优化更为重要,业务要求珍品和大资产的指标分开统计;
(4) 拍下是一个延迟过程,特别是大资产的开拍时间可能长达10多天,这个算法天级别的优化带来困难;业务建议,可以将订阅率和交保率作为大资产算法优化目标.
(5) 影响GMV的因素,除了拍下率外还有溢价率(可简单理解成高于市场价的百分比),这也是传统拍卖关心的指标,这一块暂未做尝试
(6) 对新用户尽量避免因调控而导致流失
回到问题,在传统猜你喜欢对商品、内容导购时,我们知道要把好的品给对的人。好的品往往是经过群体行为检验的,模型判断出的高点击、转化或关注的品。
如果真有一个品大家都喜欢,那么大概率是运营强控置顶,比如1499元的茅台。匹配的过程往往是从用户视角,让商品经过选品->召回->排序->重排序这样的漏斗,并最终展示每页10~20个商品。但在浅库存的约束下,如果一样东西抢手,给过多的人看就造成了流量浪费;而如果一样东西有潜在价值但受关注过少、最终流拍,就更加可惜。在拍卖的导购中,更关心一个商品是否会卖,而不是某个用户是否去买。两者的区别,小结如图:
阿里拍卖
传统商品
个性偏好
投资心智
导购
导购
用户增长和成长
总体效率最大化VS用户个体效率最大化
客单分布集中,
客单方差大,存在过
客单价
极少过10w
千万的客单
时间节奏
新品较少,大部分
有预热,且有较长在拍
商品长期在线
时间,特别是大资产
买家
竞价&博弈
互相独立
视角
主体是商品,
主体是用户
兼顾用户
整体框架
按照从底池->曝光->点击->订阅->交保->拍下的漏斗,我们在各个环节做了尝试,标红部分是有较大效果提升。其中,从交保->拍下在传统拍卖中更加关注,特别是提升溢价率,这部分目前还没有尝试。
在求解过程中,会遇到如下一些问题:
(1)浅库存约束下,如何均衡流量分配与效率?在此约束下,是不是更适合做Exploration and Exploitation?
(2)怎么判断一个拍品好是不好?对好的拍品,我们如何做冷启动?
(3)如果拍下率是优化目标,那么拍卖的流量怎么量化,与拍下率的关系是什么?
(4)拍品分为预热、开拍和结束拍卖三个关键时间节点,该如何考虑拍卖时间节奏?
带着这些问题,我们将从模型调控和新品冷启动两个角度来分析。
流量调控
▐ 整体思路
布洛和柯伦伯(1996)证明了,在非常一般的私人价值环境中,以及更一般的共同价值环境中,一个简单的无保留价格,有N+1个买方的升价拍卖比任何一个只有N个买方的最优拍卖都具有更好的盈利表现。在线上拍卖,买方可定义为缴纳保证金的人。这个定理也启示了我们,交保证金的人数与最终商品是否拍下,可能有强相关性。那么究竟如何量化交保人数与拍下率,以及如何定义我们的目标函数,并构建调控模型。我们进行了如下工作:
- 拟合了交保-拍下率效用函数,并给出相应假设
- 定义了优化目标函数,并用拉格朗日乘子法求解
- 在模型中引入时序和流量权重
- 讨论了上述拉格朗日模型的适用范围
▐ 数据分析
通过拉取历史成交数据,可发现交保人数与拍下率呈如下关系,其中不同曲线代表了不同品类,如手表、字画、二手车等:
通过对交保人数与拍下率的关系做了定性,可以发现:
- 交保人数越多,拍下率越高
- 直观的看,该曲线的二阶导<0,意味着随着人数增加,拍下率的边际收益下降
- 当交保达到一定的人数时,边际收益已经非常微弱,此时流量的边际成本不变,则可认为是流量浪费,这里的临界点称为最优交保人数
- 不同品类的曲线和最优交保人数有较大区别
▐ 问题假设
如何定量?我们不妨从假设开始。
假设1:交保次数与拍下率满足如下关系
其中是商品j交保次数,是j的拍下概率,a是参数并按品类区分。本函数的假设是根据交保-拍下率曲线拟合得到,对不同业务需要先假设函数关系,再验证是否满足次模性。
假设2:最优交保人数是指,当交保次数达到某个值后,边际收益明显下降,即拍下率斜率。
超过了则认为会造成流量浪费。物理含义是商品j交保次数从后对成交概率的边际收益。可以说,拍卖流量调控的切入点,就是最大化边际收益。
假设3:在某个时间窗口内,每个用户存在稳定的投资预期。
来拍卖频道页的用户大多是投资和捡漏心智,虽然用户的投资预期的具体数值难以估计,但我们不妨假设用户期望交保的商品次数,在短时间内是一个常数。具体的取值并不影响最终排序,在后面的部分会阐述。
▐ 拉格朗日模型1.0
考虑目标函数:
其中,是用户i对商品j的交保概率,是最大熵正则项,用于控制流量均衡;是交保次数与拍下率的函数;是商品j的交保上限。考虑假设3,当交保次数k足够大时,边际收益接近于0,则认为此时的k为交保上限;是引入的一个与用户i相关的变量,表示用户i的投资预期,由假设4可知恒定。该问题的拉格朗日形式如下:
(1)
KKT:
推导:
(2)
(3)
即:
令:
则:
把Z带入由(2)式得:
又由原式式(1)可知,的梯度为:
其中,是拍品j是当前交保人数,越大,说明离调控目标还有距离,则会变小,从而使分配概率增大。考虑,在个性化排序中是在同一用户下比较商品得分,因而最终的计算可以忽略变量和。
▐ 拉格朗日模型2.0
带有时序的调控目标
在上述1.0模型中,最优交保人数是调控目标。然而,我们忽略了拍品起拍和结束时间的影响。试想,有两个同类目的拍品,效用函数一致、最优交保人数一致、结束时间点也一致、当前拍下的人数也相同。但一个离结束拍卖还有2小时,一个还有1天。那显然,我们应该优先考虑快结束的拍品。如何在模型中体现这件事呢?根据日志,我们把拍卖的结束时间点和离结束时间的小时数做如下二维表:
其中,横轴是拍卖结束的时间点,纵轴是距离结束时间的小时数。取值为该时间段的交保人数占比=商品交保人数 / 商品最终总交保人数,如在下午14点结束的拍品集合中,离结束还差2小时交保人数占比是14.58%。基于统计数据,我们可以得到随时间变化的曲线,如下:
从而可以得到
上述的例子中的两个拍品,假设都是14点结束,则里结束还差2小时的拍品当前调控的目标值为距离结束还差1天的拍品调控目标值为。
流量评估中引入用户权重
在拍卖业务中,除去黑产有五类用户:超级VIP用户,VIP用户,至少购买一次的用户,至少交保一次的用户,小白用户。在背景篇中,有介绍说不同用户群体在拍卖频道中的行为差异极大,如超级VIP用户和小白用户的交保率相差12倍,而拍下率则相差26.4倍!
考虑有两种情况,拍品1和2起拍和结束时间一致,品类一致,效用函数一致、最优交保人数一致。且当前交保人数都是8人,但拍品1是由8个超级VIP用户交保,而拍品2是由8个小白用户交保。那么从直观上,就可以认为拍品1的拍下率高于拍品2。同样,如何在模型中体现?
考虑效用函数拟合的是交保次数与拍下率的函数关系。通过引入用户权重可将改写为:
其中,,仍基于统计数据,上述5类人群的取值权重为5:4:3:2.5:1。使用改写后的重新拟合曲线,得到新的效用函数。
引入时序和用户权重后,模型调整为:
▐ 浅库存约束下的流量调控问题
回到假设,我们通过建立拉格朗日模型来求解浅库存的拍卖流量分配问题。这里一定有人问,我的业务适合这种调控模型吗?上述模型适用的必要条件是什么?
不妨小结下,我们假设了拍品交保人数和拍下率满足函数关系,并设定了目标函数,其中L是算法调控目标。如果从问题出发,考虑用户总数是N,可得向量空间,其中表示是否交保。在已知部分用户已交保的前提下,商品j拍下率可表示为,则整体拍下率期望可表示为,如图:
user
交保
圆面积表
示用户行
为权重,
u3
uS
item
is
io
U-1-a3
U;-1-41
U;-1-a2
P(Y|X2)
P(Y|X3)P(Y|X
P(Y|Xi)
P(Y|X)
argmaa
注:user对Item的交保行为可想象为在图示中的格子里画圈,会发现在某一个商品(如)上的边际收益越来越少,且全局的边际收益也在逐步减少,这就是次模性的含义。此外,要尽量找某一列还没画过圈的商品,但此类商品缺少历史行为不确定要哪个更好,这就是下一章要提到的冷启动的问题。
围绕着函数关系,不妨记为。F的表现是,拍下率随着交保人数的增加而增加,但斜率逐渐下降,这是边际收益递减性质的一个朴素体现。在数学上,以次模性(Submodularity)描述函数的边际收益递减性质,具有次模性的函数被称为次模函数(Submodular Function)。其标准定义为:对给定的离散集合S,满足
其中,集合函数是从向量空间到实数的映射。随着次模函数的自变量集合内元素扩充,向该集合内加入一个新元素所能带来的增益会越来越小。例如,假设商品和属于同一类目,因而效用函数相同都是,当前状态下已经有交保,而只有交保,此时如果新增对两个拍品都交保,则边际收益满足:。上述次模现象在其他淘宝浅库存的业务中也有体现,如闲鱼。那么次模性与问题是否可解的关系是什么呢?
性质1:函数满足次模性。
证明:考虑在maximum的目标下,次模性submodularity与concavity等价[Polyhedral aspects of Submodularity, Convexity and Concavity],不难推导满足下述表达式,即满足了次模性的充分必要条件。
性质2:拍下率的期望函数E满足次模性。
由性质1,函数具有次模性,又因为不同商品共用同一个向量空间,由次模性的conditioning性质,即:
Conditioning: FS submodular on V, W subset of V
Then is sumodular
因而期望也满足次模性。即为拍下率期望E的最大化问题存在多项式解法。
综上,在拍卖问题中,对交保次数与拍下率两个变量围绕边际收益递减的性质展开,在假设效用函数时,需要考虑函数具有次模性(Submodularity),从而问题可转化为maximum下的concavity或minimum下的convexity,并进一步设定目标函数和约束条件,再利用拉格朗日对偶性求解。
所以,上述模型适用条件是:
- 浅库存约束
- 效用函数满足次模性
更多tips:
- 考虑效用函数,当库存量为1时为拍下率,当库存量>1时可以理解为商品j拍下数的期望值。在拍卖中大多数拍品的库存为1,但上述模型对库存量>1的浅库存问题同样适用,这里浅库存定义是商品存量 < 用户需求量,购买者之间存在博弈;
- 同品类下效用函数参数a取值相同,此时流量均分是最优策略;在不同品类之间,参数a取值不同,当a越大时曲线越陡峭,说明边际收益越大,则可以倾向给更多流量;
- λ如何调试?我们分析了λ与以下变量有关:由命题一,品类数越少则越趋近于流量均分策略,从而λ越小;库存越小,同理,流量趋于均分,从而λ越小。
- 如果是求解maximum问题,一个直观的次模性函数如图:
0.8
0.8
0.4
451012141618.2022.242628303234363840424446
024681012141618202224262830323436384042444648
0.8
0.8
0.4
451012141618.2022.242628303234363840424446
024681012141618202224262830323436384042444648
新品冷启动
▐ 整体思路
对拍品价值的分析,不论是从点击率还是转化率出发,都离不开日志,但第一步在这里就卡壳。因为拍卖的商品时时刻刻在更迭,大多数Item只有一次生命期,不论是流拍还是拍下,都不再出现。除非是循环拍的珍品和法拍房,考虑占比小这里不讨论。商品更迭快,特别体现在字画古玩等高消拍品,大约每天更新40%。推荐系统始终面对冷启动问题。而且,需要及时更新商品库,延迟超过两天,各种指标就会腰斩。关于如何求解拍卖冷启动问题,我们进行了如下工作:
- 多臂老虎机模型做流量调控
- Knowledge Graph Embedding,基于关键属性对商品表征
- PGM概率图模型,基于不同品类下关键属性构建Bayer Network,并进行inference learning
- 对关键属性有效性的评估
▐ 一个例子
拍卖商品的生命期往往是:预热-开拍-结束拍卖,这意味着每天都有大量新品涌入频道页,这也必然给推荐带来冷启动困难。我们先看个例子:
订阅次数与时间的关系统
7000
6000
5000
4000
3000
2000
1000
LLo0ZOZ
ttcoozoz
9tc00OZ
6tcozoZ
TcoozoZ
sTzoZoZ
ztzooZoZ
oE900zoZ
8TzoozoZ
ozL0ZOZ
6t900o元
EZLOOZOZ
zLoZOZ
EZ90zoZ
oz900zo元
EocoozoZ
z900zoz
ctzooZOZ
8z900zoz
sZL00ZOZ
990oz
921002OZ
tIZ0ZOZ
TL0ZoZ
bocoozoz
zZ90zoz
tz9oozoz
vLoozoz
tocoozoz
st9002oZ
6z90zoz
soco0zoZ
cozoozoz
手机
宝马车
手表
茅台
上图选出的是4款较受欢迎的爆款拍品,考虑到库存只有一件,实际上这些拍品流量都过载了。从这四个爆款也可以看出,拍品有明确的生命期,考虑更多拍品生命期很短,比较形象的图示如下:
7000
Training
Prediction?
6000
5000
4000
3000
2000
1000
-stcoozoz
L21002oZ
tt.c0zoz
?vzoozoz
st900zoz
9z90zoz
Sz900zoz
80c00zoz
9tz00zoZ
LT;00ZoZ
gz90zoz
TLooZoZ
EZ900zoZ
b9oozoz
60c00Zoz
90c00ZoZ
otzoozoz
eTLOOZOZ
ZT.c00ZoZ
6290zoz
oz900zoz
0E900oZ
LoZO0ZOZ
ozL00ZoZ
z900zoz
5ZL00ZOZ
8Tz00Z
Lz900zoz
6t90zo
ttz00zoz
soz00ZOZ
cocozoZ
zLoozoZ
TZ900zo
tozooZoZ
t900zoz
zL0ZOZ
9z.00zoz
ToZoZoZ
有点像多个叠放在一起的石拱桥。这样的品类更新方式带来了挑战是:
- 模型训练。比如在离线CTR预估模型中,3天,7天,15天的item统计特征往往占特征权重的大头,而在拍卖问题中,高消品每天约有40%的商品更迭。
- 新品孵化。很多高消品在线时间很短,甚至直到下线依然只有很少流量光顾而最终流拍。目前,拍卖整体流拍率达到70%,如何及时发现好的拍品,算法急需尝试Explore & Exploit。
- 工程上保证链路稳定,一旦超过2天未更新商品迟会骤减,整体指标甚至腰斩。
▐ Explore & Exploit
回忆一下,拍品的交易链路是曝光->围观->订阅->交保->出价->成交,其中围观->订阅是拍卖冷启动最关注的阶段,订阅->交保则是流量调控关注的阶段。E&E算法思路比较简单,只需走通实时链路并定义清楚调控目标,就可以实验。
▐ 拍品的关键属性
拍卖的结果取决于三个因素,拍卖的规则、拍卖对象的估值、竞标者所有的信息。在阿里拍卖中,拍卖规则始终为公开的英式升价拍卖;竞标者所有信息,可以理解为用户画像,包括用户实时行为,以及用户年龄、性别和购买力等属性。上述信息往往与个性化链路集合,比如用户行为分为淘系的和拍卖站内的,都作为个性化召回链路的trigger;年龄等属性则作为rank model的特征。这与传统个性化链路做法基本一致。
然而,阿里拍卖频道页与传统频道页不同,如上文所分析,用户往往带有捡漏的心智而来,因而首先需要对拍卖对象的估值。作为平台,则需要提供尽可能多的信息便于他准确估值。这些信息在本章中称为关键属性。譬如,钱币的品相、面值、年代,酒类的产地、年份和度数;属性值一般可枚举,例如玉石的种地类型包含{冰种,糯种,冰糯种}。商品详情页如图:
帮助及保障
拍品参数
拍品描述
冰糯种
种地类型
葫芦
图案/形状
重量(g)
0.64g
鉴定证书机
www.gtc-china.cn
构网站
鉴定证书编
JM20080600075
未镇嵌
镇嵌材质
款式
戒面
翠绿色
颜色
鉴定标识
国内鉴定
广东省金银珠宝检测中心
鉴定类别
立即参拍
(保证金¥52)
提醒
咨询
店铺
对冷启动缺少日志的商品,关键属性可以部分弥补。但难点是关键属性只适用于部分品类,如酒类的度数只用于酒。从模型训练的角度,更希望采用通用属性做特征;而如果每个类目单独训练一个模型,不仅繁琐且日志也不充分。针对上述问题,我们做了属性评估,并尝试了两种模型来表达,以下分别介绍。
关键属性的评估
同一个品类的关键属性可能看似很多而实际可用很少。这里就需要:
- 属性有作用域,这里选择后台二级类目,只有同二级类目的商品才有可比性;
- 属性是有限集,每个属性的取值也是有限集,例如, 手表{机芯类型, 表带材质, 适用对象, 价格范围},而机芯类型{自动机械表, 石英表, 手动机械表, 机械表}
- 属性及属性值的选择,需要从以下几个维度判断:
- 覆盖度 属性及所选属性值包含的商品量级。例如法国产区与酒类强相关,但覆盖不足;
- 均匀性 有的属性看似商品多但其实不能用,商品分布绝大部分都集中在一个属性值
investlevel
item_num
chandi_shoubiao_
ratio
德国
0.4429012345679012
574
hot
瑞士
14475
0.2999937825122795
hot
国内
0.299625468164794
160
hot
欧美
278
0.1674698795180723
hot
- 区格性 有的属性取值与投资价值没啥关联,使得这些属性值之间没有区格,譬如书法/绘画品类的字画性质:会发现这里的ratio非常接近,说明字画性质的原稿和原创没有区格
- 保序性 比如钻石切工,从完美到一般是有序的集合,所期望对应的热度也是有序的
Knowledge Graph Embedding
我们通常利用三元组(triple)来表示一条知识,格式为(头实体,关系,尾实体),例如三元祖(阿里巴巴,创始人,马老师)来表述”马老师是阿里巴巴创始人之一“这条知识。随着三元组的不断积累,实体之间的关系愈发丰富,实体、关系类型愈发丰富,所构成的知识图谱(Knowledge Graph)便更加强大。在这个“万物皆可embedding”的时代,图谱也能够对图上的每个节点、关系都产生一个向量表征,用于下游任务。
知识表示便是一种产出向量表征的方法,该方法主要是将是实体和关系通过某种方式映射到某个向量空间中,进而利用链接预测(link predict)任务的方式结合损失函数进行训练。链接预测任务是给定(头实体,关系)来预测尾实体,或者给定(关系,尾实体)来预测头实体,例如给定(阿里巴巴,创始人),期望能够预测到马老师等创始人而非xxx,预测正确的loss会更小,错误loss会更大,进而通过反向传播进行训练。
知识表示发展至今,也有众多方法,其中最经典,最简单的也正是TransE方法,该方法将实体和关系都映射到同一个向量空间,通过计算欧几里得范数得到距离,距离越小表示向量运算更为正确,最终损失函数通过hinge loss计算得到损失后反向传播至实体与关系,不断的调整实体与关系的向量表征,尽可能使得:
其中距离函数为该距离越小表示该三元组的向量表征越正确。由于该算法是一个无监督的算法,故训练过程采用手动构建负样本并期望正负样本差距较大,且大于某个margin即可,如下公式所示:
其中为正样本距离,为负样本距离,其中负样本为。一般来说,头尾实体不同时替换,可能会替换成一个正样本;且负样本的构造是整个模型训练的关键,负样本过于简单则起不到训练效果,负样本过于难学习可能难以收敛,故负样本构建上本文选择了同叶子类目下进行构建负样本,相比于全局下的负样本构建,在珍品三元组替换到了大资产的房产其实是没有学习价值的。
模型训练后评估过程是针对训练集中的三元组,将待替换实体替换为训练集中的每一个实体,然后计算距离,最后将所有三元组距离进行排序,计算正确的三元组的排名计算得到Mean Rank和Hit@N进行衡量。其中Mean Rank表示排名的平均值,该值越小越好;Hit@N一般看Hit@10、Hit@50等,其表示排名在前N个的占比,该值越大越好。
三元组示意图
根据embedding聚合后的可视化结果
左图:向量低维可视化成簇
右图:i2i召回可视化
如何使用?
通过关键属性这样的静态特征,使用transE算法可得到Item的embedding特征,可以作为:
- 模型特征,如离线CTR预估的GBDT模型,之前在天猫新品业务中尝试,可以提升点击率和新品冷启动效率
- 得到embedding I2I,swing i2i或是slim算法更加依赖行为日志,在日志充分、新品较少的业务并不work。但在拍卖这样商品更迭频繁,新品占比高的业务,基于knowledge graph embedding可以作为补充,提高覆盖率。具体的AB效果见后文。
PGM概率图模型
PGM一般适用于当特征之间不满足条件独立性假设时,通过特征之间的依存关系构建graph,并将第一层节点视为先验概率,上游节点视为下游的条件概率分布,并最终计算得到联合概率分布的过程。如图:
材质工艺
题材
钱币类型
材质
商品形态
品相
玉石类型
密系
面值
陶/瓷/瓷片
书法/经画
紫砂(新)
手工艺民俗
钱币
玉石
rootvalue_name
rootvalue
prior_prop
rootnode
冰糯种
0.2362
43581
caizhi_shoushi
白玉
0.1674
30550
caizhi_shoushi
羊脂白玉
0.1146
24776682
caizhi_shoushi
冰种
0.1281
43580
caizhi_shoushi
2
0.0507
55088
caizhi_shoushi
0.0133
43582
caizhi_shoushi
0.0196
30548
caizhi_shoushi
0.0476
43591
tuan.shoushi
观音
0.0652
43590
tuan.shoushi
整体流程是:
- 从覆盖率、区格、均匀和保序四个维度做特征评估和选择
- 根据订阅日志,构建先验概率分布和条件概率分布,譬如P(题材='山水画'),P(订阅='yes'|题材='山水画' & 品相='十品')
- 基于pgmpy包,构建Bayesian Networks
- 做inference learning,算法采用Belief propagation,其中参数优化使用BDeu评分函数
- 各类目关键属性统一映射到一个score,可以直接使用,或将其作为GBDT模型特征。
流量调控与个性化分数融合
x2iscore召回分
流量分配
UCB算法,冷启动调控
matchTypeScore
离线ctr预估score
围观->交保
曝光->围观
多臂老虎机Scorex
拉格朗日模型Score
ctrScorexcvrScore
matchScore
流量调控部分
个性化部分
考虑关键属性的订阅转化率预估分
XFTRLonlineScore
曝光->围观
围观->订阅
Tips:
- 流量调控部分的score,仅限同品类内的比较,比如在比较字画与房产这种跨类目品类,只考虑个性化分
- 对新用户不做调控,特别是没有一次交保的小白用户
整体效果
- GMV和IPVUV
经过半年的优化,拍卖首页猜你喜欢核心指标变化如下,考虑到6.10号有改版(猜你喜欢从第三屏到第二屏),这里可以着重看下近三个月的指标变化。对比六月,八月份日均GMV+98%,日均引导IPVUV+28%,拍下UV+69%,30天拍品拍下率从+381%,均明显高于大盘增幅。
- 主要驱动是大资产,可以看下大资产6.10~9.10的IPVUV和GMV:
猜你喜欢大资产周日均
一日均IPVUV(万)
一日均拍下GMV(万)
2324252627282930313233343536
- AB实验结果明细
下一步工作
从算法角度,一直有两个问题没探讨,其一是用户冷启动;其二是价格。如何让新用户破冰?即第一次交保。除了技术层面,这里还包括信任层面。毕竟拍卖不论是B端还是C端,都是很专业的事情。不过,猜你喜欢更有义务来承接。其次就是价格,高客单是拍卖的特点,而价格本身也是决定某拍品是否有人出价、最终拍下重要因素;此外,拍卖的品往往用于投资,具有很高的价格弹性。如何在推荐链路中融入价格,既需要,也很困难。
最后是站在业务角度,英式升价拍卖也不一定是在线拍的最优机制,譬如今年诺奖获得者提出的同步多轮拍卖(SMRA),也是针对“赢家诅咒”问题做了很好的解法。此外,他们还有一个证明是“当竞标者在投标过程中对彼此的估价了解得更多时,这种拍卖形式会给卖家带来更高的预期收入”这一点也值得关注。因为,竞标者对于拍卖品的估价可能与其他竞标者估价相互关联。也就是说,如果某个竞标者对拍卖品的估价发出强烈的信号,其他竞拍者看到这一点,自己的估值信号也会变得强烈。当越来越多的相关私人信息被揭示,传统的升序英式拍卖就会比降序的荷式拍卖产生更高的收益。或许,我们也不能总是独立的看待每个竞拍者,对吧?
特别感谢:淘系商家自运营及智能场景组、淘系商业机器智能团队及阿里拍卖事业部,也希望更多的小伙伴了解和走进阿里拍卖业务。