菜鸟双11“十亿级包裹”之战

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:


前言

每年的双11都在刷新物流的世界奇迹,但由于大数据和协同,每次都将看似不可能完成的任务加速完成。以2013年-2016年的一组数据为例,从签收时间看,2013年双11包裹签收过1亿用了9天,2014年用了6天,到2015年提速到了4天,2016年则进一步提速只用3.5天。

菜鸟作为一家平台型公司,坚持不拥有一辆车、一个快递员,希望通过数据和技术,建设一个社会化协同的物流和供应链公司。在这方面,菜鸟这几年不断探索,在物流全链路上做了大量的尝试和突破,比如通过海量数据精准的预测大促包裹量及流向、通过供应链预测计划合理入库及分仓铺货、以及做到“单未下、货先行”的货品下沉提前打包等。

本文将主要从包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单,以及在末端小件员方面的一些技术探索实践,通过数据和技术的力量,捍卫这场十亿级包裹的双11之战。

1 双11从包裹预测开始
2015年双十一当天的物流订单量历史性地达到了4.67亿,相比于2014年足足增长了65%。到了2016年整个双十一期间的包裹量又将面临爆发性地增长,几近达到10亿级的规模。所以,如何采用大数据预测技术从宏观层面来估计2016年双十一的包裹总量和并利用微观数据信息得到所有包裹在双十一期间的流量和流向,从而为快递公司提供决策支持,提前规划平稳度过双十一高峰是一个至关重要的技术命题。

包裹总量预测根据2016年前台预估的双十一GMV总量,整合历史双十一GMV数据和物流订单数据,历史上所有大促期间和日常笔单价变化趋势,分析各项宏观因素,并监控集团预售预热期间的销售数据,引入可能存在的不确定性,鲁棒地预测2016包裹总量的增长幅度。最终我们预估得到双十一当日包裹总量6.8亿单的数据,达到97%的准确率。

image


包裹流量流向预测预测的6.8亿包裹精确地拆解到不同的快递公司,拆解到全国各个城市,各条线路,并且基于时效预测给出各条线路每天的发货量以及未来双十一期间的到货量可以帮助快递公司提前准备运力,调度人员,精准布局,合理地优化资源从而能够从容应对即将到来的物流高峰。

在这套大数据预测模型中,我们从六百万商家过去5年的销售数据中挖掘有效的信息,预测双十一期间商家可能使用的快递公司和对应的发货仓库和城市;根据消费者的历史行为,挖掘预测消费者的双十一期间的收货地址;根据不同快递公司在双十一期间的参与度和能力,预测他们双十一的市场份额。最终,整合所有相关信息建立回归预测模型,我们能够在双十一的前3个月就以80%的准确率预测得到每家快递公司在全国每一条线路上的包裹量,真正帮助快递公司做到了兵马未动、粮草先行。


2 供应链入库计划

在双11的准备阶段,除了如何帮助快递公司做好数据预测,达到提前扩充运力、人员,如何协调数千商家的上亿商品有序入到数百计的仓库内,也一直是历届双11的头等难题。仓库爆仓、货物集中到仓导致的准备能力难以匹配需求、货物到达不能按时入库,诸如此类问题层出不穷。

2016菜鸟双11入库协同平台提前规划,通过搭建大数据预约平台,串联从预约到完成入库的整个执行流程中的信息,沉淀入库过程中商家、干线、承运商、司机、线路、车辆、货品体积等基础数据,以此根据运筹算法推演,双11备货期间的仓内实际库容及剩余库容、并结合实际资源准备及商家、货品分层,智能推荐预约入库方式,实现多样化统筹预约。最终实现了亿级货物的有序入仓,全程仓库无爆仓,商家无等待。

image


为了保障资源准备和商家预约需求的一致性,S&OP在入库端也发挥了极大的作用,系统结合大数据算法预测的出入库量、商家预约量,及历史实际出入库量信息,滚动分析双11前后仓内的预计出入库量,数据提前透传给仓、配、运输系统,多角色协同保障上下游链路的资源准备。

除此之外,菜鸟更进一步做到货物直接铺到离消费者最近,最大化提升消费者的物流体验。结合商家货品粒度的历史销量数据、社会化仓配网络体系、线路时效及成本数据,通过大数据的实时运筹仿真模拟系统,智能推荐最优的货品入仓方案,及仓内库存分布方案。数据直接透传给补货系统,保障货物直接补到离消费者最近的仓库。

打通入库链路的数据,通过选仓分仓推荐、大数据预约平台、S&OP,实现消费者需求、商家预约、仓配资源准备的供需匹配,保障货物有序的实现在仓内的最优分布,是菜鸟让数据发挥价值,实现社会化资源协同的又一利器。


3 订单预打包及库存下沉

每逢大促,消费者最关注的问题就是购买的包裹何时送达。除了在入库时让货物直接补到离消费者最近的仓库之外,技术在让货物离消费者更近一点的路上持续献策献力,真正做到“单未下,货先行”。

消费者最可能购买的货品有哪些,哪些货品最可能一起被购买,大促商品及商品组合销量预测,是菜鸟在大促前的必做事项。通过大数据分析和算法模型,结合仓库的商品库存分布、历史发货订单情况,消费者在交易网站的购物车以及收藏夹的数据,预测出商家在双11期间订单结构,仓内会提前对商品进行预包,并随时准备出库,到实际仓库生产作业时,由于进行了预打包,在生产工序将会节省大量时间。

image


而遍布全国的前置仓及下沉网点是菜鸟仓配网络的重要组成部分,销量预测数据计算后,自动调拨系统也随之启动,依据销量预测结果、各级仓配网络中的库存、缺货、周转、时效、成本等一系列因子,系统会自动给出调拨建议,装车建议,货物以集约化的方式提前下沉至前置仓或网点。

对于下沉可能出现的逆向情况,菜鸟也进行了提前预测,大数据算法下沉风控模型会依据消费者画像、货品画像、退款模型,综合给出退款概率评分,高风险订单不下沉,低风险订单下沉,做到时效和成本的最优平衡。

双11期间的包裹量往往是十倍甚至几十倍的增长,通过大数据算法预测、统筹,提前进行预包、调拨、下沉,可以充分利用双11前几天的黄金时间,极速提高包裹运转效率,提升消费者体验。


4 全球智能配送路由

考虑到2016年双11恰逢周五,大量订单将在周六日配送,由于核心区域的站点资源有限,再加上双11的单量一般是平时5倍以上,如不将采取有效措施,极有可能会造成末端配送网点过载引发拥堵。

此外,商业办公区域,周末一般很少签收,派送会导致投递资源的浪费,在发货阶段错峰延迟下发此类订单,减少周末高峰期配送压力,可节省因为无法签收带来的重复投递资源。

通过分析高德地理信息库以及日常菜鸟海量配送数据,基于用户的签收周期行为、公用地址的人群分布、POI构词结构等为特征,构建机器学习模型,准确率和办公地址召回率均达到95%以上。基于地址识别技术,菜鸟可以灵活的控制办公地址订单的仓库打包发货的时间,极大降低了“爆仓”的可能。

在国际物流方面,阿里巴巴Aliexpress出口业务和天猫国际进口业务,2016年双11的单量都是去年双11的一倍以上。在阿里巴巴跨境整体单量指数级增长的背后,如何能为每一个包裹选择适合的承运商和线路,让每个包裹的运输在成本、时效和服务上做到最优,是一件商业价值巨大又富有挑战事情。

跨境物流的特点在于距离远、链路长、角色多,这导致每单运费成本较大,物流成本在电商交易整体客单价中占比较大,为了实现优选目标,菜鸟从2015年开始思考如何通过技术手段解决路由问题,最终选择通过人工策略和大数据智能优选的架构方案。

人工策略通过动态规则引擎让运营同学可以根据自身运营经验定制路由策略,根据包裹自身属性做各类限制性过滤;大数据优选是基于历史包裹履行表现做机器学习,从成本、时效、服务质量三个维度为每一个包裹优选最佳履行线路,真正做到智能路由,人工策略和大数据优选大致技术方案如下:

image


全球智能路由平台GRC(Global Routing Center)上线以来对业务指标提升明显。在时效方面,通过这套智能路由平台,Aliexpress在3~4个月的时间内成功完成了俄罗斯Top20城市从25日达到15日达的时效提升目标,到欧洲和美国等国家的线路基本也都有20%左右的时效提升。成本方面,因为可以根据类目、重量和尺寸优选物流线路,为商家带来的运费节省在15%以上;服务方面,平台上线1年多之后,通过商家调研和DSR评审分析,菜鸟出口物流体验在中国出口电商平台中名列前茅。


5 电子面单的应用

面对日趋增长的商家发货量,传统的纸质面单录入及打印的效率低下,并且商家、快递公司、菜鸟间的信息也无法有效互通,不利于物流信息化及基于此的技术优化。在2014年,菜鸟推出了电子面单服务,将面单电子化,极大的提升了商家发货效率,并且承载了智能分单等基于大数据的帮助物流公司提升分拨中心、网点等作业效率。

image


菜鸟电子面单是菜鸟推出的一种在线运单生成、打印与管理的服务,系统能同时提供国内15家主流的快递公司、多家落地配公司以及众多的国际物流公司的面单服务,同时我们把菜鸟电子面单服务开放给所有的商家并完成300多家主流的ISV系统的接入。电子面单系统像一个一个HUB,通过这个HUB商家、菜鸟、物流公司三方系统实现了信息的互联互通。

基于菜鸟电子面单我们能够对商家提供统一的面单服务,商家或ISV只需要通过和菜鸟对接就具有同时使用诸多(完成和菜鸟对接的CP)物流公司电子面单服务的能力。

此外,我们和各大物流公司以一起制定了标准电子面单模板,极大的简化与规范了电子面单的模板格式,包括面单尺寸与面单内容格式,同时我们开发了菜鸟电子面单打印工具,制定并开放了菜鸟标准打印规范,确保通过菜鸟电子面单系统打印出来的面单格式统一。

通过电子面单我们可以承载众多的物流服务,助力物流公司,如目前广泛应用的二段码、三段码、在电子面单生成时通过菜鸟大数据智能分单系统实时计算出当前包裹对应的揽件网点、末端分拨中心、末端派件网点以及对应的派件小件员信息,实现面单生成时,包裹全生命周期的路由线路与节点信息全部规划与计算完毕,极大的提升快递操作效率。


6 智能分单服务

在过去的大促中,快递企业常有爆仓现象发生,2016年双11,面对破纪录的6.5亿件派送包裹,为何却很少看到各种爆仓的媒体报道呢?

包裹在送达消费者手中前,要在分拨中心和网点进行大规模的分拣操作。过去,分拣工通过面单上的地址凭记忆分拣。由于地址量巨大,分拣出错概率高,包裹分发质量难以保证;同时,分拣工需要经过半年的培训才能上岗,在双十一等大促活动,包裹量剧增的情况下,人工分拣会成为效率瓶颈,导致爆仓的各种现象发生。

为了解决该难题,菜鸟算法团队研发了在业内被称为“三段码”的基于大数据的智能分单系统。该系统能够在发货时精确地预测出派件网点和小件员编码,并将编码打印在面单上,指导后续的分拣操作。通过智能分单,分拣工人直接通过面单上的编码进行分拨,分拨准确率可以达到99.9%,极大提升分拨效率。同时不再依赖专业的分拣工人进行分拣,降低了企业营运成本。目前该系统已经接入国内主流的快递公司,每年可为行业节省成本6亿多元。

去年菜鸟推出的"二段码",帮助分拨中心进行快速分拣,产生了巨大的效应。菜鸟2016年双11在二段码的基础上,推出"三段码",将预测粒度推进到快递员,帮助网点快速分配包裹给快递员。

菜鸟可以精确的为每个订单分配最佳快递员,并同二段码一样,提前将快递员信息打印在面单上。到达末端网点时,快递员不再通过面单上的详细地址挑选出属于他派送的包裹,而是根据面单上打印的"三段码",进行快速分拣。

2016年双十一,三段码在帮助网点快速分拣、消化包裹上,扮演了极其重要的角色。临时分拣员不再需要繁琐的培训就能快速上手;熟练分拣员也不再需要细读每一个地址,靠人工记忆去分拣。三段码简化了分拣操作,提升了分拣效率,平均每单节省2.4秒。2016年双十一,包裹在网点的停留时间比去年足足减少一个小时,总计为小件员节省派件时间16万个小时。

基于电子面单和智能分单,主流快递公司2016年大规模启用自动化分拨设备,大幅提升了核心节点的效率。所以消费者才能不断感知双11包裹送的越来越快。

image


7 最后一公里的智能派送

物流末端揽派场景中,每个小件员的揽派范一般是多个小区、学校、工厂、产业园、写字楼等有自然边界范围的POI集合,将包裹按照小区、学校、工厂、产业园、写字楼等聚在一起,使得聚在一起的包裹实际行走距离约等于直线距离。

让聚在一起的包裹集中完成揽派,从而大大减少因频繁绕开天然障碍物(主干道、高架桥、河流、小区围墙、山等)而产生的多余路径,因此在物流末端场景中包裹聚合对快递员揽派效率提升明显。

现在,早上快递员满载包裹从网点出发,打开快递员APP,通过后台包裹聚合算法,告知小件员当前要派送的包裹在小区、学校、写字楼等维度的分布,便于快递员对每一个聚合后的包裹实现批量进行通知、签收、核对、查找小区空自提柜(自提柜聚合)等操作,大大提升快递员的派件任务处理效率,还可以依据聚合后的包裹实时计算出最优的派送路径。

将当天某个时段的预约包裹按照某一小区块(小区,校区,写字楼等)并在一起,构成并单簇,一起分配给同一个快递员,若某个单已被接单但未被揽收,其附近小范围(同一个小区、写字楼、学校等)内若有新订单,则新订单直接追到当前订单的小件员抢单列表里。

通过并单和追单实现包裹的批量揽收,降低快递员揽收包裹的成本,增加快递员的收入,双11期间追并单单量占总体揽收单量的40%。

快递员在派件过程中还可以顺道揽收包裹,在派送过程中,通过派件列表中包裹状态的变化结合快递员的实时位置,系统能判断出快递员当前在哪个小区派件,和接下来要去的隔壁小区,将当前或隔壁小区的寄件包裹直接分配给当前派件员,从而增加快递员的收入。


8 结语

每年的双11,巨大的包裹量,对于菜鸟都是一次冲击和洗礼,磨刀不误砍柴工,菜鸟也一直在各个领域各个环节都深入思考,探索通过数据技术来提升效率优化服务。前文提及到的供应链、订单调度、智能分单等,以及其他未提及到的优化实践,正是通过数据和技术的力量,再一次捍卫了菜鸟双11“丝般顺滑”的技术支撑,给消费者提供了“丝般顺滑”的物流体验。

原文链接

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
Kubernetes Cloud Native 中间件
双11技术播报特别篇-阿里云中间件双11项目负责人涯海专访
本期双11技术播报特别篇,我们邀请到了阿里云中间件团队的大队长涯海,他将给我们分享整个团队在双十一中遇到的好玩的事情以及一些技术突破。
4026 6
双11技术播报特别篇-阿里云中间件双11项目负责人涯海专访
|
新零售 新制造 双11
电商“双11”是斗地主,新零售“双11”是打双升
阿里巴巴CEO张勇曾回顾起2009年创办“双11”初衷:希望通过创造一个节日把消费者聚起来。如今“双11”已经变成全球现象,张勇以“共振”来描述“双11”,也把它比作是全球品牌的奥林匹克。
139 0
电商“双11”是斗地主,新零售“双11”是打双升
|
开发框架 移动开发 小程序
金融圈的“双在线”是什么?
金融圈的“双在线”是什么?
|
开发框架 移动开发 小程序
金融圈的“双在线”是什么?
金融圈出现了一个新的热词,叫做“双在线”。
696 0
金融圈的“双在线”是什么?
|
弹性计算 人工智能 Cloud Native
看尽双11黑科技,来这就够了
自09年11月11日起,11月11日就被赋予了全新的定义,阿里妹相信,于开发者,这背后的科科技全貌更为令人着迷,为此阿里云开发者社区运营组就主动请缨来啦!
看尽双11黑科技,来这就够了
|
人工智能 Cloud Native 算法
双11技术总指挥汤兴:今年双11是技术和商业的完美共振
“ 今年的双11是全球极大内容电商场的超级爆发,消费者、技术、内容与商业生态之间每一秒都在产生激烈共振,实时性、复杂性和持续峰值的叠加令其成为全球技术顶峰。我们的使命就是让技术成为双11坚如磐石的稳态,让消费者感受到更顺滑的体验。” 汤兴说。
26429 0
双11技术总指挥汤兴:今年双11是技术和商业的完美共振
|
供应链 机器人 双11
重大发布!今年天猫双11多三天,光棍节变双节棍,玩法亮点全在这里
挺品牌、挺商家、挺工厂、挺消费者,2020天猫双11注定不一样。
重大发布!今年天猫双11多三天,光棍节变双节棍,玩法亮点全在这里
|
双11
96秒100亿!哪些“黑科技”支撑全球最大流量洪峰?| 双11特别策划之二
每秒订单峰值54.4万笔!这项“不可思议”的挑战背后是众多阿里“黑科技”的支撑,究竟是哪些技术撑起了如此强大的流量洪峰?开发者社区双11特别策划带你揭秘——收纳阿里巴巴集团CTO张建锋精彩演讲,淘系技术、支付宝“不为人知”的黑科技,更有超燃阿里工程师纪录片《一心一役》等你发现!
21518 0
|
运维 监控 Kubernetes
【云栖号案例 | 新零售】三只松鼠2019年全平台双11用时19分23秒破亿的秘诀
大促服务节点负载压力大,难以快速补充资源!上云后资源限定优化,订单处理2527笔/分时效缩短36%,发现问题快速滚动迭代,整体感受快、稳、方便。
【云栖号案例 | 新零售】三只松鼠2019年全平台双11用时19分23秒破亿的秘诀
|
机器学习/深度学习 搜索推荐 算法
阿里搜索推荐系统又双叒叕升级了?!
搜索导购产品作为搜索的流量入口,承载了为用户导购推荐、搜索流量分流的重要功能。主要产品包括:首页底纹、下拉推荐、搜索发现、导航、历史搜索等。
16767 0
下一篇
无影云桌面