开发者社区> 隐林> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

【物流大数据实践】基于阿里云Maxcompute实现物流跟踪

简介: 摘要: 目前我国物流业保持较快增长,但还是存在一些问题:物流成本高、效率低,条块分割严重(自营物流、规模小、技术落后、标准不统一)、基础设施相对滞后(物流基础设施之间不衔接、不配套),对订单创建到用户签收整套完整流程缺乏完善的监控和预警手段.
+关注继续查看

免费开通大数据服务:https://www.aliyun.com/product/odps

摘要:

目前我国物流业保持较快增长,但还是存在一些问题:物流成本高、效率低,条块分割严重(自营物流、规模小、技术落后、标准不统一)、基础设施相对滞后(物流基础设施之间不衔接、不配套),对订单创建到用户签收整套完整流程缺乏完善的监控和预警手段.



基于建设统一物流平台的基本要求,用户希望打通各大系统,能够跟踪所有订单在物流系统中的流转过程、处理状态等信息,具体如下需求:

1:订单分为5个阶段,订单处理、发运处理、拣货出库、配送和签收

2:每个阶段的状态判定:未处理、一般报警、严重报警、完成

3:超期天数:需要判定基于订单、装运单的超期天数

4:进度:当前阶段的进度百分比                        

ff43993009168414dae85d08e5d422a1566c314d


由上图我们能够分析得出此需求可能涉及多个系统的数据整合,其中订单来源于ERP系统,发运处理和拣货出库数据来源SAP系统,而配送签收就需要使用到GPS等外部系统数据。实际场景中订单、交货单、运单分别来自不同的数据库,所以整体工作项包括:

1、首先要进行数据的整合上云  

2、利用阿里云大数据计算服务进行数据处理和预警判定产生预警结果

3、将预警结果同步到本地预警数据库中

4、本地搭建订单预警应用使用预警数据库进行可视化展示


bf79d4076f25501bf8ee3bbc2eae29178978c056



bee5940d79a10ac8b919e434b3d164952ab834a7

技术架构

218c255b16900c62f0dd4529ce292c0b742052e6

主要处理流程:

bb3ff62f42df8a963e958dcc4f84ad3535614939


开发环境:windows7、Python、Data IDE

工具:DataX、Data IDE、Eclipse



【正文】
一、数据同步上云

安装Python环境>下载datax客户端>创建项目>创建表>编写json配置文件>同步数据到odps       

Python地址:https://www.python.org/downloads/

Datax地址:http://datax-opensource.oss-cn- hangzhou.aliyuncs.com/datax.tar.gz"


1基于阿里云大数据平台创建数据同步表

1.1.首先您需要阿里云账号并已开通大数据计算服务,如果您已开通大数据计算服务,则直接进入控制台点击“大数据开发套件”进入Data IDE环境。

1.2.点击管理控制台,进入管理控制台页面,点击创建项目,新建MaxCompter项目

c7659b6722ea1500c5854de7696ec8428003fbb6

1.3.点击进入工作区,进入到odps工作空间,工具栏点击【新建】,选择新建表

f9551dce87e8a0c212d26ab49ae9b055a4acffd6

对应本地数据订单抬头表,将需要进行数据处理的字段提出来,新建表sql如下

45b629af8b05362750d75b1cda6d76d49ebcc942



注:登录阿里云市场点击【我的头像】点击【管理控制台】下的【大数据开发套件】,进入项目管理找到自己新建的项目点击【进入工作区】,在IDE工作环境中标题栏中选择【数据管理】。在左边标题栏下点击【数据表管理】,加载出数据管理页面。找到我【管理的表】,点击查看                        

103fb092f9a67a7d7705a1712e9ea96e259b64cc

以上就完成了Maxcompute建立项目和建表的工作内容。


2、配置DataX数据同步配置文件

  首先需要下载的dataxdatax 是不同类型的数据库中间交换数据的工具

6f2da4d8f7e534095cae8201d77f9865372aab30

5b4ba90fe2c86070e23efb082f278d6c618fa045



以上配置:MysqlReader通过JDBC连接器连接到远程的Mysql数据库,并根据用户配置的信息生成查询SELECT SQL语句,然后发送到远程Mysql数据库,并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集,并传递给下游Writer处理。odpsWriter 通过 DataX 框架获取 Reader 生成的协议数据,根据你配置的 writeMode 生成。

打开cmd.exe命令行窗口  输入datax文件地址我的是:D:\programFiles\file2\datax\bin
执行命令 datax.py   ..\job\t_oc_hostorderline.json. 

3bbb1011351734f0b065228f42f68b7ef72fbdd6

执行成功

c5808e8c756dc7e49443abb60c41c9f3dca69dc7

注:datax window下乱码异常解决方式

打开cmd.exe命令行窗口,通过chcp命令改变代码页为65001

chcp 65001
在命令行标题栏上点击右键,选择“属性”->“字体,将字体修改为True Type字体“Lucida Console”,然后点击确定将属性应用到当前窗口


3、查看云上表数据

    登录阿里云市场点击【我的头像】点击【管理控制台】下的【大数据开发套件】,进入项目管理,找到自己新建的项目点击【进入工作区】,在IDE工作环境中标题栏中选择【数据管理】。在左边标题栏下点击【数据表管理】,加载出数据管理页面。找到我【管理的表】,点击查看

290b38693d0f62008af56b435413e24efcfca97b

双击【t_oc_hostorderline】进入表的详情页面在表的详情页面点击【数据预览】。下面出现本地数据,说明数据本地同步到odps成功

5690b0f7e8b1aba3807f94617b2111d44f805da7


二、数据处理、预警判定、结果集输出

   我们使用阿里云Data IDE流程组件中的ODPS_SQL节点来进行数据处理(包括数据集合并、单位统一、数据空值补全等),然后基于阿里云标准开发自定义的MR来进行预警判定,最后将预警结果写入到结果表中,具体操作步骤如下:


1.建立任务

登录阿里云市场点击【我的头像】点击【管理控制台】下的【大数据开发套件】,进入项目管理找到自己新建的项目点击【进入工作区】,在工具栏点击【新建】,选择新建

选择工作流任务,周期调度

534d7a934c0e2fd0e4b2aa3930c32686442b1ca3

2.获取订单信息,交货单信息,运单信息,根据订单号组装成预警判定所需要的订单预警对象,根据订单号分组组装成完整的预警数据对象cb42fb119cec886915a8faf9783e1d8b8fc71a5a

3.选择节点组件的虚节拖拽连接完整的处理流程

29152fa2297bc7ac7a19a595ad956880831abed5


ODPS_SQL节点,以SQL语句来进行多表数据的合并、空数据补全、单位统一等处理

OPEN MR节点,使用JAVA语言开发的自定义预警MapReduce程序(打包为jar上传到平台使用)


feefc3731d49f4091dcbf4411555327b441c16ed

de8154cb44fcd19e5ae9bdc76d39e0f2632a4511

    以上流程开发完毕后即可点击"测试"按钮,测试运行整个流程任务,也可设置任务为周期任务设置任务定时启动的时间,这样任务就可以按照设定周期性的定时执行。

    

    以上流程中,在ODPS SQL进行数据处理之后,结果作为MapReduce输入表,以订单号作为key,订单预警对象作为value,分发给不同的Reduce进行规制判定,将满足预警条件的结果写入MaxCompute结果表【orderalarm_result】中

431fae9cef2e614ec5ea84336d2c495926b13b5f


三、计算结果同步到本地

   通过以上流程任务的运行,已经产生了我们需要的预警结果数据,但用户不希望将预警结果数据放在云端使用,用户想将结果数据能够放在本地MySQL或其它数据库中,基于本地搭建预警应用使用本地数据库中的数据进行可视化展示

    基于以上用户需求,我们只基于云平台产生了预警结果数据,接下来我们还需要将云端的数据同步到本地。

  (我们使用DataX工具设置job任务将大数据平台结果表中的数据同步到本地预警平台数据库的预警结果表中)

1新建配置文件 

 t_oc_hostorderline2.json,job文件内容如下


1ce311751547e127468747f1b950fe8cebb0ccd8

打开cmd.exe命令行窗口  输入datax文件地址我的是:D:\programFiles\file2\datax\bin
执行命令 datax.py   ..\job\result.json. 

5941e09d4611e5597b74f30738a85763a12c0b4f



3查看本地数据库

507a846843f499787cb17fb5ec2c6a8cfd9a555f

四、可视化展示

    将云上预警结果数据同步到本地数据库以后,用户即可基于本地环境搭建预警应用,使用本地数据库中的数据来进行可视化展示。


1建立ssm项目添加订单预警

626a33531f36e4a26fda34384079f1439fc49014

2、展示页面

5b0598b392f82ff2d857eadfad09289d2ad1d1a5


以上基于阿里云MaxCompute平台通过:数据上云、大数据计算、云上数据同步到本地、本地可视化展示  四大步来讲解如何实现物流订单的预警与跟踪。


其主要用到的工具包括:DataX(数据同步/集成工具)、Data IDE(大数据开发套件)、Eclips(Java、MapReduce开发)。



-END-


转自蓝智云海公众号


相关文章

https://yq.aliyun.com/articles/72250

https://yq.aliyun.com/articles/70510

https://yq.aliyun.com/articles/70509

https://yq.aliyun.com/articles/69333

https://yq.aliyun.com/articles/68211

https://yq.aliyun.com/articles/67275

https://yq.aliyun.com/articles/70359

https://yq.aliyun.com/articles/70353

https://yq.aliyun.com/articles/70412

https://yq.aliyun.com/articles/70347

bba01b493e1c5d904e882b1c380673c6ebe49a98

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
基于阿里云大数据平台开发大数据应用(一):精挑细选,选定MaxCompute
本文是基于阿里云大数据平台开发大数据应用系列文章的第一部分,主要谈谈为什么在进行技术调研以后,选定阿里云MaxCompute作为大数据项目开发的平台。
253 0
基于MaxCompute的媒体大数据开放平台建设
随着自媒体的发展,传统媒体面临着巨大的压力和挑战,新华智云运用大数据和人工智能技术,致力于为媒体行业赋能。通过媒体大数据开放平台,将媒体行业全网数据汇总起来,借助平台数据处理能力和算法能力,将有价值数据内容和能力开放给用户。本文主要从新华智云数芯平台,媒体行业数据特征,批流处理数据架构,以及通用的媒体大数据平台能力等几个方面介绍了如何基于MaxCompute做媒体大数据开放平台建设。
1856 0
解决世界级大数据难题,阿里云自研MaxCompute再获科技大奖
5月14日,浙江省科学技术奖励大会正式召开,阿里云自研大数据计算平台MaxCompute荣获浙江省科技进步一等奖。
1687 0
高德地图基于阿里云MaxCompute的最佳实践
云计算带来的变革不言而喻,作为一种新型的IT交付模式,切实为企业节省IT成本、加快IT与企业业务结合效率、提升创新能力、加强管理水平以及增强系统本身的可靠性等方面提供巨大支持,是企业实现新发展的重要途径,它已然成为全球IT产业的主流声音。
8021 0
阿里云在美推出MaxCompute大数据计算平台
2017年11月16日,阿里巴巴集团旗下云计算平台阿里云,宣布在美推出MaxCompute大数据计算平台。正式向美国企业提供大数据计算服务。
3221 0
阿里云大数据利器之-RDS迁移到Maxcompute实现自动分区
当前,很多用户的业务数据存放在传统关系型数据库上,例如阿里云的RDS,做业务读写操作。当数据量非常大的时候,此时传系关系型数据库会显得有些吃力,那么会经常有将mysql数据库的数据迁移到[大数据处理平台-大数据计算服务(Maxcompute,原ODPS)(https://www.aliyun.com/product/odps?spm=5176.doc27800.765261.309.dcjpg2),利用其强大的存储和计算能力进行各种查询计算,结果再回流到RDS。
5842 0
阿里云MaxCompute(大数据)公开数据集---带你玩转人工智能
目前阿里云大数据产品已经免费向全部用户开放了多种公用数据集。开放的数据类别包括:股票价格数据,房产信息,影视及其票房数据。
22127 0
阿里云大数据MaxCompute计算资源分布以及LogView分析优化
MaxCompute(原ODPS)的概念 海量数据处理平台,服务于批量结构化数据的存储和计算,提供海量数据仓库的解决方案以及针对大数据的分析建模服务.(官方文档有这里就不多做介绍了)官方文档链接 优势 用户不必关心分布式计算细节,从而达到分析大数据的目的。
5997 0
深入阿里云大数据IDE–MaxCompute Studio
在云栖社区主办的云栖计算之旅第5期–大数据与人工智能分享中,阿里云计算平台高级专家薛明为大家深入地介绍了阿里云大数据IDE–MaxCompute Studio,并对于其特性和背后的技术思想进行了讲解。
9059 0
一分钟了解阿里云产品:大数据计算服务MaxCompute概述
  阿里云发布了许多产品,今天让我们来了解下大数据计算服务MaxCompute这款产品吧。     什么是MaxCompute呢?   MaxCompute是由阿里云自主研发,是阿里巴巴自主研发的海量数据处理平台。提供针对TB/PB级数据、实时性要
17374 0
+关注
隐林
阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
288
文章
38
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
相关文档: MaxCompute
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载