oTMS携手阿里云:互联互通运输管理软件背后的大数据升级

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: oTMS将货运环节中的制造商、承运商、司机和收货方链接在同一平台,互联互通轻松管理运输。oTMS已使用ECS、分析型数据库,并且已将全平台迁移至阿里云,更好地为客户提供优质的服务。

作者:阿里云MVP潘永刚

oTMS核心oneTMS系统是国内领先的运输管理云系统,将货运环节中的制造商、承运商、司机和收货方链接在同一平台,互联互通轻松管理运输。在2013年系统上线之初,行业内云生态圈并不是十分完善。因此,最初的架构采用自建机房的传统开发方式,托管机房内服务器最多至300多台;在数据库方面,采用Postgresql、Redis、Cassandra等主流数据库。

2015年,接触阿里云之后,oTMS逐渐采用阿里云的产品,从技术上不断优化系统。最开始是接触公测的ECS,用于简易的灾难恢复的数据备份。现在oTMS已使用ECS、分析型数据库,并且已将全平台迁移至阿里云,更好地为客户提供优质的服务。

更强服务器资源 满足日益增长的客户需求

image

随着上线后越来越多的客户选择使用oTMS来管理日常运输,不断增加的客户量要求oTMS扩容服务器资源,但限于托管机房资源限制,无法满足系统资源预期,oTMS于2018年初决定将主要系统逐步迁移至阿里云。

至今,oTMS系统已成功完成了迁移,ECS总量已高达500多台,包括订单管理系统、订单搜索引擎、价格文件管理系统、用户管理系统、招标系统、地理位置系统、日志管理系统、公共API网关、整个平台的监控报警。

完整的灾备方案

过去的异地灾备方案,我们需在另外一个机房准备大量资源但这些基础设施资源大部分时间处于闲置状态。迁移至阿里云后,我们通过阿里云自带的ECS管理接口,快速地建立同等规模的服务器环境,很大程度上节省系统的运维成本。得益于阿里云提供的服务,现在oTMS的异地灾难方案可以实现RPO/RTO小于2小时。

大数据支持供应链加成


image

数据智能


oTMS重建了标准的BI报表功能。基于Postgresql 的日志时间推送以及kafka的实时流处理功能,并结合阿里云的HybridDb,快速地搭建了基于大数据的平台,更好地为客户提供精准的数据分析/业务监控/KPI指标。

基础层面,oneTMS免费提供标准BI数据报表,其中包含订单状态、货量分布查询、承运商绩效达成管理、异常(丢失、破损、货损货差等)订单管理、从订单、承运商角度分析物流费用、追踪承运商的系统操作及时率等维度数据,为客户提供数据分析依据。
image

更进一步,oneTMS 还与全球知名的、Gartner魔力象限推荐的 BI 供应商QlikView合作,为客户提供高度定制化的数据分析。我们的数据分析师可针对客户的特定需求独家定制报告。
最后,对于已经有数据智能工具的大型企业用户,也可直接通过 oTMS 强大的 API 数据接口将 oneTMS 数据直接导入其自有平台。

智慧动态运输网络(SDTN)

随着企业商流端的快速变化,企业的物流管理模式也在迅速变化,之前是根据相对静态的业务逻辑,进行订单-物流公司-价格的匹配计算以及整个物流过程的管理,而现在企业的物流需求越来越趋向于动态化,同一批商品,在多个甚至数十个发货地点,几千个收货地点的场景下,可发货时间是变量,到货时间固定的场景下,高频次、小批量,什么才是最优的运输选择组合?传统的静态运输模式下,可以操作,但是很难知道是不是最优方案。针对越来越多这种动态化场景,oTMS基于大数据平台的搭建和数据的积累,和客户共同开发SDTN的算法引擎,客户可以选择场景,自动代入历史订单、运输公司组合、成本、服务水平的数据进行分析,再结合客户自行设置的目标组合,从而计算给出客户更优化的运输方式组合供客户进行选择,实现运输降本并提升效能的建议。

更多精彩内容请见:
MVP一周精选:我做开发者的那十年

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
14天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
|
16天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
1月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
176 1
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
1月前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
2月前
|
人工智能 分布式计算 DataWorks
连续四年!阿里云领跑中国公有云大数据平台
近日,国际数据公司(IDC)发布《中国大数据平台市场份额,2023:数智融合时代的真正到来》报告——2023年中国大数据平台公有云服务市场规模达72.2亿元人民币,其中阿里巴巴市场份额保持领先,占比达40.2%,连续四年排名第一。
200 12
|
2月前
|
人工智能 Cloud Native 数据管理
重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
阿里云发布首个AI多模数据管理平台DMS,助力业务决策提效10倍
323 17
|
2月前
|
SQL 人工智能 大数据
阿里云牵头起草!首个大数据批流融合国家标准发布
近日,国家市场监督管理总局、国家标准化管理委员会正式发布大数据领域首个批流融合国家标准GB/T 44216-2024《信息技术 大数据 批流融合计算技术要求》,该标准由阿里云牵头起草,并将于2025年2月1日起正式实施。
85 7
|
2月前
|
SQL 人工智能 大数据
首个大数据批流融合国家标准正式发布,阿里云为牵头起草单位!
近日,国家市场监督管理总局、国家标准化管理委员会正式发布大数据领域首个批流融合国家标准 GB/T 44216-2024《信息技术 大数据 批流融合计算技术要求》,该标准由阿里云牵头起草,并将于2025年2月1日起正式实施。
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势