高德地图基于阿里云MaxCompute的最佳实践

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 云计算带来的变革不言而喻,作为一种新型的IT交付模式,切实为企业节省IT成本、加快IT与企业业务结合效率、提升创新能力、加强管理水平以及增强系统本身的可靠性等方面提供巨大支持,是企业实现新发展的重要途径,它已然成为全球IT产业的主流声音。
云计算带来的变革不言而喻,作为一种新型的IT交付模式,切实为企业节省IT成本、加快IT与企业业务结合效率、提升创新能力、加强管理水平以及增强系统本身的可靠性等方面提供巨大支持,是企业实现新发展的重要途径,它已然成为全球IT产业的主流声音。

为此,CSDN记者日前采访了国内最早一批提供地图API互联网服务商高德的高级运维专家曾伟,从运维的角度分享了高德上云的背后故事和带来的好处、云上架构、运维核心价值的变化等,最终实现了应用服务可用性上升到99.99%,同比提升了5倍,以及运维人员从原先的45人降到16人。他也表示,企业应当及时抓住云计算技术带来的新机遇,针对自身不足,实施相应的技术和业务变革,拥抱云计算,充分发挥云计算技术在企业管理中的作用,从而增强企业的竞争能力。

高德的IT化信息化之路

高德于2002年成立,这十几年的发展使得高德产品从简单的车载导航产品应用至整个互联网,目前提供的产品或服务主要有基础服务:定位、搜索、线路规划、导航、步行、公交;O2O:酒店、美食、景点等;车联网:AMAP AUTO车机版本、无人驾驶;高德大数据:实时路况,躲避拥堵等。


但是如今强大的产品或服务也经历了一个漫长的IT信息化成长过程,从运维角度的来说有以下几个阶段:
没有运维团队的浑沌阶段。2002 - 2007年是初级的IT阶段,数据生产的服务器由IT部门负责,IDC的服务器是研发人员负责,主要用于地图数据的生产,线上的地图只有一小部分;
开始建立运维团队,专业化运作。2007 - 2014年IT信息化主要分为IT和运维,IT则负责办公网的产品业务,包括办公电脑、打印机、办公流程的软件;而运维全面负责公司IDC机房、服务器、业务,运维整体还处于人肉时代,运维服务效率较低;
2014年7月 - 至今,云上的高德实现自动化运维。此阶段高德开始上云,运维逐步迈向自动化的时代,运维人员的故障处理能力、性能等进一步提升等。

高德的数据采集、加工、整合过程
从最初的数据采集、合成、地理等变化到今天的车辆定位系统,高德的数据加工与整合主要分为这几个阶段:
初级阶段:采集车安装摄像头和GPS、实景采集、邮寄视频光盘等原始的方式;而内部作业员再通过看录像、轨迹进行数据分析和数据制作,从而实现3个月一次的数据更新。在这一阶段是全手工模式,互联网化较低;
系统阶段:采集车开始使用采集系统软件,再在晚上通过网络回传,脱离光盘作业的形式;之后,通过完善的编辑工具、检查工具,实现了高的质量控制和快的流水线速度,从而进入到数据加工厂阶段;
平台化阶段:上线高精采集车采集全景、分米级高精轨迹,以及众包的形式进行社会化采集;内业工作平台化,数据流转任务流转平台化,而且全流程有监控,最终进入到流水线生产阶段;
自动化阶段:未来的采集将全面转向众包化,实现自动回传,而内业的自动化水平高度提升,通过影像识别、大数据分析、自动数据融合等技术提升自动化生产的水平,这也是高德当下努力的方向。

目前,高德主要有地图、导航两个App产品,以及PC地图,同时还开放了API服务,方便移动开发者更好地为用户提供高质量基于位置的服务。

运维之痛
在上云前,高德在运维方面经历了很多的痛苦,比如自建机房带来的运维之痛,高德之前有7个小机房零散分布在全国各个地方,但随着业务的快速增长自建小机房模式带来很多问题,包括IDC电力、空调、网络都很容易故障,也使得当时的运维达到40多人;同时也面临大量的运维需求,因为运维需要负责IDC、电力、网络、服务器、OS、数据库(MySQL、Redis、Oracle、Memcache、PG、MongoDB)、各种应用软件(Nginx、Apache)、开源工具(Jenkins、Puppet),大量的需求使得运维人员的经历分散,产生非常大的压力。另外,有时候因用户激增带来的大流量,加上原本吃紧的带宽等问题,甚至会造成重大活动/节日时的宕机。
  68a9c3577be2804b042278cdb1d9ea2c9d2d00dd
基于阿里云的最佳运维实践

曾伟表示,高德在运维方面经历的痛和负重在上云后都得到了根本性的改变,首先基于阿里云实现了统一基础设施的运维,让运维人员不再运维基础设施;同时,阿里云提供的各种云服务有负载均衡、弹性计算ECS、云数据库RDS、对象存储OSS、云数据库Redis版、大数据计算服务MaxCompute(原ODPS)等,运维人员只需要使用好这些服务就可以了,不需要去维护具体的组件。另外,高德经常有大型活动,用户访问量会在某个阶段激增,这时就需基于阿里云的弹性伸缩服务,就能实现快速扩展的基础设施。最后,运维人员只需要专注于业务的性能、架构、故障等核心价值即可。

但是,高德在刚开始上云时,对于熟悉传统数据中心的运维人员有可能不熟悉各种云服务组件,以及高德IDC和阿里云并网运行期间,日志实时传输延迟导致实时数据分析会出现延迟的情况。而通过阿里云提供的完善技术、及时的响应、培训支持,快速地解决了遇到的问题,最终运维人员可以很熟练的使用云服务。比如,在高德MySQL数据库转阿里云RDS的过程中,遇到了数据迁云的问题——数据格式、写的方式、导出/导入方式,最后利用阿里云强大的RDS直接通过中转区搭建了DTS系统,实现了跨网数据库迁移的无缝切换和数据一致性。另外,阿里云技术专家毛一鸣也介绍称,高德也用到了阿里自研的DRC产品(Data Replication Center),支持异构数据库实时同步,数据记录变更订阅服务,为跨域实时同步、实时增量分发、异地双活、分布式数据库等场景提供解决方案。

在迁到云上之后,高德地图的应用服务可用性上升到99.99%,比之前的7个小机房提供的服务可用性提升了5倍。另外,从以前的每次大型活动系统常崩溃,到国庆出行高峰的运维人员淡定、系统稳若磐石,充分体现了阿里云计算的稳定性。再者,以前高德的新应用上线和扩容,至少得提前2个月开始采购服务器、上架、装机、人肉扩容、发布,上阿里云之后,弹性扩缩容基本上在20分钟内就完成,新应用上线10到20分钟内就可以完成资源申请到应用发布上线。
  8578a56b5561ce5aad30533f031649f9e5cca5e8

如今,高德所有核心业务系统已经全部放在云上,由阿里云提供计算服务。在具体的运维人员事情方面,他们不用再运维基础设施——IDC、网络、服务器等;各种数据库、缓存、负载均衡、发布工具都不用自己去维护,使用阿里云的服务即可;异地容灾只需要申请不同地域的云服务就好了,不需要自己去建设机房。安全面方面,阿里云提供了很多服务,比如防攻击(DDos)、流量清洗、防病毒、防欺诈、代码扫描等;毛一鸣总结阿里云为高德提供的服务大概有这几方面,首先是IaaS (Infrastructure-as-a-Service,基础设施即服务):包含多地机房,网络,巡检等;其次是PaaS(Platform-as-a-Service,平台即服务):高德使用到的云产品包含弹性计算ECS、云数据库RDS、对象存储OSS、负载均衡、内容分发网络(CDN)、大数据计算服务MaxCompute(原ODPS)等;最后是SaaS(Software-as-a-Service,软件即服务):高德自身的系统提供的服务(如上图所示)。

整体来说,对于高德运维变化最大的就是运维模式的变化,从原来的IDC到网络到数据库等基础服务都要自己维护,变化为使用阿里云的各种云服务,运维人员可以专注于架构、故障、性能等核心能力上,员工的成就感得到了很大的提升,同时运维人员从原先的45个降到16个。也就是说,全面云化后,是运维核心价值的转变和变革。

最后,曾伟也介绍说,高德除了常规导航服务,在上云后,利用阿里云“数加”平台强大的计算处理能力,比如阿里云的大数据计算服务MaxCompute(原ODPS)、流计算StreamCompute等服务,高德可以做出行线路选择、拥堵大数据、躲避拥堵、城市热点分布、景区推荐、商圈热度,主要是根据用户的定位数据,进行实时的数据挖掘,从而跑出预测模型,实时得到现对用户有用的结果。

如果预测某天下午四点的路况,就是先拿到历史数据,每天训练做一个离线的历史回归、预测模型,再加上当天的出行、天气、节假日、突发情况等实时信息,再对线上模型进行调整优化,从而达到最优的预测。而在面对未来的智能交通和车联网,高德基于车联网推出了AMAP AUTO车机版本,解决了传统车载系统的数据更新慢、用户体验差、实时路况缺失、不够智能化的问题,长期来说无人驾驶也是一个非常重要的方向,但在车联网的背后,也是高德充分利用了云计算大数据的能力。

转自 薯条酱

 华北2(北京)Region MaxCompute购买地址:https://common-buy.aliyun.com/?commodityCode=odpsplus#/buy


欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

IMG_3471

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
7天前
|
SQL DataWorks 数据可视化
阿里云DataWorks评测:大数据开发治理平台的卓越表现
阿里云DataWorks是一款集数据集成、开发、分析与管理于一体的大数据平台,支持多种数据源无缝整合,提供可视化ETL工具和灵活的任务调度机制。其内置的安全体系和丰富的插件生态,确保了数据处理的高效性和安全性。通过实际测试,DataWorks展现了强大的计算能力和稳定性,适用于中小企业快速搭建稳定高效的BI系统。未来,DataWorks将继续优化功能,降低使用门槛,并推出更多灵活的定价方案,助力企业实现数据价值最大化。
|
7天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
34 2
|
7天前
|
存储 分布式计算 安全
MaxCompute Bloomfilter index 在蚂蚁安全溯源场景大规模点查询的最佳实践
MaxCompute 在11月最新版本中全新上线了 Bloomfilter index 能力,针对大规模数据点查场景,支持更细粒度的数据裁剪,减少查询过程中不必要的数据扫描,从而提高整体的查询效率和性能。
|
1月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据生态圈体系
阿里云大数据计算服务MaxCompute(原ODPS)提供大规模数据存储与计算,支持离线批处理。针对实时计算需求,阿里云推出Flink版。此外,阿里云还提供数据存储服务如OSS、Table Store、RDS和DRDS,以及数据分析平台DataWorks、Quick BI和机器学习平台PAI,构建全面的大数据生态系统。
73 18
|
2天前
|
SQL 存储 分布式计算
阿里云 Paimon + MaxCompute 极速体验
Paimon 和 MaxCompute 的对接经历了长期优化,解决了以往性能不足的问题。通过半年紧密合作,双方团队专门提升了 Paimon 在 MaxCompute 上的读写性能。主要改进包括:采用 Arrow 接口减少数据转换开销,内置 Paimon SDK 提升启动速度,实现原生读写能力,减少中间拷贝与转换,显著降低 CPU 开销与延迟。经过双十一实战验证,Paimon 表的读写速度已接近 MaxCompute 内表,远超传统外表。欢迎体验!
|
7天前
|
分布式计算 DataWorks 搜索推荐
DataWorks产品评测:大数据开发治理平台的最佳实践与体验
DataWorks是阿里云推出的一款大数据开发治理平台,集成了多种大数据引擎,支持数据集成、开发、分析和任务调度。本文通过用户画像分析的最佳实践,评测了DataWorks的功能和使用体验,并提出了优化建议。通过实践,DataWorks在数据整合、清洗及可视化方面表现出色,适合企业高效管理和分析数据。
55 0
|
1月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
1月前
|
数据采集 分布式计算 OLAP
最佳实践:AnalyticDB在企业级大数据分析中的应用案例
【10月更文挑战第22天】在数字化转型的大潮中,企业对数据的依赖程度越来越高。如何高效地处理和分析海量数据,从中提取有价值的洞察,成为企业竞争力的关键。作为阿里云推出的一款实时OLAP数据库服务,AnalyticDB(ADB)凭借其强大的数据处理能力和亚秒级的查询响应时间,已经在多个行业和业务场景中得到了广泛应用。本文将从个人的角度出发,分享多个成功案例,展示AnalyticDB如何助力企业在广告投放效果分析、用户行为追踪、财务报表生成等领域实现高效的数据处理与洞察发现。
69 0
|
3月前
|
SQL 人工智能 大数据
首个大数据批流融合国家标准正式发布,阿里云为牵头起草单位!
近日,国家市场监督管理总局、国家标准化管理委员会正式发布大数据领域首个批流融合国家标准 GB/T 44216-2024《信息技术 大数据 批流融合计算技术要求》,该标准由阿里云牵头起草,并将于2025年2月1日起正式实施。
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
348 7

相关产品

  • 云原生大数据计算服务 MaxCompute