Serverless理念的弄潮儿—— 阿里云数加平台助力大数据普惠

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 阿里云坚持将计算能力变成像水电煤一样的公共服务,提供给大众,而非卖服务器,这跟Serverless 架构理念一致。在本文中,班输从数据平台简介、大数据应用特点、数加平台Serverless架构解析和典型案例四部分讲述了数据平台如何利用Serverless 的架构来降低大数据应用的门槛,实现数据普惠。

免费开通大数据服务:https://www.aliyun.com/product/odps

阿里云坚持将计算能力变成像水电煤一样的公共服务,提供给大众,而非单单而不是卖服务器给客户,这跟今日流行的Serverless 架构理念是一致的。Serverless 理念在数加平台得到了很好的体现,数加平台今天已经可以提供很多业务场景化的计算服务,比如推荐引擎,规则引擎,以及各种人工智能的服务,助力企业在DT时代更敏捷、更智能、更具洞察力。在本文中,班输从数据平台简介、大数据应用特点、数加平台Serverless架构解析和典型案例四部分讲述了数据平台如何利用Serverless 的架构来降低大数据应用的门槛,实现数据普惠。

以下内容根据分享视频和PPT整理。


数加平台简介

ab29854ca8795c7ac40a99d63c01221dc2243bab

数加是阿里云大数据的品牌名,旗下包含一系列的大数据产品及服务,其目的是为大众提供一站式数据开发、分析、应用平台。开发者使用数加平台可以快速构建数据支撑的应用。数加平台的产品具体分为两大部分:基础平台和数据应用。前者包括大数据产品主要有数据开发、机器学习、大数据计算、分析型数据库、流计算等;后者主要包括推荐引擎、人脸识别、数据可视化DataV等应用。

在数加平台,各种计算服务开箱即用,用户不必关心大数据集群的搭建、配置和运维工作,仅需简单的几步操作,用户就可以在数加平台中上传数据、分析数据并得到分析结果。用户不必关心数据规模增长带来的存储困难、运算时间延长等烦恼,数加平台根据用户的数据规模自动扩展大数据集群的存储和计算能力,使用户专心于数据分析和挖掘,最大化发挥数据的价值。

大数据应用的特点

大数据的价值需要借助一些具体的应用模式和场景才能得到集中体现。相比于传统应用,大数据应用具有以下特点:

  1. 流程长,业务逻辑复杂:从数据的采集、存储、分析、挖掘到最终提供数据服务,需要把多种数据源融合入,关联分析,复杂度大大增加。
  2. 场景多样化,不确定性强:大数据相关的应用要产生价值,需要和业务紧密结合。现实中很多场景都具有探索性质,并且要随着业务变化和反馈持续地调整,灵活性要求很高。
  3. 技术门槛高:在大数据应用中存在多种技术引擎,如离线、在线、流式引擎,以及多种计算模型,如SQL、MR、机器学习,很多场景下需要这些工具组合使用。

上述特点使得从头搭建一个完成的大数据应用平台的难度成倍增加,大型公司内需要专门的团队应对开发、维护等工作;对于小型公司几乎是不可能完成的任务。那么如何把企业内有限的数据科学家从基础设施构建和运维的复杂性中解放出来呢?数加平台给出的答案是:Serverless架构。Serverless架构以服务的形式来提供计算能力而不是以服务器形式,让开发者在构建应用的过程中不用过多考虑基础设施的问题。这个理念在数加平台中得到了很好的体现。

数加平台Serverless架构解析

05eaaf1ec21f599eb7a1f4c3df7b63341abfafe6

如上图所示,数加平台的输入是大量的数据,然后将数据进行融合,通过特定的计算或算法将其变成对业务有价值的服务,输出给用户;数加平台从底层将整个数据应用链路打通,提供了从数据采集、存储、处理等模块;用户需要做的就是开发、配置业务相关的处理逻辑、业务规则和确定所需算法;此外,数据平台还提供了服务的编排、管理、运维等功能,真正地将开发者从底层技术实现和运维管理以及资源调度方面解放出来,将精力集中于数据价值实现上,完美地诠释了Serverless的架构理念。

下面以数加平台最重要的大数据产品MaxCompute 为例,深入讲解。

 

 

1ab0d91bf646dfe7bd5a1763e02711d87f18ba9c

MaxCompute的服务化架构图如上所示,它提供的是大数据计算能力,而不是计算的工具或环境;它向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,并保障数据安全;MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务,其上的全部能力均已通过API的形式对外提供,当数据需要存储、处理时,仅需调用相应的API即可得到目标结果,也就是说用户可以不必关心分布式计算细节,从而达到分析大数据的目的。

目前,数加平台已经在企业界得到了大规模应用:

  •  物联网大数据应用:通过组合使用数加平台提供的Datahub、StreamCompute、MaxCompute、DataV等服务实现物联网数据的分析应用;
  •  预测即服务:组合使用数加平台提供的MaxCompute、机器学习、在线预测等服务实现孩子成绩的预测;
  •  个性化推荐:使用数加平台的推荐引擎快速搭建个性化推荐系统。

典型场景实践分享

接下来,将结合几个具体的应用案例讲解数加平台在各方面的实践经验。

物联网案例:智慧水务

693cda47f503ffff53b7c2815f1c128e32d9af73

通过IoT 设备对水务设备的流量、水压等数据进行实时采集和监控,再通过简单的配置将数据实时对接到大数据平台的DataHub,通过监控大屏进行实时控制。

42cb15655e8339b443d1573991e39f638bfad79d

上图是通用的物联网大数据应用参考架构。最前端是数据采集模块,然后进行数据存储,通过某些算法、模型发掘数据中的价值,最后变成有效的应用,如:

  •  可视化的展示,将水务整体的运行状态展示出来;
  •  故障预测,通过已有数据的分析,提前对可能发生故障的管道进行预测,提前维护。

在物联网应用场景中,通过数加平台提供的离线存储和计算、流式计算、机器学习模型训练、数据可视化等等大数据服务,有效地解放了使用者,他们只需关注流式计算SQL的开发、业务规则的配置以及偏好业务算法的参数配置,而无需关心底层的平台搭建、不同引擎之间的数据流转等问题,大大提升了开发效率。

个性化推荐案例

 

47610029397aee6cb836e9ca764590e3828290c9

个性化推荐是目前非常通用的大数据场景,所谓的个性化推荐是指对根据不同的用户喜好,定性地进行产品的推送。在这个过程中,需要对用户和产品的特征进行准确地把握。

82e6d283d66d0fc303e9f1f2d009704635ea17e6

利用数据平台提供的服务,可以快速地实现个性化推荐,具体配置包括以下五步:

  1. 添加资源,个性化推荐会涉及到离线模型训练、在线模型修正,以及Key-Value存储、MaxCompute计算等服务,所谓添加资源就是将这些服务添加进来;
  2. 添加业务、配置数据,即将多维度用户和产品的数据添加到个性化推荐引擎中;
  3. 配置推荐场景算法,在数加平台中一些常见的算法也是以服务形态提供的,使用者需要根据不同的应用场景选择合适的算法。
  4. API对接,上述配置完成后,再进行API对接。
  5. 查看效果报表,形成大数据应用的闭环,通过反馈修正算法和模型。

2f64a04e56471d8e3736d7696392d16137494e0a

上图是推荐引擎的通用系统架构,中间部分是组合离线计算、在线计算、AB Test等服务的推荐引擎;左侧是用户需要完成的工作,包括早期数据的配置以及最终通过推荐API将结果集成到应用中;右侧是监控以及在线数据存储部分。在推荐引擎中,用户可以通过场景管理配置推荐方法(推荐场景是指客户的APP中使用推荐功能的模块名称),场景隶属于业务,使用到的数据就是业务中配置的数据;同时场景中包含一个或多个算法流程(每一个算法流程都代表一种推荐物品的逻辑,由多个算法拼装组成),支持AB Test;此外,推荐系统还提供可视化编辑算法、支持同一个推荐位同时测试多种推荐算法以及多种算法模版供客户选择。

系统之间的对接通过API方式实现,其中API又分为日志API、推荐API、算法任务API三类:

  •  日志API用于接收业务采集的数据,以行为类数据为主;
  •  推荐API提供推荐的物品列表,用于在业务系统中展示给消费者进行推荐;
  •  算法任务API用于启动离线计算流程的算法任务、查看任务状态等。

总结

自始至终,阿里云从一开始就坚持将计算能力变成像水电煤一样的公共服务,提供给大众,而非单单而不是卖服务器给客户,这跟今日流行的Serverless 架构理念是一致的。

Serverless 理念在数加平台得到了很好的体现,数加平台今天已经可以提供很多业务场景化的计算服务,比如推荐引擎,规则引擎,以及各种人工智能的服务,用户可以实现进行各种数据采集、数据加工、BI商业智能、人工智能和数据创新等操作;此外,通过数加平台的数据市场相关API,开发者可以按需以服务的方式调用所需的第三方数据(如获取各种交通数据、气象数据、海洋数据、水利数据等),并结合自有数据实现大数据分析和应用,以得到数据价值的最大化。阿里云数加平台作为大数据Serverless的典范,将助力企业在DT时代更敏捷、更智能、更具洞察力。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
119 1
|
3月前
|
人工智能 自然语言处理 Serverless
阿里云函数计算 x NVIDIA 加速企业 AI 应用落地
阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作,通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库,开发者能够以更低的成本、更高的效率完成复杂的 AI 任务,加速技术落地和应用创新。
166 13
|
27天前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
108 3
【赵渝强老师】基于大数据组件的平台架构
|
1月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
2月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
220 6
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
2月前
|
人工智能 弹性计算 运维
触手可及:阿里云函数计算助力AI大模型的评测
阿里云推出的面向AI服务器的功能计算(Functional Computing, FC),专为AI应用提供弹性计算资源。该服务支持无服务器部署、自动资源管理和多语言支持,极大简化了AI应用的开发和维护。本文全面评测了FC for AI Server的功能特性、使用体验和成本效益,展示了其在高效部署、成本控制和安全性方面的优势,并通过具体应用案例和改进建议,展望了其未来发展方向。
165 4
|
2月前
|
机器学习/深度学习 监控 搜索推荐
电商平台如何精准抓住你的心?揭秘大数据背后的神秘推荐系统!
【10月更文挑战第12天】在信息爆炸时代,数据驱动决策成为企业优化决策的关键方法。本文以某大型电商平台的商品推荐系统为例,介绍其通过收集用户行为数据,经过预处理、特征工程、模型选择与训练、评估优化及部署监控等步骤,实现个性化商品推荐,提升用户体验和销售额的过程。
87 1
|
3月前
|
SQL 分布式计算 Serverless
阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版正式开启商业化,内置 Fusion Engine,100% 兼容开源 Spark 编程接口,相比于开源 Spark 性能提升300%;提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验!
163 3
阿里云 EMR Serverless Spark 版正式开启商业化
|
3月前
|
人工智能 分布式计算 DataWorks
连续四年!阿里云领跑中国公有云大数据平台
近日,国际数据公司(IDC)发布《中国大数据平台市场份额,2023:数智融合时代的真正到来》报告——2023年中国大数据平台公有云服务市场规模达72.2亿元人民币,其中阿里巴巴市场份额保持领先,占比达40.2%,连续四年排名第一。
239 12
|
3月前
|
人工智能 Cloud Native 数据管理
重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
阿里云发布首个AI多模数据管理平台DMS,助力业务决策提效10倍
393 17

相关产品

  • 云原生大数据计算服务 MaxCompute