一分钟了解阿里云产品:使用阿里云MaxCompute之点滴

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 这次做网聚宝搜索服务化这个项目,体验了一下阿里云的重量级云产品MaxCompute。MaxCompute在网聚宝搜索上云这个项目中起到了非常至关重要的作用,一句话总结:MaxCompute是非常靠谱的。在此将之前碰到问题点做一下总结,希望对有和我们一样需求的团队或者个人有所帮助。     那么

这次做网聚宝搜索服务化这个项目,体验了一下阿里云的重量级云产品MaxCompute。MaxCompute在网聚宝搜索上云这个项目中起到了非常至关重要的作用,一句话总结:MaxCompute是非常靠谱的。在此将之前碰到问题点做一下总结,希望对有和我们一样需求的团队或者个人有所帮助。

 

 

那么终搜为什么选择MaxCompute呢?

 

搜索引擎都是为了解决业务方数据多维度随意组合的条件搜索的需求,终搜的产品也不例外,在构建索引的过程中有非常重要的一个步骤就是将业务数据库中的数据导入搜索引擎中。网聚宝搜索上云项目中所用到的数据源是来自多个数据库的多张数据库表,对象实体是由一对多,多对多的表组成的。所以在数据导入到搜索引擎之前对数据进行扁平化处理成为一个必不可少的环节。

抱着试试看的想法,开启了MaxCompute之旅。

 

其实现在总结起来,使用MaxCompute还有一个非常重要的原因,就是阿里云在云基础设施配套这块做得比较到位,比如,针对MaxCompute数据导入有CDP(Cloud Data pipeling)这个产品来负责数据导入工作。

 

在MaxCompute上执行多表数据扁平化工作,这对于MaxCompute来说小菜一碟,有现成的聚合函数可以使用,如wm_concat。终搜将宽表构建成索引,用户可以很方便地通过trade.id来反查user.id。而且,数据库处理的数量级和MaxCompute处理的数据级完全不在一个等级上。但凡数据上G上T之后,数据库只能干瞪眼了,而像MaxCompute这样的MR工具却可以轻松搞定,再多数据也只需要通过集群节点的水平扩容轻松搞定。

 

 

关于MaxCompute的收费情况呢,终搜因为是集团内部团队,可以通过申请MaxCompute抵价券来使用。基本上,打一个2亿条记录的宽表(需要关联多张表,且有比较复杂的聚合),一次收费大概是100元左右,在开发测试阶段是非常昂贵的,所以在测试阶段不要用全部数据来进行测试开发,抽取一个样本子集来进行测试。这样,因为数据量少了,可以缩短计算时间,缩短测试周期,并且降低费用。

 

 

如果您想详细了解MaxCompute相关信息,请访问:

http://mozhenghua.iteye.com/blog/2124943

 

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
2月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
154 0
|
2月前
|
数据采集 人工智能 大数据
10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案
阿里云大数据AI平台推出智能驾驶数据预处理解决方案,助力车企构建高效稳定的数据处理流程。相比自建方案,数据包处理效率提升10倍以上,推理任务提速超1倍,产能翻番,显著提高自动驾驶模型产出效率。该方案已服务80%以上中国车企,支持多模态数据处理与百万级任务调度,全面赋能智驾技术落地。
220 0
|
24天前
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
118 1
|
28天前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
|
2月前
|
人工智能 分布式计算 DataWorks
多模态数据处理新趋势:阿里云ODPS技术栈深度解析与未来展望
阿里云ODPS技术栈通过MaxCompute、Object Table与MaxFrame等核心组件,实现了多模态数据的高效处理与智能分析。该架构支持结构化与非结构化数据的统一管理,并深度融合AI能力,显著降低了分布式计算门槛,推动企业数字化转型。未来,其在智慧城市、数字医疗、智能制造等领域具有广泛应用前景。
319 6
多模态数据处理新趋势:阿里云ODPS技术栈深度解析与未来展望
|
2月前
|
存储 搜索推荐 算法
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
本文深入探讨了Java大数据技术在智能金融理财产品风险评估与个性化配置中的关键应用。通过高效的数据采集、存储与分析,Java大数据技术助力金融机构实现精准风险评估与个性化推荐,提升投资收益并降低风险。
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
|
存储 机器学习/深度学习 人工智能
阿里云ODPS:在AI浪潮之巅,铸就下一代智能数据根基
在智能爆炸时代,ODPS正从传统数据平台进化为“AI操作系统”。面对千亿参数模型与实时决策挑战,ODPS通过流批一体架构、多模态处理、智能资源调度等技术创新,大幅提升效率与智能化水平。从自动驾驶到医疗联合建模,从数字孪生到低代码AI开发,ODPS正重塑企业数据生产力,助力全球客户在算力洪流中抢占先机。
118 0

热门文章

最新文章