开发者社区> hayden822> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

一分钟了解阿里云产品:使用阿里云MaxCompute之点滴

简介: 这次做网聚宝搜索服务化这个项目,体验了一下阿里云的重量级云产品MaxCompute。MaxCompute在网聚宝搜索上云这个项目中起到了非常至关重要的作用,一句话总结:MaxCompute是非常靠谱的。在此将之前碰到问题点做一下总结,希望对有和我们一样需求的团队或者个人有所帮助。     那么
+关注继续查看

这次做网聚宝搜索服务化这个项目,体验了一下阿里云的重量级云产品MaxCompute。MaxCompute在网聚宝搜索上云这个项目中起到了非常至关重要的作用,一句话总结:MaxCompute是非常靠谱的。在此将之前碰到问题点做一下总结,希望对有和我们一样需求的团队或者个人有所帮助。

 

 

那么终搜为什么选择MaxCompute呢?

 

搜索引擎都是为了解决业务方数据多维度随意组合的条件搜索的需求,终搜的产品也不例外,在构建索引的过程中有非常重要的一个步骤就是将业务数据库中的数据导入搜索引擎中。网聚宝搜索上云项目中所用到的数据源是来自多个数据库的多张数据库表,对象实体是由一对多,多对多的表组成的。所以在数据导入到搜索引擎之前对数据进行扁平化处理成为一个必不可少的环节。

抱着试试看的想法,开启了MaxCompute之旅。

 

其实现在总结起来,使用MaxCompute还有一个非常重要的原因,就是阿里云在云基础设施配套这块做得比较到位,比如,针对MaxCompute数据导入有CDP(Cloud Data pipeling)这个产品来负责数据导入工作。

 

在MaxCompute上执行多表数据扁平化工作,这对于MaxCompute来说小菜一碟,有现成的聚合函数可以使用,如wm_concat。终搜将宽表构建成索引,用户可以很方便地通过trade.id来反查user.id。而且,数据库处理的数量级和MaxCompute处理的数据级完全不在一个等级上。但凡数据上G上T之后,数据库只能干瞪眼了,而像MaxCompute这样的MR工具却可以轻松搞定,再多数据也只需要通过集群节点的水平扩容轻松搞定。

 

 

关于MaxCompute的收费情况呢,终搜因为是集团内部团队,可以通过申请MaxCompute抵价券来使用。基本上,打一个2亿条记录的宽表(需要关联多张表,且有比较复杂的聚合),一次收费大概是100元左右,在开发测试阶段是非常昂贵的,所以在测试阶段不要用全部数据来进行测试开发,抽取一个样本子集来进行测试。这样,因为数据量少了,可以缩短计算时间,缩短测试周期,并且降低费用。

 

 

如果您想详细了解MaxCompute相关信息,请访问:

http://mozhenghua.iteye.com/blog/2124943

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云 MaxCompute 计算长尾问题优化 2
阿里云 MaxCompute 计算长尾问题优化 2
52 0
阿里云 MaxCompute 计算长尾问题优化 1
阿里云 MaxCompute 计算长尾问题优化 1
84 0
阿里云 MaxCompute 2022-4-5月刊合集
MaxCompute 按外表类型对外表计算独立计费;MaxCompute 湖仓一体法兰克福region商业化发布
494 0
阿里云大数据MaxCompute计算资源分布以及LogView分析优化
MaxCompute(原ODPS)的概念 海量数据处理平台,服务于批量结构化数据的存储和计算,提供海量数据仓库的解决方案以及针对大数据的分析建模服务.(官方文档有这里就不多做介绍了)官方文档链接 优势 用户不必关心分布式计算细节,从而达到分析大数据的目的。
6055 0
《能源地图》:阿里云数加MaxCompute轻松处理8000亿条气象数据
十三五期间伴随能源互联网的建设,能源大数据及云计算能力长足发展,圈内诸多专家和组织陆续又开始讨论“能源地图”的深化应用, 什么是能源地图: 能源地图 1、反映一定地域范围内能源的发展条件及其水平的地区差异的专题地图。
2894 0
深入阿里云大数据IDE–MaxCompute Studio
在云栖社区主办的云栖计算之旅第5期–大数据与人工智能分享中,阿里云计算平台高级专家薛明为大家深入地介绍了阿里云大数据IDE–MaxCompute Studio,并对于其特性和背后的技术思想进行了讲解。
9111 0
阿里云数加MaxCompute购买咨询钉钉群
为企业解答阿里云MaxCompute大数据计算产品购买问题。
13127 0
持续创新和改进,为用户创造最大价值,阿里云数加MaxCompute获得C-Tech Awards 2016年度“最具技术创新奖”
“C-Tech Awards 2016最具价值大奖评选”活动已经正式结束。从2016年12月22日线上征集至今,活动获得各大技术行业企业的高度关注,现已有来自国内外的近400家企业参与到了本次评选活动中,并提交了全面的产品简介和创新点解析。
3097 0
【物流大数据实践】基于阿里云Maxcompute实现物流跟踪
摘要: 目前我国物流业保持较快增长,但还是存在一些问题:物流成本高、效率低,条块分割严重(自营物流、规模小、技术落后、标准不统一)、基础设施相对滞后(物流基础设施之间不衔接、不配套),对订单创建到用户签收整套完整流程缺乏完善的监控和预警手段.
6350 0
【阿里云大数据产品MaxCompute(原名ODPS)】DT时代企业数据资产的护卫舰
MaxCompute设计之初就是面向多租户,确保租户的数据安全是MaxCompute的必备功能之一。在MaxCompute系统的安全设计和实现上,MaxCompute的工程师们会遵循一些经过实践检验的安全设计原则(如Saltzer-Schroeder原则)。
3865 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
阿里云MaxCompute百问百答
立即下载
《阿里云MaxCompute & 帆软企业级BI分析》
立即下载
基于阿里云MaxCompute 构建企业云数据仓库CDW的最佳实践建议
立即下载