【干货索引】阿里云大数据计算服务MaxCompute与生态系统的融合-阿里云开发者社区

开发者社区> 阿里巴巴大数据计算> 正文

【干货索引】阿里云大数据计算服务MaxCompute与生态系统的融合

简介: MaxCompute大家都不陌生,之前产品名称叫ODPS,之后随国际化而更名。从支持阿里集团内部99%数据业务到计算能力对外输出,帮助政府、互联网公司、金融等进行大数据项目服务,使得数据变现。很多开发者都会把MaxCompute和开源社区Hadoop、hive进行比较,此处不做过多评论,各有优势。

MaxCompute大家都不陌生,之前产品名称叫ODPS,之后随国际化而更名。从支持阿里集团内部99%数据业务到计算能力对外输出,帮助政府、互联网公司、金融等进行大数据项目服务,使得数据变现。很多开发者都会把MaxCompute和开源社区Hadoop、hive进行比较,此处不做过多评论,各有优势。但是不得不说MaxCompute这几年在生态上向前走了一大步。

关于 MaxCompute2.0 对开源系统的支持与融合 的整体介绍及团队规划,详见文档

d3a7f80b-f309-40d9-aec0-744a789a2e96.png
最近,我也针对MaxCompute在生态融合上也进行了一些研究和拜读,因为现在资料还比较零散,就把自己在过程中遇到的好材料统一为大家梳理如下,包括SDK、JDBC等。

MaxCompute SDK

首先我们先来看SDK,想必很多有能力的互联网公司都有大量的个性化需求,都会对SDK/API有一些需求,比如小黄车这样的体量大的客户,就基于MaxCompute SDK做了大量的应用。那具体SDK包括Java、Python、R以及PHP(PHP为社区提供,并非阿里云官方出品,但都可以满足大部分需求)。如图所示:
0c0b8527-dbb0-4afb-a9c3-b5048c64aa80.png

441acde5-b962-4492-aab4-cb9f13438f5e.png
更大强大的功能,大家可以期待下团队将在北京云栖大会对外正式公测的python UDF,这将大大的提高python开发者对MaxCompute的开发效率和功能。
  • R SDK:RODPS也较大满足开发者使用R做数据分析的需求,具体安装及使用可以详见 云栖社区博文
9ed8bfad-c3b6-4757-9fbd-6841a0c2a5f9.png
  • PHP SDK:PHP SDK并非MaxCompute团队官方出品,由社区招募完成开发工作,具体有PHP需求的同学也可以参考PHP SDK文档,可以满足PHP开发的大部分需求。

MaxCompute JDBC 2.2 发布说明

对接已有软件并提供标准JDBC编程接口,MaxCompute JDBC 2.2正式版已于2017年2月24日正式发布。
0ac4c099-f27f-43c6-bcd3-f8cf8908b849.png
3051bf13-7f65-4384-a595-37e3596e85eb.png
  1. 通过Apache Zeppelin 快速实现数据可视化
  2. 借力QlikView玩转数据分析

Hive Proxy

提供Hive Thrift协议兼容接口,对接Hive社区已有的工具。Hive Proxy 部署在客户端,将 Hive 的 thrift 请求转换成 MaxCompute 的 Restful API 请求,可以用来直接对接诸如 Tableau、Qlik 这样不直接支持 JDBC 的 BI 工具,或者 HPL 这样的 Hive 组件,详见 博文
16f29181-4874-4e0d-a61b-5ddf553a1560.png
  • 示例1:复用Hive ODBC实现Tableau到MaxCompute的连通
  • 示例2:复用Hive JDBC实现Beeline到MaxCompute的连通
具体详见:https://yq.aliyun.com/articles/61262

ETL tool-数据上云工具

关于Logstash将日志采集MaxCompute,然后做数据分析有详细step by step 文档,点击进入

31.gifSpark on ODPS、ElasticSearch on ODPS等在专有云和阿里集团内成熟应用,公共云上的开发者可能要耐心等待一段时间。

90fbe1099b2839c7594aefcd5b1715ba71d4b670028df8ba14c11b8a5ea8c71eaad0d5e6fcd6dafc

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
阿里巴巴大数据计算
使用钉钉扫一扫加入圈子
+ 订阅

阿里大数据官方技术圈

官方博客
链接