MaxCompute模板与样例

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 代码模板和示例是用户熟悉新产品和提高开发效率的有效方式,studio提供了一系列的开发模板和代码实例。用户可以通过这些功能,快速熟悉MaxCompute,玩转大数据下的程序开发。

1. 简介

  • MaxCompute : 是一种快速、完全托管的数据仓库解决方案,用户可以通过SQL, MR, UDF等接口与其交互。
  • MaxCompute Studio : 是MaxCompute平台提供的安装在开发者客户端的大数据集成开发环境(IDE),是用户与MaxCompute交互的高效工具。
  • 代码模板:让用户更加高效的写一些固定模式的代码,简化很多重复的代码,以提高编码效率。
  • 代码示例:一例胜千言,帮助用户快速熟悉语法,可参考示例编写自己的程序,快速上手。

代码模板和示例是用户熟悉新产品和提高开发效率的有效方式,studio提供了一系列的开发模板和代码实例。用户可以通过这些功能,快速熟悉MaxCompute,玩转大数据下的程序开发。

2. SQL模板

用户常用sql来查询和分析MaxCompute中的大规模数据,是与MaxCompute交互的主要方式(需要注意的是sql语法与Oracle或MySQL有一定差别,用户无法将其他数据库中的sql语句无缝迁移到MaxCompute上来)。一种常见情况是容易忘记sql的语法,在没有studio之前用户只能到处找MaxCompute的文档或者搜寻例子,效率十分地下。Studio在sql editor中集成了丰富的sql模板,方便用户在忘记语法时快速插入语法骨架。譬如我想创建一张外部表,忘记sql怎么写了,只记得肯定有个create关键字。那么可以在editor中通过快捷键(windows: Ctrl + J , mac: Command + J)唤出sql live template,然后输入create,studio就会列出所有创建表的sql模板,如下图:

image

我们选择第一个create external table,然后回车,editor中就会插入外部表的模板,用户继续在模板上修改sql即可:

image

3. 函数帮助样例

用户在写sql的过程中,难免要用到一些系统内置函数(builtin function)或用户自定义函数(user defined function),如果有文档样例或者看下源码知道其逻辑就好了,studio对此也提供了支持。

  • 3.1 对于系统内置函数,我们提供了文档样例说明。譬如我要做日期处理,知道有个函数叫dateadd,但怎么用,入参和出参是什么不是很清楚。很简单,在editor中输入dateadd(),然后快捷键(windows: Ctrl + Q , mac: Ctrl + J)唤出document provider,就会看到一个文档对话框,包括这个函数的参数声明,用途,参数说明,备注和示例,很方便有没有。

image

  • 3.2 对于用户自定义函数,我们提供了源码下载支持。譬如如下test_function_haoping是一个java UDF,我们按住ctrl键(mac: command)并单击,studio就会自动下载这个UDF用到的jar包资源,然后反编译打开UDF代码。

image

4. 程序开发模板

对于UDF,MR以及非结构化开发,框架的模板方法代码如果每次都需要自己输入,效率十分低下。studio为此提供了代码模板支持,具体的,在源码路径上,new -> MaxCompute Java:

image

在Kind下拉列表中选择你需要开发的程序类型(包括UDF,UDAF,UDTF,Driver,Mapper,Reducer,StorageHandler, Extractor,Outputter),点击ok,editor里会自动填充框架代码,只需要继续在其上修改即可。

image

5. 程序开发样例

除了开发模板,对UDF, MR以及非结构化,studio都集成了一些程序样例。具体的,新建一个MaxCompute java module,在examples目录下有各种示例代码及单元测试,用户可参考编写自己的程序。

6. 测试数据样例

studio支持用户在本地运行UDF,MR以及非结构化,而这必然依赖于表的数据。一种方式是通过tunnel下载相应表的生产样例数据,另外也可以参考样例,完全构造自己的测试数据。具体的,参考warehouse下example_project的目录结构以及data,构造自己的测试数据,配置运行时,选择自己构造的表或数据即可。

image

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
分布式计算 Hadoop 大数据
大数据之Hadoop3.x模板虚拟机配置图解
系统的安装得分两个步骤,第一步得配置 一台电脑,选配CPU,内存,磁盘,网卡等硬件。第二步才是安装系统。
394 0
大数据之Hadoop3.x模板虚拟机配置图解
|
分布式计算 大数据
大数据||MapReduce编程模板
标准模板代码 package com.lizh.hadoop.mapreduce; import java.io.IOException; import org.
1135 0
|
机器学习/深度学习 大数据 C语言
【C/C++学院】0814-引用高级、引用高级增加/auto自动变量自动根据类型创建数据/Bool/Enum/newdelete全局/大数据乘法与结构体/函数模板与auto/宽字符本地化/inline
<p></p> <h2> <span style="font-family:宋体; font-size:16pt">引用高级、引用高级增加</span><span style="font-family:宋体; font-size:16pt"></span> </h2> <pre name="code" class="cpp">#include&lt;iostream&gt; #incl
1469 0
|
3月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
194 14
|
5月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
170 4
|
4月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
162 0
|
5月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
300 3
|
3月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
144 14
|
2月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute