大数据开发治理平台 DataWorks

首页 标签 大数据开发治理平台 DataWorks
DataWorks:下一代智能数据工场
2017云栖大会dataworks专场,数加平台&DataWorks研发负责人王贲带来dataworks的演讲。主要讲了dataworks缘起何处,进而讲解了数据集成和数据研发,着重介绍了数据治理,最后作了简要总结。
北京云栖大会workshop:《数据处理:数据建模与加工》篇
本手册为云栖大会Workshop《云数据·大计算:快速搭建互联网在线运营分析平台》的《数据处理:数据建模与加工》篇而准备。主要阐述在使用DataWorks/MaxCompute过程中如何直读TableStore中的日志数据并进行加工、用户画像,学员可以根据本实验手册,去学习如何创建外部表、编写SQL。
浅谈PyODPS
在我看来,PyODPS就是阿里云上的Python。值得注意的是,这里的定语“阿里云上的”一定不能精简掉,因为PyODPS不等于单机版的Python!
灵活运用DataWorks参数配置
大家好,本文中笔者要跟大家探讨一下众多DataWorks用户经常遇到的一类问题,就是在DataWorks中如何灵活运用参数配置这个功能。很多用户的需求场景是和时间有关的。为使周期运行的任务能根据运行时间的变化而变化,DataWorks提供了系统参数和自定义参数等两种参数,供用户来使用。
大批量处理excel文件到ODPS中方案
大批量处理excel文件到ODPS中方案 前言 最近所做的项目需要将近五千个excel文件导入到ODPS,并且excel文件内容格式全部不一样。 刚接到需求时特别的懵,不过工作还是要做的,首先通过查询dataworks中文档来看怎么实现该需求,通过文档了解到只支持csv、txt等格式进行单个上传,然后就开始着手做。
阿里云大数据计算服务MaxCompute命令行工具——odpscmd的操作使用
在MaxCompute生态中,命令行工具究竟处于什么样的位置?它又发挥着什么样的作用?能够帮助开发者如何更好使用MaxCompute?在本文中,阿里巴巴计算平台产品专家曲宁将通过一个完整简单的小例子为大家介绍MaxCompute命令行工具odpscmd的使用以及其所具有的各种能力。
DataWorks 如何设置调度依赖
在DataWorks 2.0中,任务的依赖配置有所更改,所以特别写一篇文档来引导大家,如何正确的配置任务调度依赖。
如何在DataWorks V2.0 的 ODPS SQL任务中使用调度参数
DataWorks提供了系统调度参数,调度系统会根据调度参数的配置,结合当前的业务日期,将调度参数转换为具体的时间。
MySQL/RDS数据如何同步到MaxCompute之实践讲解
大数据计算服务(MaxCompute,原名ODPS)是阿里云提供的一种快速、完全托管的EB级数据仓库解决方案。本文章中阿里云MaxCompute公有云技术支持人员刘力夺通过一个实验向大家介绍了阿里云关系型数据库产品RDS中的MySQL数据如何同步到MaxCompute,帮助用户大体了解MaxCompute产品以及其数据同步过程。
免费试用