DataWorks:下一代智能数据工场
2017云栖大会dataworks专场,数加平台&DataWorks研发负责人王贲带来dataworks的演讲。主要讲了dataworks缘起何处,进而讲解了数据集成和数据研发,着重介绍了数据治理,最后作了简要总结。
北京云栖大会workshop:《数据处理:数据建模与加工》篇
本手册为云栖大会Workshop《云数据·大计算:快速搭建互联网在线运营分析平台》的《数据处理:数据建模与加工》篇而准备。主要阐述在使用DataWorks/MaxCompute过程中如何直读TableStore中的日志数据并进行加工、用户画像,学员可以根据本实验手册,去学习如何创建外部表、编写SQL。
浅谈PyODPS
在我看来,PyODPS就是阿里云上的Python。值得注意的是,这里的定语“阿里云上的”一定不能精简掉,因为PyODPS不等于单机版的Python!
灵活运用DataWorks参数配置
大家好,本文中笔者要跟大家探讨一下众多DataWorks用户经常遇到的一类问题,就是在DataWorks中如何灵活运用参数配置这个功能。很多用户的需求场景是和时间有关的。为使周期运行的任务能根据运行时间的变化而变化,DataWorks提供了系统参数和自定义参数等两种参数,供用户来使用。
大批量处理excel文件到ODPS中方案
大批量处理excel文件到ODPS中方案
前言
最近所做的项目需要将近五千个excel文件导入到ODPS,并且excel文件内容格式全部不一样。
刚接到需求时特别的懵,不过工作还是要做的,首先通过查询dataworks中文档来看怎么实现该需求,通过文档了解到只支持csv、txt等格式进行单个上传,然后就开始着手做。
MySQL/RDS数据如何同步到MaxCompute之实践讲解
大数据计算服务(MaxCompute,原名ODPS)是阿里云提供的一种快速、完全托管的EB级数据仓库解决方案。本文章中阿里云MaxCompute公有云技术支持人员刘力夺通过一个实验向大家介绍了阿里云关系型数据库产品RDS中的MySQL数据如何同步到MaxCompute,帮助用户大体了解MaxCompute产品以及其数据同步过程。