采云间DPC迁移方案实施计划
迁移计划概述:
第一阶段:前期沟通&准备
1、 请先熟悉Dataworks的相关操作,比如节点的新增、执行、调度运维等相关操作;
2、 本次迁移只把用户在采云间里面的任务迁移到DataWorks里面,需要用户提前确认采云间用到的odps项目在DataWorks中是否已经创建且可用;如果用户在采云间有多个odps项目,且用这在odps项目上运行的节点存在依赖关系,需要确保这些odps项...
查看全文 >>
Hive数据如何同步到MaxCompute之实践讲解
摘要:本次分享主要介绍 Hive数据如何迁移到MaxCompute。MMA(MaxCompute Migration Assist)是一款MaxCompute数据迁移工具,本文将为大家介绍MMA工具的功能、技术架构和实现原理,再通过实际操作MMA,演示将Hive数据迁移到MaxCompute。
演讲嘉宾简介:阿里云智能产品专家-云花
精彩视频回顾:Hive数据如何同步到MaxCompute
以下...
查看全文 >>
MaxCompute Spark与Spark SQL对比分析及使用注意事项
演讲嘉宾简介:沐行,阿里云智能技术支持工程师。
本次直播视频精彩回顾,戳这里!以下内容根据演讲视频以及PPT整理而成。本次分享主要围绕以下三个方面:
一、功能特性二、代码开发三、DataWorks模式
一、功能特性
1.Spark部署模式Spark开源文档中表明部署模式支持几种部署模式,如stand alone模式、on yarn模式、on k8s模式等。但是其中并不包括Spark on Max...
查看全文 >>
[干货]作为大数据入门者,你不得不知道的2017杭州云栖大会
2017杭州云栖大会于10月14日完美闭幕,据说今年6W+人的技术盛宴(我们先不追究具体多少人)。大家可能更多的只知道马老师谈及到阿里巴巴达摩院、听到各种刷脸支付的高科技、各种数据大脑的发布,但是我觉得作为一个大数据入门者,你只知道这些远远不够!
笔者作为多年云栖大会的经历者也是参与者,总结相关阿里云大数据的相关材料,如下,希望帮助到更多的入门者。
10日 大数据Workshop,带你手把...
查看全文 >>
DataWorks新手引导
Q:子账号使用DataWorks需要选择什么授权策略?
A:DataWorks可以无需RAM单独配置权限,但若子账号需要创建项目,可给授权
DataWorks给子账号使用的正常流程是:主账号创建项目->主账号新建子账号->将子账号加入项目并赋予角色->子账号登录及更新个人信息
注: 主账号新建子账号时,创建AK这一步的时候,AK一定要保存好,不然子账号在更新个人信息的时候,还需...
查看全文 >>
干货——maxcompute精选技术文章
MaxCompute 精彩视频集锦页面全新上线,查看详情>>>
MaxCompute案例集锦:
MaxCompute在高德大数据上的应用基于MaxCompute的媒体大数据开放平台建设基于MaxCompute打造轻盈的人人车移动端数据平台发光的二次元——克拉克拉上云实践
MaxCompute助力OSS支持EB级计算力
MaxCompute 精选技术文章推荐:
MaxCo...
查看全文 >>
DataWorks数据集成与开源Sqoop的对比
摘要:阿里巴巴技术专家张雅静为大家带来DataWorks数据集成与开源Sqoop的对比演讲。主要从介绍Sqoop开始谈起,接着详细介绍了DataWorks数据集成与开源Sqoop对比以及注意事项,然后着重说明了DataWorks数据集成并进行了实操演示,最后对全文进行了总结。
本次分享主要围绕以下四个方面:一、Sqoop简介二、DataWorks数据集成与开源Sqoop的对比及注意事项三、Dat...
查看全文 >>
北京云栖大会workshop:《数据处理:数据建模与加工》篇
实验背景介绍
了解更多2017云栖大会·北京峰会 TechInsight & Workshop.
本手册为云栖大会Workshop《云数据·大计算:快速搭建互联网在线运营分析平台》的《数据处理:数据建模与加工》篇而准备。主要阐述在使用DataWorks/MaxCompute过程中如何直读TableStore中的日志数据并进行加工、用户画像,学员可以根据本实验手册,去学习如何创建外部表、编...
查看全文 >>
无限价值,瞬时洞察--沉浸式体验尽在HoloStudio
导读:
HoloStudio为飞天大数据平台DataWorks交互式查询产品,基于交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务。
作者:柔惠/魉妹/赵红梅
新一代...
查看全文 >>
MaxCompute安全管理指南-基础篇
背景及目的
方便和辅助MaxCompute的project owner或安全管理员进行project的日常安全运维,保障数据安全。
MaxCompute有安全模型,DataWorks也有安全模型,当通过DataWorks使用MaxCompute,而DataWorks的安全模型不满足业务安全需求时,合理的将两个安全模型结合使用就尤其重要。
安全模型
MaxCompute安全模型
安全体系
Ma...
查看全文 >>