阿里云大数据开发套件 新手不得不面对的问题(持续更新)-阿里云开发者社区

开发者社区> 隐林> 正文

阿里云大数据开发套件 新手不得不面对的问题(持续更新)

简介: 概念 大数据开发套件(Data IDE) 是阿里云数加重要的Paas平台产品,是”DataWorks”中最重要的核心组件。提供全面托管的工作流服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。
+关注继续查看

概念

大数据开发套件(Data IDE) 是阿里云数加重要的Paas平台产品,是“DataWorks”中最重要的核心组件。提供全面托管的工作流服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。https://data.aliyun.com/product/ide

大数据开发套件(Data IDE) 基于MaxCompute作为核心的计算、存储引擎,提供了海量数据的离线加工分析、数据挖掘的能力。

fd38c72fbd440b637e0ebf165a92ecea3c773083



一、计费问题

Q:大数据开发套件贵不贵?

A:大数据开发套件不收费,但涉及SQL数据开发是需要按MaxCompute 的CU和Project计量计费,具体MaxCompute计费说明:https://help.aliyun.com/document_detail/27989.html


Q:项目表不用是否产生费用?

A:存储需要收费,只要清除项目表和数据就不会产生费用。


二、功能问题

2.1 同步问题

Q:如何开始数据同步?

A:可以使用大数据开发套件-数据集成-同步任务-向导模式。界面化配置好,运行即可。具体步骤介绍你参考示例https://help.aliyun.com/document_detail/30269.html


Q:支持的数据源类型?

A:https://help.aliyun.com/document_detail/53008.html


Q:在使用大数据开发套件时,RDS同步失败,提示请检查您的账号、密码、数据库名称等;

A:https://yq.aliyun.com/ask/54884


Q:数据集成服务(DI)和数据传输服务(DTS)有什么区别?

A:https://yq.aliyun.com/ask/54879


Q:数据同步失败,从maxcompute导入数据到rds,执行报错?

A:https://yq.aliyun.com/ask/54888


Q:1000万数据如果我只想同步过去 100条数据,在where 处应该怎么写 limit?

A:limit暂时不支持在 过滤语句中使用,可以现在数据库中使用sql筛选出来100条,再同步。


Q:表中的数据较多,我可以同时跑两个任务操作吗?

A:关系型数据库可以使用切分键。


Q:数据同步时,过多导入,产生数据冗余,怎么删除;

A:每一列都一样的就算重复数据的话,可以 group by 所有列,比方有三列 c1,c2,c3 insert overwrite table xx select c1,c2,c3 from tablename group by c1,c2,c3


2.2 调度问题

Q:跑了几个定时任务,现在发现由于失误,有几天数据没有存到表中,我在运维中心看到有补数据这个功能,怎么使用?

A:https://yq.aliyun.com/ask/54301


2.3 数据开发问题

Q:如何写SQL函数?

A:https://help.aliyun.com/document_detail/27860.html


Q:ide里或者console执行sql,sql没执行完就关闭了页面或客户端,在想看执行日志怎么办?

A:执行show p查看instance ,然后 wait instanceid就能看见日志LogView了。


Q:如何写MR?

A:https://help.aliyun.com/document_detail/27875.html


2.4 项目管理问题

Q:所有项目的数据量在哪里看?

A:https://yq.aliyun.com/ask/54315


三、限制问题


Q:浏览器支持哪些?

A:仅支持Chrome浏览器54以上版本。


Q:数据加工分析只能在MaxCompute?

A:是的,目前无法支持SQL运行在 阿里云云数据库、阿里云分析型数据库 等产品,仅支持MaxCompute。


Q:MaxCompute MR 限制项汇总

A:https://help.aliyun.com/document_detail/51847.html



欢迎大家一起补充知识贴。


c35f8419f39373be2b6c7b53c4b6c38757999e8b

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
我为什么要写:新书《离线和实时大数据开发实战》
新书《离线和实时大数据开发实战》 购买链接(机械工业出版社官方淘宝店铺) 感谢@薛奎 和@空无 大大写推荐书评。 空无和薛奎的书评 大数据技术一直是个领先互联网公司的必备核心技术,阿里巴巴最近10年一直在持续加大投入,并将大数据处理技术用于大量的大规模业务场景。每年双十一对实时、离线技术也都是极限的考验,而作者就是在这样的环境下成长起来,基于真实业务场景钻研相关的技术,既有实战也有
3107 0
Fundebug前端JavaScript插件更新至1.7.1,拆分录屏代码,还原部分Script error.
摘要: BUG监控插件压缩至18K。 1.7.0拆分了录屏代码,BUG监控插件压缩至18K,另外我们还原了部分Script error,帮助用户更方便地Debug。请大家及时更新哈~ 拆分录屏代码 从1.7.0版本开始,我们拆分了录屏代码。
1349 0
基于大数据开发套件的增量同步策略
因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候,对如何设置数据同步策略有疑惑,所以今天第一波我们来聊一下数据的同步策略,根据数据的特性,看看哪些数据适合增量同步,哪些适合全量同步,又是如何实现的?请认真看完下面的介绍,这些问题都不是事儿。
4334 0
如何保证 Serverless 业务部署更新的一致性?
每一个工具的诞生,都要有一个成长的过程,Serverless Devs 正在不断的成长。
3062 0
webpack 快速构建 React 学习环境(2)-- 热更新
上一篇文章 《webpack 快速构建 React 学习环境(1)》中介绍了构建一个最简单开发环境,这里接着完善这个开发环境,让它用起来更加的趁手。
1310 0
解决Form中ExternalInterface的Bug问题
加一个在你嵌套flash的form里的标记后面: //这里是你的flash代码内容。   感谢你的提醒.这也有一个不错的方法http://kb.adobe.com/selfservice/viewContent.do?externalId=kb400730&sliceId=2
613 0
Fundebug录屏插件更新至0.5.0,新增domain参数
摘要: 通过配置domain来保证“视频”的正确录制 录屏功能介绍 Fundebug提供专业的异常监控服务,当线上应用出现 BUG 的时候,我们可以第一时间报警,帮助开发者及时发现 BUG,提高 Debug 效率。
886 0
【独家】2021年阿里云开发者大会资料下载,持续更新
5月29日,2021阿里云开发者大会圆满结束,阿里云开发者社区为大家独家提供资料下载包,帮助大家回顾和学习大会核心技术内容。
67983 0
+关注
隐林
阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
288
文章
38
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载