阿里云大数据开发套件 新手不得不面对的问题（持续更新）

概念

一、计费问题

Q：大数据开发套件贵不贵？

A：大数据开发套件不收费，但涉及SQL数据开发是需要按MaxCompute 的CU和Project计量计费，具体MaxCompute计费说明：https://help.aliyun.com/document_detail/27989.html

Q：项目表不用是否产生费用？

A：存储需要收费，只要清除项目表和数据就不会产生费用。

二、功能问题

2.1 同步问题

Q：如何开始数据同步？

A：可以使用大数据开发套件-数据集成-同步任务-向导模式。界面化配置好，运行即可。具体步骤介绍你参考示例

Q：支持的数据源类型？

A：

Q：在使用大数据开发套件时，RDS同步失败，提示请检查您的账号、密码、数据库名称等；

A：https://yq.aliyun.com/ask/54884

Q：数据集成服务(DI)和数据传输服务（DTS）有什么区别？

A：

Q：数据同步失败，从maxcompute导入数据到rds，执行报错？

A：https://yq.aliyun.com/ask/54888

Q：1000万数据如果我只想同步过去 100条数据，在where 处应该怎么写 limit？

A：limit暂时不支持在 过滤语句中使用，可以现在数据库中使用sql筛选出来100条，再同步。

Q：表中的数据较多，我可以同时跑两个任务操作吗？

A：关系型数据库可以使用切分键。

Q：数据同步时，过多导入，产生数据冗余，怎么删除；

A：每一列都一样的就算重复数据的话，可以 group by 所有列，比方有三列 c1,c2,c3 insert overwrite table xx select c1,c2,c3 from tablename group by c1,c2,c3

2.2 调度问题

Q：跑了几个定时任务，现在发现由于失误，有几天数据没有存到表中，我在运维中心看到有补数据这个功能，怎么使用？

A：https://yq.aliyun.com/ask/54301

2.3 数据开发问题

Q：如何写SQL函数？

A：https://help.aliyun.com/document_detail/27860.html

Q：ide里或者console执行sql，sql没执行完就关闭了页面或客户端，在想看执行日志怎么办？

A：执行show p查看instance ，然后 wait instanceid就能看见日志LogView了。

Q：如何写MR？

A：https://help.aliyun.com/document_detail/27875.html

2.4 项目管理问题

Q：所有项目的数据量在哪里看？

A：https://yq.aliyun.com/ask/54315

三、限制问题

Q：浏览器支持哪些？

A：仅支持Chrome浏览器54以上版本。

Q：数据加工分析只能在MaxCompute？

A：是的，目前无法支持SQL运行在 阿里云云数据库、阿里云分析型数据库 等产品，仅支持MaxCompute。

Q：MaxCompute MR 限制项汇总

A：https://help.aliyun.com/document_detail/51847.html

欢迎大家一起补充知识贴。