云栖技术
云栖技术_个人页
云栖技术
文章
34
问答
897
视频
0
个人介绍
社区爱好者，专为云栖社区服务！
擅长的技术
- Java
- 数据库
暂无更多信息
-
发表了文章
2018-08-09
从功能会员到生态会员 阿里“88VIP”改变了什么？
-
发表了文章
2017-09-09
阿里云引入AI力量智能护航金砖会议
-
发表了文章
2017-09-09
SAP+阿里云助力企业智能化转型
-
发表了文章
2017-09-01
阿里云E-MapReduce 作业结果和日志查看
-
发表了文章
2017-09-01
阿里云E-MapReduce 执行计划列表
-
发表了文章
2017-09-01
阿里云E-MapReduce 管理执行计划
-
发表了文章
2017-09-01
阿里云E-MapReduce 创建执行计划
-
发表了文章
2017-09-01
阿里云E-MapReduce Spark SQL 作业配置
-
发表了文章
2017-09-01
阿里云E-MapReduce Spark 作业配置
-
发表了文章
2017-09-01
阿里云E-MapReduce Pig 作业配置
-
发表了文章
2017-09-01
阿里云E-MapReduce Hive 作业配置
-
发表了文章
2017-09-01
阿里云E-MapReduce Hadoop MapReduce 作业配置
-
发表了文章
2017-09-01
阿里云E-MapReduce 扩容集群和释放集群
-
发表了文章
2017-09-01
阿里云E-MapReduce 创建集群
-
发表了文章
2017-09-01
阿里云创建E-MapReduce 4 创建执行计划
-
发表了文章
2017-08-31
阿里云创建E-MapReduce 3 创建作业
-
发表了文章
2017-08-31
阿里云创建E-MapReduce 2 创建集群
-
发表了文章
2017-08-31
阿里云创建E-MapReduce 1 快速开始
-
发表了文章
2017-08-31
阿里云E-MapReduce快速入门之准备工作
-
发表了文章
2017-08-31
阿里云E-MapReduce产品简介
滑动查看更多
-
回答了问题
2019-07-17
遇到一个MaxCompute很奇怪的问题
在进行 Insert 更新数据操作时，源表与目标表的对应关系依赖于在 select 子句中列的顺序，而不是表与表之间列名的对应关系，创建表的列顺序，和插入的时候列顺序要保持一致。
赞1 踩0 评论0 -
回答了问题
2019-07-17
MaxCompute里是否有 pivot 的替代方式？
您好，没有现成的函数支持，您可以考虑写自定义函数来实现您的需求。
或者看一下这个是否能满足您的需求：
https://help.aliyun.com/document_detail/48975.html#h2-wm_concat赞0 踩0 评论0 -
回答了问题
2019-07-17
您好，我想咨询下MaxCompute SQL计算计费的问题。
您好，在MaxCompute上进行查询的sql，都是属于计算任务的，用了预付费这些费用是免费的。
MaxCompute 预付费实例计算资源 CU 数至少 10CU，另外，不够用的话也是支持资源升配操作。
赞0 踩0 评论0 -
回答了问题
2019-07-17
我们要通过MaxCompute在一个driver里面实现多个MR，每个MR之间的数据如何传递，是不是只能放在表中，能不能放到内存中
MR和MR之间无法直接传递，需要使用表来存放中间结果。
或者考虑使用MRR:
https://help.aliyun.com/document_detail/27876.html
https://help.aliyun.com/document_detail/27899.html赞1 踩0 评论0 -
回答了问题
2019-07-17
如何限制MaxCompute用户通过odpscmd进行数据导出操作？
您好，您可以在项目管理-MaxCompute配置中将项目空间数据保护开启，就可以限制使用odpscmd进行数据下载了。
赞1 踩0 评论0 -
回答了问题
2019-07-17
您好，咨询一个问题：关于数据库或者产品选型的问题
推荐阿里巴巴集团内部使用的数仓产品MaxCompute，低成本、高效，https://yq.aliyun.com/articles/78108
赞0 踩0 评论0 -
回答了问题
2019-07-17
MaxCompute查询的时候，报这个错误： fetch result encounter exception: ODPS-0420061: Invalid parameter in HTTP request - Fetched data is larger than the rendering limitation. Please try to reduce your limit size or column number.
数据输出太大，超过api限制，如果某一列文本太多，也会导致在limit几行数据时，也出现这样的报错。
赞0 踩0 评论0 -
回答了问题
2019-07-17
使用MaxCompute的sdk运行的时候报timeout错误，麻烦看下是什么原因？
一般是各个Region的服务URL配置不正确导致的，对照
https://help.aliyun.com/document_detail/34951.html?spm=5176.doc27891.6.574.uIWPfJ
文档选择下域名使用。赞0 踩0 评论0 -
回答了问题
2019-07-17
你好 购买预付费的MaxCompute服务后， 每个月的费用是不是就是固定的？
计算费用是固定的，但是额外使用的存储和计量是按后付费结算的。
MaxCompute费用由三块组成：存储计费+计算计费+下载计费
购买“按 CU 预付费”服务后，每月在计算计费上的花费是固定的，但是存储计费和下载计费这两块还是按量计费的。
具体的计费细节看这里：
https://help.aliyun.com/document_detail/27989.html1CU 包含的计算资源为 4GB 内存加上 1 核 CPU。
建议您先使用按量计费，通过LogView看下一个任务在多少时间内花费了多少个实例（InstCount）, 可以简单理解一个CU就是一个Inst（不严格）
https://help.aliyun.com/document_detail/27987.html比如：您看到单个任务用了400多个Inst，但并不是说任务用到了400个Inst，您就必须购买400个CU。如果您只有300个CU，那任务会慢一些执行，但是会正常执行。
所以，如果要购买预付费，您这边需要考虑下是不是每天都有那么多任务会使用这些CU。
具体衡量还是需要您这边来评估。赞0 踩0 评论0 -
回答了问题
2019-07-17
怎么更改MaxCompute一张表的owner，如果节点责任人更改了怎么提交？
您好，您这边通过主账户授权给子账户。
或者在大数据开发套件上-数据管理-表管理-修改owner。赞0 踩0 评论0 -
回答了问题
2019-07-17
您好，请问下MaxCompute是否支持增量同步历史数据。 比如我今天创建了日同步任务，他只能同步从今天开始以后的数据。 今天以前的历史数据有没有增量同步的办法呢，历史有千万或者上亿的数据一次同步肯定不合适的。
您可以参考下补数据，具体的说明和操作方法您可以参考下面链接中的文档https://help.aliyun.com/document_detail/30318.html
赞1 踩0 评论0 -
回答了问题
2019-07-17
你好，我在使用MaxCompute的时候 发现 当 需要查询的字段是 double类型时 就会报错
current_timestamp这个字段和系统自带的函数名字相同，所以误以为是系统函数。
赞0 踩0 评论0 -
回答了问题
2019-07-17
昨天买MaxCompute了10个CU包月了，但是SQL根本执行不出来。表里根本没数据。
应该是被别人的任务占用了，可以排查一下
show p from 2017-11-01 to 2017-11-02
kill 2017110206415282gwaogx9赞0 踩0 评论0 -
回答了问题
2019-07-17
a)可以从多台RDS导入到MaxCompute的同一张表吗， 有这方面的自动化工具吗， 工具是否收费 b)导出时是否可以按sql指定？ 比如某字段符合某些条件的才导出，有大概的操作流程或界面展示文档吗？ c)导出过程是否可以加入插件做中间处理，比如java函数。
a)可使用大数据开发套件，目前套件是不收费的：
https://help.aliyun.com/document_detail/57121.htmlrds(mysql)支持分库分表导入：
https://help.aliyun.com/knowledge_detail/49814.html
注意，无论数据存储在同一数据库还是不同数据库，表结构必须是一致的。b)导出到MaxCompute, 必须指定一张表或者表的分区（如果是分区表）。
https://help.aliyun.com/knowledge_detail/49824.htmlc)不支持。
赞0 踩0 评论0 -
回答了问题
2019-07-17
我在使用MaxCompute提供的聚合函数，median 进行求中值的时候，报如下错： FAILED: ODPS-0123049:buffer overflow - in median func the number of row exceeds the max limitation 请问如何解决？
中位数是有行数限制的，BufferSize最大 1000000且不能修改。
聚合函数相同key里面的数据超过最大值。
确认一下这个是否符合预期，如果符合预期的话，建议这个key做单独处理。赞0 踩0 评论0 -
回答了问题
2019-07-17
MaxCompute项目的调度资源怎么删除。
暂不支持，不过很快开放了。
赞0 踩0 评论0 -
回答了问题
2019-07-17
如果MaxCompute一个后付费的项目引用一个预付费项目的表，这个任务的扫描量是算预付费还是算后付费？
您好，计算在哪里发生，计费就发生在哪里，如果是后付费项目引用一个预付费项目的表，那么计算的费用是属于后付费项目的。
赞0 踩0 评论0 -
回答了问题
2019-07-17
MaxCompute自定义UDF中使用了fastjson的代码，但是MaxCompute中没有该库，如何自己加入fastjson的jar到odps资源中并且可以在自定义udf中使用？
如果您只是需要处理 json，建议您直接使用 gson，同时无需打包时带 gson 的 class。fastjson里用了java.io包，会沙箱拦截。请使用gson包。
赞0 踩0 评论0 -
回答了问题
2019-07-17
MaxCompute不支持更新，请问如何实现？
我们整理了一篇关于“如何用SQL对MaxCompute数据进行修改和删除”的文章，网址如下：https://yq.aliyun.com/articles/66890
赞1 踩0 评论0 -
提交了问题
2017-08-17
【PDF下载】阿里技术峰会之AliSQL性能优化与功能突破的演进之路
滑动查看更多
暂无更多信息