云栖技术个人页面-阿里云开发者社区

个人头像照片 云栖技术 TA的个人档案

个人介绍

社区爱好者,专为云栖社区服务!

擅长的技术

  • Java
  • 数据库
获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 高分内容
  • 最新动态
  • 文章
  • 问答
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息
  • 发表了文章 2017-09-09

    SAP+阿里云助力企业智能化转型

  • 发表了文章 2017-09-01

    阿里云E-MapReduce 作业结果和日志查看

  • 发表了文章 2017-09-01

    阿里云E-MapReduce 执行计划列表

  • 发表了文章 2017-09-01

    阿里云E-MapReduce 管理执行计划

  • 发表了文章 2017-09-01

    阿里云E-MapReduce Spark SQL 作业配置

  • 发表了文章 2017-09-01

    阿里云E-MapReduce Spark 作业配置

  • 发表了文章 2017-09-01

    阿里云E-MapReduce Pig 作业配置

  • 发表了文章 2017-09-01

    阿里云E-MapReduce Hive 作业配置

  • 发表了文章 2017-09-01

    阿里云E-MapReduce Hadoop MapReduce 作业配置

  • 发表了文章 2017-09-01

    阿里云E-MapReduce 扩容集群和释放集群

  • 发表了文章 2017-09-01

    阿里云创建E-MapReduce 4 创建执行计划

  • 发表了文章 2017-08-31

    阿里云创建E-MapReduce 3 创建作业

  • 发表了文章 2017-08-31

    阿里云创建E-MapReduce 1 快速开始

  • 发表了文章 2017-08-31

    阿里云E-MapReduce产品简介

  • 发表了文章 2017-08-17

    JAVASCRIPT作为功能编程介绍

  • 发表了文章 2017-07-25

    商城之购物车商品添加和结算的小效果----基于Vue.js

  • 发表了文章 2017-07-23

    玩坏css之border-radius属性

  • 发表了文章 2017-07-20

    玩坏css3之linear-gradient揭秘《线性渐变》

  • 发表了文章 2017-07-17

    我从可用性测试中学到的五件事

  • 发表了文章 2017-05-03

    必须使用301重定向的运用场景

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2019-07-17

    遇到一个MaxCompute很奇怪的问题

    在进行 Insert 更新数据操作时,源表与目标表的对应关系依赖于在 select 子句中列的顺序,而不是表与表之间列名的对应关系,创建表的列顺序,和插入的时候列顺序要保持一致。

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute里是否有 pivot 的替代方式?

    您好,没有现成的函数支持,您可以考虑写自定义函数来实现您的需求。
    或者看一下这个是否能满足您的需求:
    https://help.aliyun.com/document_detail/48975.html#h2-wm_concat

    踩0 评论0
  • 回答了问题 2019-07-17

    您好,我想咨询下MaxCompute SQL计算计费的问题。

    您好,在MaxCompute上进行查询的sql,都是属于计算任务的,用了预付费这些费用是免费的。

    MaxCompute 预付费实例计算资源 CU 数至少 10CU,另外,不够用的话也是支持资源升配操作。

    踩0 评论0
  • 回答了问题 2019-07-17

    我们要通过MaxCompute在一个driver里面实现多个MR,每个MR之间的数据如何传递,是不是只能放在表中,能不能放到内存中

    MR和MR之间无法直接传递,需要使用表来存放中间结果。
    或者考虑使用MRR:
    https://help.aliyun.com/document_detail/27876.html
    https://help.aliyun.com/document_detail/27899.html

    踩0 评论0
  • 回答了问题 2019-07-17

    如何限制MaxCompute用户通过odpscmd进行数据导出操作?

    您好,您可以在项目管理-MaxCompute配置中将项目空间数据保护开启,就可以限制使用odpscmd进行数据下载了。

    踩0 评论0
  • 回答了问题 2019-07-17

    您好,咨询一个问题:关于数据库或者产品选型的问题

    推荐阿里巴巴集团内部使用的数仓产品MaxCompute,低成本、高效,https://yq.aliyun.com/articles/78108

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute查询的时候,报这个错误: fetch result encounter exception: ODPS-0420061: Invalid parameter in HTTP request - Fetched data is larger than the rendering limitation. Please try to reduce your limit size or column number.

    数据输出太大,超过api限制,如果某一列文本太多,也会导致在limit几行数据时,也出现这样的报错。

    踩0 评论0
  • 回答了问题 2019-07-17

    使用MaxCompute的sdk运行的时候报timeout错误,麻烦看下是什么原因?

    一般是各个Region的服务URL配置不正确导致的,对照
    https://help.aliyun.com/document_detail/34951.html?spm=5176.doc27891.6.574.uIWPfJ
    文档选择下域名使用。

    踩0 评论0
  • 回答了问题 2019-07-17

    你好 购买预付费的MaxCompute服务后, 每个月的费用是不是就是固定的?

    计算费用是固定的,但是额外使用的存储和计量是按后付费结算的。

    MaxCompute费用由三块组成:存储计费+计算计费+下载计费

    购买“按 CU 预付费”服务后,每月在计算计费上的花费是固定的,但是存储计费和下载计费这两块还是按量计费的。
    具体的计费细节看这里:
    https://help.aliyun.com/document_detail/27989.html

    1CU 包含的计算资源为 4GB 内存加上 1 核 CPU。
    建议您先使用按量计费,通过LogView看下一个任务在多少时间内花费了多少个实例(InstCount), 可以简单理解一个CU就是一个Inst(不严格)
    https://help.aliyun.com/document_detail/27987.html

    比如:您看到单个任务用了400多个Inst,但并不是说任务用到了400个Inst,您就必须购买400个CU。如果您只有300个CU,那任务会慢一些执行,但是会正常执行。
    所以,如果要购买预付费,您这边需要考虑下是不是每天都有那么多任务会使用这些CU。
    具体衡量还是需要您这边来评估。

    踩0 评论0
  • 回答了问题 2019-07-17

    怎么更改MaxCompute一张表的owner,如果节点责任人更改了怎么提交?

    您好,您这边通过主账户授权给子账户。
    或者在大数据开发套件上-数据管理-表管理-修改owner。

    踩0 评论0
  • 回答了问题 2019-07-17

    您好,请问下MaxCompute是否支持增量同步历史数据。 比如我今天创建了日同步任务,他只能同步从今天开始以后的数据。 今天以前的历史数据有没有增量同步的办法呢,历史有千万或者上亿的数据一次同步肯定不合适的。

    您可以参考下补数据,具体的说明和操作方法您可以参考下面链接中的文档https://help.aliyun.com/document_detail/30318.html

    踩0 评论0
  • 回答了问题 2019-07-17

    你好,我在使用MaxCompute的时候 发现 当 需要查询的字段是 double类型时 就会报错

    current_timestamp这个字段和系统自带的函数名字相同,所以误以为是系统函数。

    踩0 评论0
  • 回答了问题 2019-07-17

    昨天买MaxCompute了10个CU包月了,但是SQL根本执行不出来。表里根本没数据。

    应该是被别人的任务占用了,可以排查一下
    show p from 2017-11-01 to 2017-11-02
    kill 2017110206415282gwaogx9

    踩0 评论0
  • 回答了问题 2019-07-17

    a)可以从多台RDS导入到MaxCompute的同一张表吗, 有这方面的自动化工具吗, 工具是否收费 b)导出时是否可以按sql指定? 比如某字段符合某些条件的才导出,有大概的操作流程或界面展示文档吗? c)导出过程是否可以加入插件做中间处理,比如java函数。

    a)可使用大数据开发套件,目前套件是不收费的:
    https://help.aliyun.com/document_detail/57121.html

    rds(mysql)支持分库分表导入:
    https://help.aliyun.com/knowledge_detail/49814.html
    注意,无论数据存储在同一数据库还是不同数据库,表结构必须是一致的。

    b)导出到MaxCompute, 必须指定一张表或者表的分区(如果是分区表)。
    https://help.aliyun.com/knowledge_detail/49824.html

    c)不支持。

    踩0 评论0
  • 回答了问题 2019-07-17

    我在使用MaxCompute提供的聚合函数,median 进行求中值的时候,报如下错: FAILED: ODPS-0123049:buffer overflow - in median func the number of row exceeds the max limitation 请问如何解决?

    中位数是有行数限制的,BufferSize最大 1000000且不能修改。
    聚合函数相同key里面的数据超过最大值。
    确认一下这个是否符合预期,如果符合预期的话,建议这个key做单独处理。

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute项目的调度资源怎么删除。

    暂不支持,不过很快开放了。

    踩0 评论0
  • 回答了问题 2019-07-17

    如果MaxCompute一个后付费的项目引用一个预付费项目的表,这个任务的扫描量是算预付费还是算后付费?

    您好,计算在哪里发生,计费就发生在哪里,如果是后付费项目引用一个预付费项目的表,那么计算的费用是属于后付费项目的。

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute自定义UDF中使用了fastjson的代码,但是MaxCompute中没有该库,如何自己加入fastjson的jar到odps资源中并且可以在自定义udf中使用?

    如果您只是需要处理 json,建议您直接使用 gson,同时无需打包时带 gson 的 class。fastjson里用了java.io包,会沙箱拦截。请使用gson包。

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute不支持更新,请问如何实现?

    我们整理了一篇关于“如何用SQL对MaxCompute数据进行修改和删除”的文章,网址如下:https://yq.aliyun.com/articles/66890

    踩0 评论0
  • 提交了问题 2017-10-21

    关于flask jinja2 引擎中for循环控制的一个小问题?

正在加载, 请稍后...
滑动查看更多