云栖技术个人页面-阿里云开发者社区

个人头像照片 云栖技术 TA的个人档案

个人介绍

社区爱好者，专为云栖社区服务！

擅长的技术

  • Java
  • 数据库
获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 高分内容
  • 最新动态
  • 文章
  • 问答
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息
  • 发表了文章 2017-09-09

    SAP+阿里云助力企业智能化转型

  • 发表了文章 2017-09-01

    阿里云E-MapReduce 作业结果和日志查看

  • 发表了文章 2017-09-01

    阿里云E-MapReduce 执行计划列表

  • 发表了文章 2017-09-01

    阿里云E-MapReduce 管理执行计划

  • 发表了文章 2017-09-01

    阿里云E-MapReduce Spark SQL 作业配置

  • 发表了文章 2017-09-01

    阿里云E-MapReduce Spark 作业配置

  • 发表了文章 2017-09-01

    阿里云E-MapReduce Pig 作业配置

  • 发表了文章 2017-09-01

    阿里云E-MapReduce Hive 作业配置

  • 发表了文章 2017-09-01

    阿里云E-MapReduce Hadoop MapReduce 作业配置

  • 发表了文章 2017-09-01

    阿里云E-MapReduce 扩容集群和释放集群

  • 发表了文章 2017-09-01

    阿里云创建E-MapReduce 4 创建执行计划

  • 发表了文章 2017-08-31

    阿里云创建E-MapReduce 3 创建作业

  • 发表了文章 2017-08-31

    阿里云创建E-MapReduce 1 快速开始

  • 发表了文章 2017-08-31

    阿里云E-MapReduce产品简介

  • 发表了文章 2017-08-17

    JAVASCRIPT作为功能编程介绍

  • 发表了文章 2017-07-25

    商城之购物车商品添加和结算的小效果----基于Vue.js

  • 发表了文章 2017-07-23

    玩坏css之border-radius属性

  • 发表了文章 2017-07-20

    玩坏css3之linear-gradient揭秘《线性渐变》

  • 发表了文章 2017-07-17

    我从可用性测试中学到的五件事

  • 发表了文章 2017-05-03

    必须使用301重定向的运用场景

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2019-07-17

    遇到一个MaxCompute很奇怪的问题

    在进行 Insert 更新数据操作时，源表与目标表的对应关系依赖于在 select 子句中列的顺序，而不是表与表之间列名的对应关系，创建表的列顺序，和插入的时候列顺序要保持一致。

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute里是否有 pivot 的替代方式？

    您好，没有现成的函数支持，您可以考虑写自定义函数来实现您的需求。
    或者看一下这个是否能满足您的需求：
    https://help.aliyun.com/document_detail/48975.html#h2-wm_concat

    踩0 评论0
  • 回答了问题 2019-07-17

    您好，我想咨询下MaxCompute SQL计算计费的问题。

    您好，在MaxCompute上进行查询的sql，都是属于计算任务的，用了预付费这些费用是免费的。

    MaxCompute 预付费实例计算资源 CU 数至少 10CU，另外，不够用的话也是支持资源升配操作。

    踩0 评论0
  • 回答了问题 2019-07-17

    我们要通过MaxCompute在一个driver里面实现多个MR，每个MR之间的数据如何传递，是不是只能放在表中，能不能放到内存中

    MR和MR之间无法直接传递，需要使用表来存放中间结果。
    或者考虑使用MRR:
    https://help.aliyun.com/document_detail/27876.html
    https://help.aliyun.com/document_detail/27899.html

    踩0 评论0
  • 回答了问题 2019-07-17

    如何限制MaxCompute用户通过odpscmd进行数据导出操作？

    您好，您可以在项目管理-MaxCompute配置中将项目空间数据保护开启，就可以限制使用odpscmd进行数据下载了。

    踩0 评论0
  • 回答了问题 2019-07-17

    您好，咨询一个问题：关于数据库或者产品选型的问题

    推荐阿里巴巴集团内部使用的数仓产品MaxCompute，低成本、高效，https://yq.aliyun.com/articles/78108

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute查询的时候，报这个错误： fetch result encounter exception: ODPS-0420061: Invalid parameter in HTTP request - Fetched data is larger than the rendering limitation. Please try to reduce your limit size or column number.

    数据输出太大，超过api限制，如果某一列文本太多，也会导致在limit几行数据时，也出现这样的报错。

    踩0 评论0
  • 回答了问题 2019-07-17

    使用MaxCompute的sdk运行的时候报timeout错误，麻烦看下是什么原因？

    一般是各个Region的服务URL配置不正确导致的，对照
    https://help.aliyun.com/document_detail/34951.html?spm=5176.doc27891.6.574.uIWPfJ
    文档选择下域名使用。

    踩0 评论0
  • 回答了问题 2019-07-17

    你好 购买预付费的MaxCompute服务后， 每个月的费用是不是就是固定的？

    计算费用是固定的，但是额外使用的存储和计量是按后付费结算的。

    MaxCompute费用由三块组成：存储计费+计算计费+下载计费

    购买“按 CU 预付费”服务后，每月在计算计费上的花费是固定的，但是存储计费和下载计费这两块还是按量计费的。
    具体的计费细节看这里：
    https://help.aliyun.com/document_detail/27989.html

    1CU 包含的计算资源为 4GB 内存加上 1 核 CPU。
    建议您先使用按量计费，通过LogView看下一个任务在多少时间内花费了多少个实例（InstCount）, 可以简单理解一个CU就是一个Inst（不严格）
    https://help.aliyun.com/document_detail/27987.html

    比如：您看到单个任务用了400多个Inst，但并不是说任务用到了400个Inst，您就必须购买400个CU。如果您只有300个CU，那任务会慢一些执行，但是会正常执行。
    所以，如果要购买预付费，您这边需要考虑下是不是每天都有那么多任务会使用这些CU。
    具体衡量还是需要您这边来评估。

    踩0 评论0
  • 回答了问题 2019-07-17

    怎么更改MaxCompute一张表的owner，如果节点责任人更改了怎么提交？

    您好，您这边通过主账户授权给子账户。
    或者在大数据开发套件上-数据管理-表管理-修改owner。

    踩0 评论0
  • 回答了问题 2019-07-17

    您好，请问下MaxCompute是否支持增量同步历史数据。 比如我今天创建了日同步任务，他只能同步从今天开始以后的数据。 今天以前的历史数据有没有增量同步的办法呢，历史有千万或者上亿的数据一次同步肯定不合适的。

    您可以参考下补数据，具体的说明和操作方法您可以参考下面链接中的文档https://help.aliyun.com/document_detail/30318.html

    踩0 评论0
  • 回答了问题 2019-07-17

    你好，我在使用MaxCompute的时候 发现 当 需要查询的字段是 double类型时 就会报错

    current_timestamp这个字段和系统自带的函数名字相同，所以误以为是系统函数。

    踩0 评论0
  • 回答了问题 2019-07-17

    昨天买MaxCompute了10个CU包月了，但是SQL根本执行不出来。表里根本没数据。

    应该是被别人的任务占用了，可以排查一下
    show p from 2017-11-01 to 2017-11-02
    kill 2017110206415282gwaogx9

    踩0 评论0
  • 回答了问题 2019-07-17

    a)可以从多台RDS导入到MaxCompute的同一张表吗， 有这方面的自动化工具吗， 工具是否收费 b)导出时是否可以按sql指定？ 比如某字段符合某些条件的才导出，有大概的操作流程或界面展示文档吗？ c)导出过程是否可以加入插件做中间处理，比如java函数。

    a)可使用大数据开发套件，目前套件是不收费的：
    https://help.aliyun.com/document_detail/57121.html

    rds(mysql)支持分库分表导入：
    https://help.aliyun.com/knowledge_detail/49814.html
    注意，无论数据存储在同一数据库还是不同数据库，表结构必须是一致的。

    b)导出到MaxCompute, 必须指定一张表或者表的分区（如果是分区表）。
    https://help.aliyun.com/knowledge_detail/49824.html

    c)不支持。

    踩0 评论0
  • 回答了问题 2019-07-17

    我在使用MaxCompute提供的聚合函数，median 进行求中值的时候，报如下错： FAILED: ODPS-0123049:buffer overflow - in median func the number of row exceeds the max limitation 请问如何解决？

    中位数是有行数限制的，BufferSize最大 1000000且不能修改。
    聚合函数相同key里面的数据超过最大值。
    确认一下这个是否符合预期，如果符合预期的话，建议这个key做单独处理。

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute项目的调度资源怎么删除。

    暂不支持，不过很快开放了。

    踩0 评论0
  • 回答了问题 2019-07-17

    如果MaxCompute一个后付费的项目引用一个预付费项目的表，这个任务的扫描量是算预付费还是算后付费？

    您好，计算在哪里发生，计费就发生在哪里，如果是后付费项目引用一个预付费项目的表，那么计算的费用是属于后付费项目的。

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute自定义UDF中使用了fastjson的代码，但是MaxCompute中没有该库，如何自己加入fastjson的jar到odps资源中并且可以在自定义udf中使用？

    如果您只是需要处理 json，建议您直接使用 gson，同时无需打包时带 gson 的 class。fastjson里用了java.io包，会沙箱拦截。请使用gson包。

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute不支持更新，请问如何实现？

    我们整理了一篇关于“如何用SQL对MaxCompute数据进行修改和删除”的文章，网址如下：https://yq.aliyun.com/articles/66890

    踩0 评论0
  • 提交了问题 2017-10-21

    关于flask jinja2 引擎中for循环控制的一个小问题?

正在加载, 请稍后...
滑动查看更多