maxcompute-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

maxcompute

2017-04-26 20:12:02 4089 5

这是什么了,怎么用,怎么学习,小白可以用吗

取消 提交回答
全部回答(5)
  • 白云4752
    2019-07-17 21:06:31

    52394

    0 0
  • 蓝沁慧智
    2019-07-17 21:06:31

    这也是我想要的属于自己的店里经营的管理系统!我想了解一下是不是也有专业的人帮助我们去完成的?

    0 0
  • 萧宇@52
    2019-07-17 21:06:31

    MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全

    提交一个SQL语句,发送 RESTful 请求给HTTP服务器HTTP 服务器做用户认证。认证通过后,请求就会以 Kuafu通信协议方式发送给 Worker。Worker判断该请求作业是否需要启动Fuxi Job。如果不需要,本地执行并返回结果。如果需要,则生成一个 instance, 发送给 Scheduler。Scheduler把instance信息注册到 OTS,将其状态置成 Running。Scheduler 把 instance 添加到 instance 队列。Worker把 Instance ID返回给客户端。
    倾斜问题则一般是数据本身的问题,常见的数据倾斜是怎么造成的?

    Shuffle的时候,将各个节点上相同的key拉取到某个节点的一个task进行处理,比如按照key进行聚合或join等操作,如果某个key对应的数据量特别大的话,就会发生数据倾斜现象。数据倾斜就成为了整个task运行时间的短板。

    触发shuffle的常见算子:distinct、groupBy、join等。

    要解决数据倾斜的问题,首先要定位数据倾斜发生在什么地方,首先是哪个stage,直接在D2 UI上看就可以,查看数据是否倾斜了
    logview--odps task--detail--stage--longtail

    根据stage日志,判断出数据倾斜发生在哪个算子上。
    根据倾斜发生的阶段,我们又可以把它们分为map倾斜,reduce倾斜,join倾斜
    通常来说,对于倾斜现象,我们首先查看导致数据倾斜的key的数据分布情况,接下来大概有几种处理方案:
    1:过滤数据
    过滤掉某些脏数据,比如说是否可以去掉null,去掉某些条件对应的值
    2:加大并行度
    给任务添加处理资源,加大instance的数量,暴力
    3:对数据进行拆分,分而治之
    如果大表join小表,我们可以用mapjoin,将小表cache进内存
    二次分发,加上随机前缀(数据膨胀),拆分数据集为热点+非热点再进一步处理
    大表join超大表,还可以考虑bloomfilter
    4:组合使用
    上述方法,组合使用
    5:修改业务
    实在没有进步空间,从业务上过滤数据

    1 0
  • 隐林
    2019-07-17 21:06:31

    亲可以看一下产品手册和案例:https://yq.aliyun.com/attachment/download/?id=1489

    0 0
  • 艺卓
    2019-07-17 21:06:31

    当然可以用,到官网先看看文档
    https://www.aliyun.com/product/odps

    另外我们也有样板间可以免费体验
    https://data.aliyun.com/experience/case7

    0 0
添加回答
相关问答

0

回答

maxcompute 有内置吗?

2022-08-02 18:57:03 87浏览量 回答数 0

1

回答

MaxCompute 是什么?

2022-04-15 12:11:13 496浏览量 回答数 1

1

回答

MaxCompute是什么?

2022-03-31 10:56:15 343浏览量 回答数 1

1

回答

MaxCompute 功能有什么?

2021-12-12 11:55:41 160浏览量 回答数 1

1

回答

MaxCompute的功能有哪些?

2021-12-08 17:08:09 192浏览量 回答数 1

1

回答

MaxCompute的计费是什么?

2021-12-08 15:24:57 240浏览量 回答数 1

1

回答

MaxCompute如何计费?

2020-05-26 21:14:04 1771浏览量 回答数 1

2

回答

什么是MaxCompute呢?

2020-05-26 20:29:09 4388浏览量 回答数 2

1

回答

什么是MaxCompute?

2020-03-18 18:40:44 944浏览量 回答数 1

1

回答

MaxCompute数据集合

2017-08-08 11:26:35 2080浏览量 回答数 1
0
文章
1
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载