http://logview.odps.aliyun.com/logview/?h=http://s

http://logview.odps.aliyun.com/logview/?h=http://service.odps.aliyun.com/api&p=das_data_service&i=20230329043418324gr0lubc12gk4&token=ekE3cWJSOXo2K04ydXBwejJZNzU5bmZUa2xRPSxPRFBTX09CTzoxMDgzOTgwNDk2NTQwNTYzLDE2ODI2NTY0NTgseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL2Rhc19kYXRhX3NlcnZpY2UvaW5zdGFuY2VzLzIwMjMwMzI5MDQzNDE4MzI0Z3IwbHViYzEyZ2s0Il19XSwiVmVyc2lvbiI6IjEifQ== 已经通过参数,缩小了instance个数,但任务还是长时间不推进,还有什么优化手段Logview Portalhttp://logview.odps.aliyun.com/logview/?h=http://service.odps.aliyun.com/api&p=das_data_service&i=20230329043418324gr0lubc12gk4&token=ekE3cWJSOXo2K04ydXBwejJZNzU5bmZUa2xRPSxPRFBTX09CTzoxMDgzOTgwNDk2NTQwNTYzLDE2ODI2NTY0NTgseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL2Rhc19kYXRhX3NlcnZpY2UvaW5zdGFuY2VzLzIwMjMwMzI5MDQzNDE4MzI0Z3IwbHViYzEyZ2s0Il19XSwiVmVyc2lvbiI6IjEifQ==http://logview.odps.aliyun.com/logview/?h=htt...2lvbiI6IjEifQ==

展开
收起
十一0204 2023-04-05 09:08:37 282 分享 版权
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,举一个例子:将join的二个小表,使用mapjoin的方式进行优化,将每个小表的内容load到每个mapper节点的内存中,这个速度可以大大优化,但是对小表的大小是有限制的,如果太小,可以设置每个mapper的memery的大小,但是这些都不是万能的,当资源不足时,可能会造成资源等待。所以优化方案要根据自己sql以及涉及到的数据量进行优化,任何优化方法都不是万能的。

    2023-04-14 08:02:40
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理