http://logview.odps.aliyun.com/logview/?h=http://s
http://logview.odps.aliyun.com/logview/?h=http://service.odps.aliyun.com/api&p=das_data_service&i=20230329043418324gr0lubc12gk4&token=ekE3cWJSOXo2K04ydXBwejJZNzU5bmZUa2xRPSxPRFBTX09CTzoxMDgzOTgwNDk2NTQwNTYzLDE2ODI2NTY0NTgseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL2Rhc19kYXRhX3NlcnZpY2UvaW5zdGFuY2VzLzIwMjMwMzI5MDQzNDE4MzI0Z3IwbHViYzEyZ2s0Il19XSwiVmVyc2lvbiI6IjEifQ== 已经通过参数，缩小了instance个数，但任务还是长时间不推进，还有什么优化手段Logview Portalhttp://logview.odps.aliyun.com/logview/?h=http://service.odps.aliyun.com/api&p=das_data_service&i=20230329043418324gr0lubc12gk4&token=ekE3cWJSOXo2K04ydXBwejJZNzU5bmZUa2xRPSxPRFBTX09CTzoxMDgzOTgwNDk2NTQwNTYzLDE2ODI2NTY0NTgseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL2Rhc19kYXRhX3NlcnZpY2UvaW5zdGFuY2VzLzIwMjMwMzI5MDQzNDE4MzI0Z3IwbHViYzEyZ2s0Il19XSwiVmVyc2lvbiI6IjEifQ==http://logview.odps.aliyun.com/logview/?h=htt...2lvbiI6IjEifQ==
写回答
-
十分耕耘，一定会有一分收获！楼主你好，举一个例子：将join的二个小表，使用mapjoin的方式进行优化，将每个小表的内容load到每个mapper节点的内存中，这个速度可以大大优化，但是对小表的大小是有限制的，如果太小，可以设置每个mapper的memery的大小，但是这些都不是万能的，当资源不足时，可能会造成资源等待。所以优化方案要根据自己sql以及涉及到的数据量进行优化，任何优化方法都不是万能的。
2023-04-14 08:02:40赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
