在大数据计算MaxCompute中，发现数据有点不准确，是因为走的mr任务吗？
在大数据计算MaxCompute中，能帮我看一下这段sql ，用这个逻辑 出来的数据 cn_rate 在某个维度 数据全是一样的，这个跑的是 mc 的 sql，发现 数据有点不准确，是因为走的mr任务吗？
select
user_agent,
country_code,
platform,
os_version,
model
from (select
GET_JSON_OBJECT(json_log,'$.country_code') as country_code ,
GET_JSON_OBJECT(json_log,'$.platform') as platform,
GET_JSON_OBJECT(json_log,'$.os_version') as os_version,
GET_JSON_OBJECT(json_log,'$.user_agent')as user_agent,
GET_JSON_OBJECT(json_log,'$.model')as model,
GET_JSON_OBJECT(json_log,'$.deviceType')as device_type
from hehe_data_produce.ods_exter_dsp_last7d_df where pt1 = '${dt_3}') t1
where device_type = '3'
union ALL
select
user_agent,
country_code,
platform,
os_version,
model
from (select
GET_JSON_OBJECT(json_log,'$.country_code') as country_code ,
GET_JSON_OBJECT(json_log,'$.platform') as platform,
GET_JSON_OBJECT(json_log,'$.os_version') as os_version,
GET_JSON_OBJECT(json_log,'$.user_agent')as user_agent,
GET_JSON_OBJECT(json_log,'$.model')as model,
GET_JSON_OBJECT(json_log,'$.deviceType')as device_type
from hehe_data_produce.ods_exter_dsp_last7d_df where pt1 = '${dt_4}') t1
where device_type = '3'
)
写回答
-
你把cn_rate写在窗口函数里边呢，order by cn_rate desc这种，排一下顺序；并且cn_rate最好不好有重复值，我看这个SQL跑挺长时间的，如果要排查，得逐步排查，一次次执行不大合适；你可以把with as语句的SQL执行落一下结果表，然后直接用结果表查你想要的窗口函数效果，逐步排查一下看看哪里有问题，有什么问题，是SQL问题还是mc的问题。此回答整理自钉群“MaxCompute开发者社区2群”
2024-08-16 15:20:46赞同 6 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
