MaxCompute产品使用合集之如何监控作业和资源使用情况

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

问题一:大数据计算MaxCompute 对id_card_no加密,这个加密方法在dataworks能用吗?

大数据计算MaxCompute 对id_card_no加密

insert overwrite table mf_user_info

select id,

name,

gender,

base64(sym_encrypt(id_card_no,

cast('b75585cf321cdcad42451690cdb7bfc4' as binary),

'AES-GCM-256',

'test'

))as id_card_no,

tel

from mf_user_info;

select * from mf_user_info; 这个加密方法在dataworks能用吗,怎么识别不了关键字。 哪位老师清楚?



参考答案:

在SQL语句前加上语句set odps.sql.type.system.odps2=true;,并与SQL语句一起提交执行。

试一下 ,



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/580054



问题二:Tableau售后还是说是数据库编码问题,具体maxcompute这边怎么加呢?

Tableau售后还是说是数据库编码问题,还是让我门找大数据计算MaxCompute这边,具体maxcompute这边怎么加呢?



参考答案:

MaxCompute侧是在SQL前加set odps.sql.type.system.odps2=true;

跟SQL一起执行就可以。 但tableau生成SQL前会先select * from (xxxx自定义SQL)

就会报错



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/580052



问题三:大数据计算MaxCompute 往hash聚簇表 里面录数据有点慢,有什么参数 可以加速吗?

大数据计算MaxCompute 往hash聚簇表 里面录数据有点慢,有什么参数 可以加速吗?



参考答案:

可以 https://help.aliyun.com/zh/maxcompute/user-guide/load-2?spm=a2c4g.11174283.0.i28 



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/580050



问题四:请问下大数据计算MaxCompute PyODPS 3节点可以调用环境变量吗?

请问下大数据计算MaxCompute PyODPS 3节点可以调用环境变量吗?如果可以的话在哪里设置环境变量呢?



参考答案:

DataWorks的PyODPS3节点调用环境变量吗?DataWorks上只能配置调度参数,看看格式满足吗?

https://help.aliyun.com/zh/dataworks/user-guide/configure-and-use-scheduling-parameters#section-11h-h0w-w1h 



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/580046



问题五:大数据计算MaxCompute有没有监控页面,能查看我的内存或者cpu使用情况,类似这种页面?

大数据计算MaxCompute有没有监控页面,能查看我的内存或者cpu使用情况,类似这种页面?



参考答案:

MaxCompute控制台 - 资源观测



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/580045

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
4月前
|
人工智能 分布式计算 DataWorks
大数据AI产品月刊-2025年7月
大数据& AI 产品技术月刊【2025年7月】,涵盖7月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
6月前
|
资源调度 安全 Java
Java 大数据在智能教育在线实验室设备管理与实验资源优化配置中的应用实践
本文探讨Java大数据技术在智能教育在线实验室设备管理与资源优化中的应用。通过统一接入异构设备、构建四层实时处理管道及安全防护双体系,显著提升设备利用率与实验效率。某“双一流”高校实践显示,设备利用率从41%升至89%,等待时间缩短78%。该方案降低管理成本,为教育数字化转型提供技术支持。
166 2
|
3月前
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
322 2
|
5月前
|
存储 搜索推荐 算法
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
本文深入探讨了Java大数据技术在智能金融理财产品风险评估与个性化配置中的关键应用。通过高效的数据采集、存储与分析,Java大数据技术助力金融机构实现精准风险评估与个性化推荐,提升投资收益并降低风险。
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
|
5月前
|
机器学习/深度学习 Java 大数据
Java 大视界 -- Java 大数据在智能政务公共资源交易数据分析与监管中的应用(202)
本篇文章深入探讨了 Java 大数据在智能政务公共资源交易监管中的创新应用。通过构建高效的数据采集、智能分析与可视化决策系统,Java 大数据技术成功破解了传统监管中的数据孤岛、效率低下和监管滞后等难题,为公共资源交易打造了“智慧卫士”,助力政务监管迈向智能化、精准化新时代。
|
3月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
225 14
|
5月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
176 4
|
4月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
169 0

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute