开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

maxcompute的资源包括什么?

maxcompute的资源包括什么?

展开
收起
滴滴滴~ 2023-03-22 10:12:35 292 0
3 条回答
写回答
取消 提交回答
  • 随心分享,欢迎友善交流讨论:)

    MaxCompute是阿里云提供的一种快速、完全托管的大数据计算和存储云服务。它的资源包括:

    存储资源:MaxCompute提供PB级别的数据存储服务,支持多种数据格式,包括文本、JSON、ORC、Parquet等。MaxCompute的数据存储采用分布式存储技术,数据会被自动分散到不同的节点上,保证数据的高可靠性和高可用性。

    计算资源:MaxCompute提供PB级别的数据计算服务,支持SQL、MapReduce、Graph等多种计算模型。计算资源包括大规模的计算集群、高速网络、高性能计算节点等,能够满足各种复杂的计算需求。

    安全资源:MaxCompute提供完整的数据安全管理功能,包括身份认证、权限管理、数据加密等,能够保证数据的安全性和隐私性。

    数据集成资源:MaxCompute提供数据集成平台,支持从多个数据源抽取数据、进行数据清洗和转换,并将数据导入到MaxCompute中进行计算。

    开发资源:MaxCompute提供完整的开发工具集,包括MaxCompute Studio、DataWorks等,能够帮助开发者高效地进行大数据开发和管理。

    2023-03-23 10:20:57
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    MaxCompute 是阿里云推出的大数据计算引擎,其资源包括以下几个方面:

    • 存储资源:MaxCompute 提供的存储资源是分布式存储,可以存储 PB 级别的数据,并提供高可靠性和高可用性。存储资源的计费方式为按照存储空间计算。

    • 计算资源:MaxCompute 提供的计算资源是大规模并行处理(MPP)的计算集群,可以对 PB 级别的数据进行快速计算。计算资源的计费方式为按照使用的计算资源量计算。

    • 数据传输资源:MaxCompute 提供了数据传输服务,可以快速将数据从阿里云的其他产品(如 OSS、RDS 等)或其他云厂商的数据源中导入到 MaxCompute 中进行计算,或将计算结果导出到其他数据源中。数据传输资源的计费方式为按照数据传输量计算。

    • 其他资源:MaxCompute 还提供了诸如任务调度、安全管理、数据开发和调试等方面的资源,以支持数据分析和处理的全生命周期管理。

    需要注意的是,MaxCompute 的资源是可以根据业务需求进行弹性调整的,用户可以按需购买和使用相应的资源,以满足不同业务场景下的需求。

    2023-03-22 11:11:24
    赞同 展开评论 打赏
  • 如果您的代码或函数中需要使用.jar等资源文件,您可以先上传资源至该工作空间,再进行引用。如果现有的系统内置函数无法满足您的需求,DataWorks支持创建自定义函数,实现个性化处理逻辑。将实现逻辑的JAR包上传至工作空间下,便可以在创建自定义函数时进行引用。说明您可以在函数列表面板查看系统内置的函数,详情请参见查看函数列表。您可以在MaxCompute函数面板查看在DataWorks提交或发布的函数,详情请参见MaxCompute函数。您可以将文本文件、Python代码以及.zip、.tgz、.tar.gz、.tar、.jar等压缩包作为不同类型的资源上传至MaxCompute,在UDF及MapReduce的运行过程中读取、使用资源。MaxCompute为您提供读取、使用资源的接口。目前资源包括以下类型:Python:您编写的Python代码,用于注册Python UDF函数。JAR:编译好的Java JAR包。Archive:通过资源名称中的后缀识别压缩类型,支持的压缩文件类型包括.zip、.tgz、.tar.gz、.tar和.jar。File:仅支持.zip、.so和.jar类型的File资源。JAR和File类型的资源,区别如下:JAR资源是您在线下Java环境编辑Java代码,打包为JAR包上传至DataWorks。File类型的小文件资源可以直接在DataWorks上编辑。新建File类型资源时,选中大文件,可以上传超过500 KB的本地资源文件。说明 目前支持最大可以上传50 MB资源。超过50 MB的资源,您可以通过MaxCompute客户端上传,并使用MaxCompute资源提交至DataWorks。详情请参见MaxCompute资源。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-22 10:41:54
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载