问题一:dataworks 默认数据存储是什么?
dataworks 默认数据存储是什么?
参考回答:
]以下是几种常见的数据存储服务及其在DataWorks中的用途:
- MaxCompute:
- MaxCompute是阿里云提供的快速、完全托管的计算服务,用于大数据计算。
- 当您在DataWorks中创建计算任务时,如果没有指定其他存储服务,默认情况下,计算节点的输出结果可能会存储在MaxCompute中。
- MaxCompute存储的是表格式数据,适用于大规模数据处理和分析。
- OSS(Object Storage Service):
- OSS是阿里云提供的可扩展的云存储服务,用于存储和访问任意类型的数据。
- 在DataWorks中,OSS可以作为计算任务的输入输出存储位置。
- 如果您需要将数据处理结果存储在OSS中,可以在DataWorks的任务配置中指定OSS存储桶。
- Table Store(OTS):
- Table Store是阿里云提供的一种NoSQL数据库服务,适用于存储半结构化数据。
- 如果您的数据处理任务需要处理半结构化数据,并且希望将结果存储在Table Store中,可以在任务配置中指定Table Store的表。
- 其他云服务:
- 根据您的需求,DataWorks还可以支持其他阿里云服务,如EMR(Elastic MapReduce)、DataLake等,作为数据存储服务。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/619798
问题二:DataWorks现在需要删除这个独享调度资源组,但是没找到删除的地方 要在哪里删除呢?
DataWorks现在需要删除这个独享调度资源组,但是没找到删除的地方 要在哪里删除呢?
参考回答:
管理控制台-已购资源列表 中可以退订
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/619797
问题三:DataWorks jvm参数看起来跟并发数也没啥关系呢,这个12G是从哪里来的?
DataWorks jvm参数看起来跟并发数也没啥关系呢,这个12G是从哪里来的?
参考回答:
现在看是1.5g了 重新调整了吗
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/619796
问题四:dataworks引用第三方库?
dataworks引用第三方库?
参考回答:
引用第三方库的方法通常如下:
- 上传第三方库:
- 在DataWorks的项目中,您需要先上传第三方库的jar文件。这可以通过DataWorks的文件管理功能完成。
- 确保上传的jar文件是经过验证的,没有篡改,并且与您的项目兼容。
- 依赖管理:
- 在您的数据处理脚本中(例如使用SQL脚本或MaxCompute MapReduce脚本),您可以指定需要引用的第三方库。
- 对于MapReduce脚本,您可以在
job.properties
文件中指定jar包依赖。 - 对于SQL脚本,您可以在脚本中使用
LOAD LIBRARY
语句来加载第三方库。
- 使用第三方库:
- 在您的脚本中,根据需要调用第三方库提供的函数或类。
- 确保您了解并遵循第三方库的API和使用方式。
- 调试和测试:
- 在将第三方库集成到您的DataWorks任务之前,建议在测试环境中进行调试和测试,以确保库的功能正常,并且与DataWorks兼容。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/619794
问题五:MaxCompute是否支持 WITH RECURSIVE写递归?
MaxCompute是否支持 WITH RECURSIVE写递归?
参考回答:
mc不支持 需要用pyodps写递归函数
关于本问题的更多回答可点击原文查看: