问题一:DataWorks中CDH hive任务开发时任务能执行成功,请分析下原因及解决方案?
DataWorks中CDH hive任务开发时任务能执行成功,但发布后任务执行失败,报错日志:/bin/bash: /opt/taobao/tbdpapp/cdhwrapper/cdh.sh: 没有那个文件或目录 , ERROR Shell run failed!,请分析下原因及解决方案?
参考回答:
节点右侧调度配置中修改一下调度资源组 改成初始化成功的独享调度资源组
目前看使用了公共资源组
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/599028
问题二:DataWorks使用连接串模式新建ES数据源报错 这是什么原因?
DataWorks使用连接串模式新建ES数据源报错 这是什么原因?ErrorMessage:[check elasticsearch connectivity error: GetHealth error: class com.alibaba.di.datasource.DatasourceException error: ResponseCode: 403 ErrorMessage: {"type":"system_exception","reason":"Forbidden"}]
参考回答:
es版本是多少呢 6.x及以上需使用独享集成资源组https://help.aliyun.com/zh/dataworks/user-guide/elasticsearch-data-source?spm=a2c4g.11186623.0.i1#task-2312953
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/599027
问题三:DataWorks添加参数, 执行写入用报错还是 admin用户?
DataWorks添加参数,"hdfsUsername":"root", 执行写入用报错还是 admin用户?https://di-cn-hangzhou.data.aliyun.com/web/di/instanceLog?id=1118464491&resourceGroup=S_res_group_555908468234305_1701930458091&requestId=84160966-0be7-4569-8b34-3b10f4a4a6e4&projectId=113392
参考回答:
加在和writer端的table同级也没有生效吗 辛苦再发一下detail log连接,改成hdfs
改成"hdfsUsername":"root",再试试
您脚本模式 加这个再试试 "jvmOption":"-DHADOOP_USER_NAME=root"
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/599026
问题四:DataWorks数据服务的注册api模块,假设后端服务异常了,不是把后端服务的详细异常信息返回吗?
DataWorks数据服务的注册api模块,假设后端服务异常了,能配置成只返回简短的描述,而不是把后端服务的详细异常信息返回吗?
参考回答:
api网关有个错误码定义之类的 可以看下是否能满足需求
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/599025
问题五:DataWorks工作空间参数 支持CDH 节点吗?
DataWorks工作空间参数 支持CDH 节点吗?
参考回答:
DataWorks工作空间参数支持CDH节点。
DataWorks是阿里云提供的一种大数据开发、运维和治理的集成服务,它支持多种计算引擎和数据源,包括Apache Hadoop和Apache Spark等开源生态。具体到CDH(Cloudera's Distribution Hadoop)的支持,DataWorks允许用户在工作空间中创建和管理CDH集群,以及执行相关的数据处理任务。以下是如何在DataWorks中使用CDH节点的一些步骤:
- 创建CDH节点:登录DataWorks控制台,选择数据开发模块,右键单击业务流程,选择新建节点,然后选择CDH > CDH Hive来创建一个新的CDH节点。
- 配置节点信息:在新建节点的弹窗中,输入节点的名称,并根据需要配置其他相关参数,如CDH集群的详细信息。
- 管理参数节点:DataWorks支持参数节点,这是一种虚拟节点,用于管理业务流程中的参数,并实现参数在任务节点中的传递。这有助于提高数据处理任务的灵活性和复用性。
- 计算引擎管理:在DataWorks工作空间中,可以通过计算引擎管理界面创建和管理CDH集群。在创建CDH集群时,需要提供相关的配置信息,如HDFS Namenode、ResourceManager、YARN的地址和端口等。
- 开发SQL代码:在创建了CDH节点之后,可以双击节点进入任务开发页面,编写和执行SQL代码来完成数据处理任务。
综上所述,DataWorks提供了对CDH节点的支持,允许用户在阿里云的大数据平台上使用CDH集群进行数据处理和分析。这种集成使得用户可以更加方便地在云环境中管理和运行基于Hadoop的大数据任务。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/599024