DataWorks是否支持CDH SparkSql节点?

是的，DataWorks支持CDH Spark SQL节点，并且提供了完整的功能来帮助用户进行任务开发、调度和管理。以下是关于DataWorks支持CDH Spark SQL节点的详细说明：

1. CDH Spark SQL节点的功能

CDH Spark SQL节点是一种分布式SQL查询引擎，能够高效处理结构化数据，提升作业执行效率。通过DataWorks，您可以实现以下操作： - 开发和周期性调度CDH Spark SQL任务。 - 与其他作业（如Hive、Spark等）集成。 - 支持动态传参和复杂SQL逻辑的编写。

2. 使用前提条件

在使用CDH Spark SQL节点之前，需要满足以下前提条件： 1. 创建并注册CDH集群：您需要在阿里云上创建CDH集群，并将其注册到DataWorks中。 2. 配置Serverless资源组：仅支持使用Serverless资源组运行CDH Spark SQL节点任务。 3. 创建业务流程：在DataStudio中创建业务流程，作为开发操作的基础。 4. 配置Hive数据源：确保已在DataWorks中配置Hive数据源并通过连通性测试。 5. 权限要求： - 如果使用RAM账号进行任务开发，需将该账号添加至对应工作空间，并赋予“开发”或“空间管理员”角色权限。 - 主账号无需额外操作。

3. 创建和配置CDH Spark SQL节点

以下是创建和配置CDH Spark SQL节点的具体步骤：

步骤一：创建节点

1. 登录DataWorks控制台，选择目标地域，进入“数据开发与治理 > 数据开发”页面。
2. 在目标业务流程上右键，选择“新建节点 > CDH > CDH Spark SQL”。
3. 输入节点名称并确认，完成节点创建。

步骤二：开发SQL代码

1. 在节点编辑页面的SQL编辑区域编写SQL代码。
   • 支持使用${变量名}方式定义变量，并在“调度配置”中为变量赋值，实现动态传参。
   • 示例代码：

     CREATE TABLE IF NOT EXISTS example_table (id INT, name STRING);
     INSERT INTO example_table VALUES (1, 'test');
     

2. 配置高级参数（如内存分配、YARN队列等），以优化任务运行性能。

步骤三：配置任务调度

1. 在节点编辑页面右侧的“调度配置”中，设置任务的调度信息：
   • 调度频率（如每天、每小时）。
   • 重跑属性（如失败后重试次数）。
   • 上下游依赖关系。
2. 选择与目标节点网络连通的调度资源组。

步骤四：调试任务

1. 在工具栏中选择调试运行所需的调度资源组。
2. 为任务代码中的调度参数变量赋值。
3. 保存并运行任务，验证其执行是否符合预期。

4. 提交和发布任务

1. 保存节点：点击工具栏中的“保存”图标。
2. 提交节点任务：点击“提交”图标，输入变更描述，选择是否进行代码评审。
3. 发布任务：对于标准模式的工作空间，需将任务发布至生产环境。

5. 后续操作

• 任务运维：进入运维中心查看周期任务的调度运行情况。
• 查看血缘关系：在数据地图中查看任务的血缘关系，进行影响分析。

6. 使用限制

• 资源组限制：仅支持使用Serverless资源组运行CDH Spark SQL节点任务。
• 权限管理：RAM账号需具备“开发”或“空间管理员”角色权限，主账号无此限制。

7. 相关场景

CDH Spark SQL节点适用于以下场景： - 数据分析：利用Spark SQL API进行复杂的数据聚合、筛选和转换。 - 流处理：结合Spark Streaming处理实时数据流。 - 机器学习：使用Spark MLlib进行数据预处理、特征提取、模型训练和评估。 - 大规模ETL任务：处理大数据集的抽取、转换和加载。

通过以上内容可以看出，DataWorks对CDH Spark SQL节点的支持非常全面，涵盖了从任务开发到调度、运维的全流程。如果您有进一步的需求或疑问，可以参考相关文档或联系技术支持团队获取帮助。