Hadoop集群管理:向繁琐的计算源创建Say ByeBye

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 为了解决Hadoop计算源创建复杂、维护困难的问题,Dataphin在V4.4 版本推出了Hadoop集群管理功能,支持用户引用集群信息进行计算源的创建,大大提高用户的创建和维护效率。

概述

使用限制:仅CDH 5.x、CDH 6.x、EMR 3.x、EMR 5.x、CDP、亚信DP、华为FusionInsight类型的计算引擎支持Hadoop集群管理。

功能介绍:

  • 支持创建和管理Hadoop集群
  • 新建计算源时可引用指定集群,只需填写数据库的名称,无需重复上传配置文件
  • 集群信息变更将同步修改关联计算源的配置信息

版本要求:Dataphin V4.4版本及以上。

应用场景

小A是公司数据部门的成员,日常工作中需要为每个使用Dataphin的部门创建Hadoop计算源,以及负责日常计算源的维护。小A一直有以下两个烦恼:

  1. 每次创建Hadoop计算源时上传的文件和填写的信息大部分都是相同的,且所需要填写的信息较多,创建需要较长的时间。
  2. 当Hadoop集群的信息变更,例如:Hive数据库的IP地址切换、krb5文件更新等,都需要逐一修改所有的计算源。

如上所示,Hadoop计算源存在着创建复杂、批量管理困难的问题。为了解决这个问题,Dataphin V4.4版本推出了Hadoop集群管理的功能,有了它,让我们向繁琐的Hadoop计算源创建Say ByeBye~

产品功能概览

  • Hadoop集群管理:
  • 支持新建、编辑、克隆、删除Hadoop集群;
  • 支持查看Hadoop集群的历史版本,并可下载配置文件

  • 支持设置可引用当前集群的用户,实现集群的安全管控。

           

  • 新建Hadoop计算源
  • 支持“引用指定集群”和“单独配置”两种配置方式:选择“引用指定集群”时,将与所选集群建立关联,后续集群变更信息将同步修改当前计算源;
  • 选择“引用指定集群”时,仅需基于集群的JDBC URL填写指定的数据库名称,同时支持基于Hive计算引擎的JDBC URL进行个性化的配置。


温馨提示

Dataphin支持“Hadoop集群管理”后,一个租户中可以管理多个集群实例。但是,一个计算任务仅能在一个集群中运行,不同Hadoop集群之间的数据无法进行联接操作。所以,如果某个计算任务中需要访问的数据来源于两个不同的Hadoop集群,那么该任务将会运行失败。





相关文章
|
4月前
|
资源调度 分布式计算 Hadoop
揭秘Hadoop Yarn三大调度器:如何玩转资源分配,实现高效集群管理?
【8月更文挑战第24天】Hadoop YARN(Another Resource Negotiator)是一款强大的集群资源管理工具,主要负责高效分配及管理Hadoop集群中的计算资源。本文深入剖析了YARN的三种调度器:容量调度器(Capacity Scheduler)、公平调度器(Fair Scheduler)以及FIFO调度器,并通过具体的配置示例和Java代码展示了它们的工作机制。
97 2
|
4月前
|
图形学 C# 开发者
Unity粒子系统全解析:从基础设置到高级编程技巧,教你轻松玩转绚丽多彩的视觉特效,打造震撼游戏画面的终极指南
【8月更文挑战第31天】粒子系统是Unity引擎的强大功能,可创建动态视觉效果,如火焰、爆炸等。本文介绍如何在Unity中使用粒子系统,并提供示例代码。首先创建粒子系统,然后调整Emission、Shape、Color over Lifetime等模块参数,实现所需效果。此外,还可通过C#脚本实现更复杂的粒子效果,增强游戏视觉冲击力和沉浸感。
270 0
|
SQL 分布式计算 运维
Hadoop数据源及计算源支持二段式Principal
Hadoop计算源及Hadoop相关数据源采用Kerberos认证方式非常常见,在这种认证方式下,二段式Principal能满足客户对安全及易用性的需求。本文将为您说明二段式Principal配置方式。
797 0
Hadoop数据源及计算源支持二段式Principal
|
存储 分布式计算 监控
|
分布式计算 算法 大数据
hadoop集群管理系统搭建规划说明
Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情,因为你可能花费了很久的时间在搭建运行环境,最终却不知道什么原因无法创建成功。但对新手来说,运行环境搭建不成功的概率还蛮高的。
1495 0
|
分布式计算 算法 大数据
|
分布式计算 资源调度 大数据
|
存储 资源调度 分布式计算
Hadoop集群管理
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51474289 HDFS...
1028 0
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
184 6
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
78 2