Cloudera 软件分发管理

简介: Cloudera Manager的主要功能是安装和升级Cloudera Runtime和其他托管服务。Cloudera Manager支持两种软件分发格式:package和parcel。

Cloudera Manager的主要功能是安装和升级Cloudera Runtime和其他托管服务。Cloudera Manager支持两种软件分发格式:package和parcel。

package 是包含了编译的代码和元信息的二进制分发格式,其中元数据包括诸如 package 描述、版本、和依赖。程序包管理系统评估此元信息,以允许程序包搜索,执行对较新版本的升级并确保满足程序包的所有依赖关系。Cloudera Manager 对每个受支持的 OS 使用原生的系统软件包管理器来安装和升级 Cloudera Manager。


Parcel 是包含程序文件的二进制分发格式,与由 Cloudera 的管理器使用的附加元数据。parcel 具有以下优点:

  • parcel 是独立的,并安装在版本目录中,这意味着可以并行安装给定 parcel 的多个版本。然后,您可以将这些已安装版本之一指定为活动版本。使用软件 package 时,一次只能安装一个软件 package,因此在安装内容和活动内容之间没有区别。
  • 滚动升级需要 parcel。
  • 您可以在文件系统中的任何位置安装 parcel。它们默认安装在中/opt/cloudera/parcels。相反,软件 package 安装在中/usr/lib。
  • 从 parcel 安装时页面上,Cloudera Manager 会自动为群集中每个主机上运行的操作系统下载、分发和激活正确的 parcel。组成逻辑集群的所有 Cloudera Runtime 主机必须在相同的主要OS版本上运行,才能被 Cloudera 支持覆盖。Cloudera Manager 必须与其所管理的至少一个 Cloudera Runtime 集群在相同的主要OS版本上运行,才能被 Cloudera 支持所涵盖。运行不同的次要操作系统版本引起的问题风险被认为低于运行不同的次要操作系统版本引起的风险。Cloudera 建议运行相同的次要发行版跨集群,因为它可以简化问题跟踪和可支持性。

image.png

由于其独特的属性,与 package 相比,parcel 具有以下优点:

  • 将 Cloudera Runtime 分发为单个对象-将 parcel 作为单个对象分发,而不是为 Cloudera Runtime 的每个组件都具有单独的 package。这样可以更轻松地将软件分发到未连接到 Internet 的群集。
  • 内部一致性-所有 Cloudera Runtime 组件都匹配,从而消除了从不同 Cloudera Runtime 版本安装组件的可能性。
  • /usr之外安装-在某些环境中,Hadoop 管理员没有安装系统软件包的特权。有了 parcel,管理员可以安装到 /opt或其他任何地方。


注意

使用 parcel,Cloudera Runtime 库的路径/opt/cloudera/parcels/Cloudera Runtime/lib 不是通常的 /usr/lib。不要将 /usr/lib/ 元素链接到 parcel 部署的路径,因为链接会导致无法区分两个路径的脚本。

  • 不使用 sudo 命令就可以安装 Cloudera Runtime。parcel 的安装由以 root 或另一个用户身份运行的 Cloudera Manager Agent 处理,因此您可以不带 sudo。
  • 分发与激活脱钩-通过并行安装功能,您可以在切换到集群之前在集群中暂存新版本的 Cloudera Runtime。这样可以在不影响群集操作的情况下提前完成升级中最耗时的部分,从而减少停机时间。
  • 滚动升级-使用软件包要求您关闭旧进程,升级软件 package,然后启动新进程。错误可能很难恢复,升级需要与程序包管理系统进行广泛集成才能无缝运行。使用 parcel,并排暂存新版本时,您可以通过简单地更改重新启动每个进程时使用的Cloudera Runtime 版本来切换到新的次要版本。然后,您可以通过滚动重新启动来执行升级,其中以正确的顺序重新启动服务角色,以最小的服务中断切换到新版本。在整个群集中暂存新版本时,您的群集可以继续在现有已安装的组件上运行,不会影响您目前的运营。主要版本升级(例如,从 CDH5到 Cloudera Runtime 7)需要重新启动所有服务,因为版本之间存在重大变化。最后,您可以同时升级单个 parcel 或多个 parcel。
  • 升级管理-Cloudera Manager 管理 Cloudera Runtime 集群升级中的所有步骤。
  • 其他组件-parcel 不局限于 Cloudera Runtime。LZO 和附加服务的 parcel 也可以使用。
  • 与其他分发工具的兼容性-Cloudera Manager 与您用于下载和分发的其他工具(例如Puppet)一起使用。或者,如果您的集群没有 Internet 连接,则可以手动将parcel 下载到 Cloudera Manager Server,然后让 Cloudera Manager 将 parcel 分发到集群。




点击链接参与阿里云CDP限时免费测试啦~

https://survey.aliyun.com/apps/zhiliao/owtTaIQU3


钉钉扫描下方二维码加入阿里云 Cloudera 企业数据云交流群一起参与讨论吧!

d0ac74ecbea740db9424e2c277fae75d.jpg

相关文章
|
人工智能 弹性计算 编解码
技术分享 | 如何基于阿里云AIACC加速Stable-Diffusion AI绘画
AIACC是基于阿里云IaaS资源推出的神龙AI性能加速套件,用于优化基于AI主流计算框架搭建的模型,能显著提升训练和推理性能。AIACC神龙AI推理加速套件由AIACC-Torch(Pytorch推理加速引擎)、AIACC-MLIR(MLIR推理加速引擎)、AIACC-HRT(AIACC算子深度加速引擎)等组件构成。AIACC神龙AI性能加速套件能够为Stable-Diffusion提供加速优化支持,在512x512分辨率下,可将单张图片的延迟从2秒降低至0.88秒,吞吐提速至原来的2.2倍。
技术分享 | 如何基于阿里云AIACC加速Stable-Diffusion AI绘画
|
弹性计算 虚拟化 KVM
Intel Xeon E5-2682 V4 (Broadwell) 2.5 GHz 性能评测 阿里云ECS服务器
Intel Xeon E5-2682 V4 (Broadwell) 2.5 GHz 性能评测 阿里云ECS服务器 阿里云 优 惠 地 址 https://promotion.aliyun.com/ntms/yunparter/invite.html?userCode=q3dtcrrv 阿里云ECS服务器是一种弹性可伸缩的云服务器,通过虚拟化平台将服务器集群虚拟为多个性能可配的虚拟机(KVM),对整个集群系统中所有KVM进行监控和管理,并根据实际资源使用情况灵活 分配和调度资源池。
11868 2
|
9月前
|
机器学习/深度学习 人工智能 供应链
宜家是如何通过实施30000个AI应用实例来驱动家居零售新体验的
宜家是如何通过实施30000个AI应用实例来驱动家居零售新体验的
|
SQL 安全 前端开发
软件测试指南:从策略到实践
【8月更文第21天】软件测试是为了评估软件的质量并验证其是否符合预期的功能要求而进行的一系列活动。本文将详细介绍软件测试的不同阶段、测试类型、测试策略与计划的制定、以及如何有效地管理与跟踪发现的缺陷。
908 1
|
搜索推荐 算法 Java
手写快排:教你用Java写出高效排序算法!
快速排序(QuickSort)是经典的排序算法之一,基于分治思想,平均时间复杂度为O(n log n),广泛应用于各种场合。在这篇文章中,我们将手写一个Java版本的快速排序,从基础实现到优化策略,并逐步解析代码背后的逻辑。
460 1
|
数据可视化 安全 搜索推荐
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”(2)
干货|FESCO Adecco外企德科:Quick BI打造战略管理“观数台”
442 4
|
网络协议 Java Linux
PyAV学习笔记(一):PyAV简介、安装、基础操作、python获取RTSP(海康)的各种时间戳(rtp、dts、pts)
本文介绍了PyAV库,它是FFmpeg的Python绑定,提供了底层库的全部功能和控制。文章详细讲解了PyAV的安装过程,包括在Windows、Linux和ARM平台上的安装步骤,以及安装中可能遇到的错误和解决方法。此外,还解释了时间戳的概念,包括RTP、NTP、PTS和DTS,并提供了Python代码示例,展示如何获取RTSP流中的各种时间戳。最后,文章还提供了一些附录,包括Python通过NTP同步获取时间的方法和使用PyAV访问网络视频流的技巧。
3110 4
PyAV学习笔记(一):PyAV简介、安装、基础操作、python获取RTSP(海康)的各种时间戳(rtp、dts、pts)
|
网络协议 安全 网络安全
|
弹性计算 负载均衡 定位技术
阿里云服务器地域怎么选?看这一篇文章就够了,小白入门
阿里云服务器地域选择应考虑速度延迟、内网互通、价格差异和备案限制。建议用户根据所在地区就近选择,以减少网络延迟。同一地域内的产品可实现内网互通,不同地域间则无法跨地域部署负载均衡或使用内网连接。价格因地域而异,部分区域可能有优惠。此外,若需在中国内地进行网站经营性备案,需选择特定地域如北京或深圳。详细信息参考阿里云官方页面。
2802 5
阿里云服务器地域怎么选?看这一篇文章就够了,小白入门
|
存储 Ubuntu 开发工具
Ubuntu网络设置之固定IP详解
尊敬的家人们,欢迎观看我的文章!今天,我们将为您介绍Ubuntu22.04操作系统中固定IP的设置方法,帮助您更好地管理网络连接并提高网络稳定性。
709 0
Ubuntu网络设置之固定IP详解