Cloudera CDP PvC Base的新功能

简介: 如果您是CDH或HDP用户,则除了从CDH和HDP版本转移到CDP的功能之外,还可以查看CDP PvC Base中可用的新功能。

如果您是CDHHDP用户,则除了从CDHHDP版本转移到CDP的功能之外,还可以查看CDP私有云基础版中可用的新功能。

1.CDHCDP的新功能

1.1.Ranger2.0

·     动态行过滤和列屏蔽

·     基于属性的访问控制和SparkSQL细粒度访问控制

·     SentryRanger迁移工具

·     新的RMS提供HDFS ACL同步

1.2.Atlas2.0

·     通过提供实体模型扩展来支持业务元数据

·     批量导入业务元数据属性关联和词汇表术语

·     增强的基本搜索和过滤搜索

·     多租户支持并通过增强的UI简化了管理

·     数据血缘和监管链

·     先进的数据发现和业务词汇表

·     NavigatorAtlas的迁移

·     改进的性能和可伸缩性

·     OzoneApache Atlas集成

1.3.Hive3

·     Hive-on-Tez提供更好的ETL性能

·     支持原子性、一致性、隔离性和持久性(ACID)事务

·     全面的ANSI 2016 SQL覆盖

·     支持重大性能改进

·     查询结果缓存

·     代理键

·     物化视图

·     预定查询,使用SQL自动重建物化视图

·     自动翻译Spark-Hive读取,无需HWC会话

·     Hive Warehouse Connector Spark直接读取

·     Spark授权外部文件写入

·     改进的CBO和矢量化覆盖率

1.4.Ozone

·     HDFS10倍可扩展性

·     支持十亿个对象和S3原生支持

·     支持密集数据节点

·     快速重启,易于维护

1.5.HBase

·     HBase-Spark连接器

·     重新设计中等大小的对象(MOB),以实现更好的压缩和性能

1.6.Hue

·     使用Knox的基于网关的SSO

·     支持Ranger KMS-Key Trustee集成

1.7.Kudu

·     使用Ranger进行细粒度的授权

·     支持Knox

·     通过滚动重启和自动重新平衡来增强操作

·     大量改进可用性

·     添加了新的数据类型,如DATEVARCHAR和对HybridClock时间戳的支持

1.8.Yarn

·     新的Yarn队列管理器

·     放置规则使您无需指定队列名称即可提交作业

·     Capacity Scheduler利用延迟调度来满足任务位置约束

·     抢占允许优先级较高的应用程序抢占优先级较低的应用程序

·     不同层次结构下的相同队列名称

·     在队列之间移动应用程序

·     Yarn绝对模式支持

这是CDH堆栈中组件的通用服务级别体系结构。“ Cloudera Applications”“ Operations and Management” “ Encryption”框中的组件在CDH Cluster Services周界中定义的群集包络之外运行。

标有红色“ X”的组件将被弃用并删除,或者用CDP中的备用组件替换。CDP群集体系结构幻灯片中记录了这些更改。

Graphical user interface, application

Description automatically generated

1.9.服务变更

CDHCDP的服务更改为:

·      Flume Cloudera Data Flow

·      Navigator Ranger/Atlas

·      Sentry Ranger

·      KeytrusteeKMSRangerKMS

·      HSM KMSKey HSM

·      Hive-on-Spark/MRHive-on-Tez

·      YARN FairshareYARN Capacity

·      Spark 1.6Spark 2.4

·      NavOptWorkloadXM

·      PigHive or Spark

Graphical user interface, application

Description automatically generated

2.HDPCDP的新功能

2.1.ClouderaManager

·     虚拟私有集群

·     自动传输加密设置

·     管理员的基于角色的细粒度访问控制(RBAC

·     简化的维护工作流程

2.2.Solr8.4

·     在非结构化数据(文本,pdf.jpg等)上基于相关性的文本搜索

2.3.Impala

·     更适合Data Mart迁移用例(交互式,BI样式查询)

·     能够查询大型集群中的大量数据(大数据

·     集群环境中的分布式查询,方便扩展

·     Kudu集成以获取快速数据,与Ranger集成以获取授权策略

·     快速BI查询支持使用单个系统进行大数据处理和分析,因此客户避免了昂贵的建模和ETL将分析添加到数据湖中。

2.4.Hue

·     内置SQL编辑器,可自动完成智能查询

·     共享查询,图表结果并下载任何数据库

·     轻松搜索,浏览和导入数据集或作业

2.5.Kudu

·     更好的提取和查询性能,可快速更改/更新数据。通过KuduImpala更新支持报告

·     带有Kudu + Spark的实时和流式应用程序

·     时间序列分析,事件分析和实时数据仓库以最智能的自动完成功能提供最佳的查询体验

2.6.Yarn

·     过渡到Capacity Scheduler的工具

·     新的Yarn队列管理器

·     Capacity Scheduler利用延迟调度来满足任务位置约束

·     抢占允许优先级较高的应用程序抢占优先级较低的应用程序

·     不同层次结构下的相同队列名称

·     在队列之间移动应用程序

·     Yarn的绝对模式支持

2.7.加密

·     自动TLS功能可自动执行启用TLS加密所需的所有步骤

·     Ranger KMSKey Trustee Server集成以提供附加的密钥提供程序存储

·     使用NavEncrypt进行静态加密

原文链接:https://docs.cloudera.com/cdp-private-cloud/latest/upgrade/topics/cdpdc_cdp_pvcbase_new_features.html

目录
相关文章
|
6月前
|
SQL 人工智能 分布式计算
一文看懂 Cloudera 对 CDH/HDP/CDP 的产品支持策略
一文看懂 Cloudera 对 CDH/HDP/CDP 的产品支持策略
一文看懂 Cloudera 对 CDH/HDP/CDP 的产品支持策略
|
7天前
|
存储 监控 网络安全
Doris Manager 24.0 版本正式发布!
Doris Manager 24.0,SelectDB 的 Apache Doris 集群管理工具,迎来重大更新,包括管控模式升级至安全的 Agent 模式、新增任务审计、主机监控、计算节点部署支持等。此版本已获上千企业用户认可。新特性如 Agent 与 Server 间的 HTTP 通信,提升安全性;任务审计记录操作详情;监控模块扩展主机指标;集群巡检支持定时检查。此外,Doris Manager 提供了集群部署、扩缩容、升级、参数配置、日志查看、告警和审计等一系列高效管理功能。体验新版本,请参考安装和使用手册。
Doris Manager 24.0 版本正式发布!
|
3月前
|
存储 缓存 分布式计算
Spark与云存储的集成:S3、Azure Blob Storage
Spark与云存储的集成:S3、Azure Blob Storage
EMQ
|
7月前
|
SQL 存储 数据可视化
EMQX Enterprise 5.2 发布:Flow 设计器,Amazon Kinesis,Azure Event Hubs
EMQX Enterprise 5.2.0 增加了可拖拽的可视化 Flow 设计器,可以快速部署数据集成。同时,新版本新增了对 Amazon Kinesis 和 Azure Event Hubs 的支持。
EMQ
716 0
EMQX Enterprise 5.2 发布:Flow 设计器,Amazon Kinesis,Azure Event Hubs
EMQ
|
存储 消息中间件 NoSQL
EMQX Enterprise 新版本发布:新增 Apache IoTDB 支持、HStreamDB 最新版以及 MongoDB 6.0 适配
本次发布增加了Apache IoTDB集成支持以满足工业制造海量数据存储与分析的需求,同时对最新版本的HStreamDB(v0.14.0)和MongoDB(v6.0)进行了适配,用户可以根据业务需要轻松与相应的第三方数据库对接。
EMQ
239 0
EMQX Enterprise 新版本发布:新增 Apache IoTDB 支持、HStreamDB 最新版以及 MongoDB 6.0 适配
|
SQL 消息中间件 Kafka
atlas 集成cdh
atlas 集成cdh
atlas 集成cdh
|
存储 物联网 测试技术
Cloudera CDP灾难恢复简介
客户旅程正在从单一数据集群、单一云和简单的基础设施演变为健壮、容错的架构,使得可以在故障事件中幸存下来并保持客户正常运行。目标是在运营危机期间尽量减少对客户数据驱动决策的影响。为此,我们需要为 CDP 实施建立标准,以解决故障、缓解故障。
Cloudera CDP灾难恢复简介
|
分布式计算 Kubernetes Hadoop
迁移传统应用到Kubernetes步骤详解 – 以Hadoop YARN为例
前言 本文已归档到 kubernetes-handbook 【第三章用户指南】的【在Kubernetes中开发部署应用】小节中,一切更新以 GitHub 为准。 本文档不是说明如何在 kubernetes 中开发和部署应用程序,如果您想要直接开发应用程序在 kubernetes 中运行可以参考 适用于kubernetes的应用开发部署流程。
1481 0
|
分布式计算 安全 Java
HDP2.6.5更换spark版本为2.4.5 与carbondata2.0.1集成
继承Thread类 实现Runnnable接口 实现Callable接口
216 0
|
SQL 存储 分布式计算
使用 Replication Manager 迁移到CDP 私有云基础
Replication Manager 可用于将 Hive、Impala 和 HDFS 工作负载迁移到 CDP私有云基础.
使用 Replication Manager 迁移到CDP 私有云基础