wangxf_2000_个人页

2021年09月

• 09.01 19:57:59
  发表了文章 2021-09-01 19:57:59

  Yarn配置分区

  您可以将集群划分为子集群，以便作业在具有特定特征的节点上运行。您可以配置这些分区，以便在指定分区的集群节点上运行 YARN 应用程序。

  
• 09.01 19:49:55
  发表了文章 2021-09-01 19:49:55

  Yarn管理动态队列

  动态队列是在应用程序运行时自动创建的。当 YARN 服务重新启动时，它们将被删除。

  
• 09.01 19:45:39
  发表了文章 2021-09-01 19:45:39

  Yarn管理放置规则

  放置规则可以定义在指定应将哪个队列用于提交的作业时考虑的逻辑。这些预定义规则使您可以在提交作业时无需指定队列名称即可提交作业。

  
• 09.01 19:37:07
  发表了文章 2021-09-01 19:37:07

  Yarn配置每个队列属性

  队列属性包含定义队列行为的设置。使用队列属性，您可以定义不需要直接从父队列继承属性的设置，并定义特定于队列的设置。

  
• 09.01 19:31:27
  发表了文章 2021-09-01 19:31:27

  Yarn在全局级别配置调度程序属性

  您可以配置调度程序属性来定义所有队列的行为。所有父队列和子队列都继承使用调度程序属性设置的属性。

  
• 09.01 19:26:39
  发表了文章 2021-09-01 19:26:39

  CDP中Yarn管理队列

  YARN Queue Manager 是 Apache Hadoop YARN Capacity Scheduler 的队列管理图形用户界面。您可以使用 YARN 队列管理器 UI 来管理集群容量，使用队列来平衡来自不同用户的多个应用程序的资源需求。使用 YARN 队列管理器 UI，您可以设置调度程序级别属性和队列级别属性。

  
• 09.01 19:19:42
  发表了文章 2021-09-01 19:19:42

  CDP中Yarn资源调度与管理

  您可以通过调度分配资源、通过配置 cgroup 限制 CPU 使用、使用分区将集群划分为子集群以及在 Docker 容器上启动应用程序来管理集群上运行的应用程序的资源。
• 09.01 19:13:14
  发表了文章 2021-09-01 19:13:14

  CDP中配置Apache Hadoop Yarn的安全性

  CDP中配置Hadoop Yarn的安全性。

  
• 09.01 19:04:10
  发表了文章 2021-09-01 19:04:10

  Apache Hadoop Yarn概述

  Apache YARN 是用于管理在网络中的多台机器上运行的分布式应用程序的处理层。YARN 允许您使用各种数据处理引擎对数据进行批处理、交互式和实时流处理。

  
• 09.01 10:33:24
  发表了文章 2021-09-01 10:33:24

  CDP中使用YARN Web UI和CLI

  通过CDP的Yarn的UI界面来监控集群、队列、应用程序、服务和任务流的活动。

  

2021年08月

• 08.11 14:29:17
  发表了文章 2021-08-11 14:29:17

  CDP中的Hive3系列之Hive性能调优

  要将数据从 RDBMS（例如 MySQL）迁移到 Hive，您应该考虑使用带有 Teradata 连接器的 CDP 中的 Apache Sqoop。Apache Sqoop 客户端基于 CLI 的工具在关系数据库和 HDFS 或云对象存储之间批量传输数据。 需要进行提取、转换和加载 (ETL) 过程的遗留系统数据源通常驻留在文件系统或对象存储中。您还可以以分隔文本（默认）或 SequenceFile 格式导入数据，然后将数据转换为 Hive 推荐的 ORC 格式。通常，为了在 Hive 中查询数据，ORC 是首选格式，因为 ORC 提供了性能增强。
• 08.11 14:15:24
  发表了文章 2021-08-11 14:15:24

  CDP中的Hive3系列之Hive性能调优

  查看与配置集群、存储数据和编写查询相关的某些性能调优指南，以便您可以保护集群和相关服务、自动扩展资源以处理查询等。

  
• 08.11 14:10:35
  发表了文章 2021-08-11 14:10:35

  CDP中的Hive3系列之保护Hive3

  作为管理员，您需要了解运行 Hive 查询的 Hive 默认授权是不安全的，以及您需要做什么来保护您的数据。您需要了解您的安全选项：设置 Ranger 或基于存储的授权 (SBA)，它基于模拟和 HDFS 访问控制列表 (ACL)，或这些方法的组合。 将 Apache Hive 访问限制为已批准的用户。Cloudera 推荐 Ranger。授权是检查用户权限以执行选择操作的过程，例如创建、读取和写入数据，以及编辑表元数据。Apache Ranger 为所有 Cloudera 运行时服务提供集中授权。 您可以设置 Ranger 以使用 Hadoop SQL 策略保护托管的 ACID 表或外部表。

  
• 08.11 13:55:39
  发表了文章 2021-08-11 13:55:39

  CDP中的Hive3系列之配置Apache Hive3

  升级到 CDP 并迁移旧表后，您可能希望暂时切换到 Hive 旧行为。旧行为可能会解决数据迁移期间脚本的兼容性问题，例如，在运行 ETL 时。 默认情况下，执行 CREATE TABLE 语句会在 Hive 元存储中创建一个托管的 Apache Hive 3 表。您可以更改默认行为以使用旧的 CREATE TABLE 行为。配置旧行为时，CREATE TABLE 会生成外部表。由于完整 ACID 事务表相对于外部表的优势，仅在升级期间建议使用旧行为。

  
• 08.11 13:46:22
  发表了文章 2021-08-11 13:46:22

  CDP中的Hive3系列之管理Hive的工作负载

  作为管理员，要管理工作负载，您将了解什么是资源计划以及如何创建资源计划以改进并行查询执行。当集群共享查询时，并行处理查询很重要。 资源计划是一个自包含的资源共享配置。在集群上每次只有一个资源计划处于活动状态。通常，在活动集群上启用和禁用资源计划不会影响正在运行的查询。作为管理员，您可以应用针对不同情况配置集群的资源计划。例如，您的脚本可以应用将集群配置为处理高流量的资源计划。当流量减少时，您可以切换资源计划以支持交互式数据可视化、深度临时分析和大规模 BI 报告的流量。

  
• 08.11 11:50:45
  发表了文章 2021-08-11 11:50:45

  CDP中的Hive3系列之管理Hive3

  在了解了CDP中提供的Hive的特性及如何使用Hive3，本章节将就如何管理Hive3提供说明。

  
• 08.10 19:59:19
  发表了文章 2021-08-10 19:59:19

  CDP中的Hive3系列之Hive3使用指南

  在了解了Apache Hive3的特性和启动Hive后，就需要了解如何使用Apache Hive3.

  
• 08.10 18:51:44
  发表了文章 2021-08-10 18:51:44

  CDP中的Hive3系列之启动Apache Hive3

  由于Hive3版本的变动，在我们使用Hive3前需要我们了解如何正确的启动Hive3.

  
• 08.10 18:42:10
  发表了文章 2021-08-10 18:42:10

  CDP中的Hive3系列之Apache Hive3的特性

  CDP中采用的是Apache Hive3版本，该版本相比Hive1/2在事务和安全性等方面有重大改进，了解这些版本之间的主要差异对于 SQL 用户至关重要，包括使用 Apache Spark 和 Apache Impala 的用户。
• 08.02 15:02:34
  发表了文章 2021-08-02 15:02:34

  CDP的Hive3系列之Hive Metastore介绍

  CDP的Hive Metastore (HMS) 是一种服务，用于在后端 RDBMS（例如 MySQL 或 PostgreSQL）中存储与 Apache Hive 和其他服务相关的元数据。Impala、Spark、Hive 和其他服务共享元存储。与 HMS 的连接包括 HiveServer、Ranger 和代表 HDFS 的 NameNode。

  

2021年07月

• 07.27 14:45:59
  发表了文章 2021-07-27 14:45:59

  Cloudera CDP PvC Base7.1.6的新功能是什么？

  当客户考虑更新到产品的最新版本时，他们期望新功能、增强的安全性和更好的性能，但越来越希望拥有更简化的升级过程。伴随着CDP私有云的每个新版本，我们正在努力提供这些内容。伴随着许多新功能，我们正在尽可能简化升级过程。在此博客中，我们将介绍7.1.6版本中的新功能以及从HDP进行的新的就地升级，从而完全消除了替换基础架构和数据迁移的麻烦。

  
• 07.27 14:36:34
  发表了文章 2021-07-27 14:36:34

  Cloudera CDP PvC Base的新功能

  如果您是CDH或HDP用户，则除了从CDH和HDP版本转移到CDP的功能之外，还可以查看CDP PvC Base中可用的新功能。
• 07.27 14:21:32
  发表了文章 2021-07-27 14:21:32

  如何设置对CDP的访问权限

  在公有云或者内外网环境中，Cloudera的平台产品CDH/CDP/HDP需要访问很多Web UI，但系统网络可能仅支持SSH访问(22端口)。要访问Cloudera Manager（7180端口）或者其他服务，可以通过下列两种方式： • 在客户端计算机上设置SOCKS（套接字安全协议）代理。Cloudera建议您使用此选项。 • 将CDP/CDP部署到公有云之后，将入站规则添加到公有云实例中的网络安全组。

  
• 07.27 14:03:53
  发表了文章 2021-07-27 14:03:53

  基于投资，通过迁移或者升级到CDP企业数据云

  Cloudera数据平台（CDP）私有云基础版（CDP-PvC Base）是Cloudera数据平台的本地版本。它结合了Cloudera Enterprise Data Hub和Hortonworks Data Platform Enterprise的最佳服务和组件，以及在堆栈中的增加了新功能和增强功能，提供一流的本地企业数据平台。该版本允许客户从其旧的CDH5和HDP2.6集群进行迁移或升级，并通过访问新功能来增强其大数据体验，从而从其数据中获得更多价值。