【阿里云 CDP 公开课】 第四讲：如何访问CDP集群

本期导读 ：【阿里云 CDP 公开课】第四讲

主题：如何访问 CDP 集群

讲师：佳亮，阿里云计算平台事业部生态技术

内容框架：

• 前提条件
• 使用 SSH 隧道方式访问 WEB 服务
• 使用 Knox代理方式访问 WEB 服务

直播回放链接：（第4讲）

https://developer.aliyun.com/live/248263

前提条件

• CDP 集群已经成功拉起来了以后
• 成功添加安全组白名单，并可以成功访问 CM 管控。

使用 SSH 隧道方式访问 WEB 服务

创建从本地服务器开放端口到集群主节点的 SSH 隧道，并运行侦听该端口的本地 SOCKS 代理服务器，端口的数据会由 SSH 隧道转发到集群主节点

创建 SSH 隧道

• 密钥的方式

ssh-i<密钥文件路径>-N-D8157root@<主节点公网IP地址>

• 密码的方式

ssh-N-D8157root@<主节点公网IP地址>

相关参数描述如下：

• 8157：本地服务器端口以8157为例，实际配置时，您可使用本地服务器未被使用的任意一个端口。
• -D：使用动态端口转发，启动 SOCKS 代理进程并侦听用户本地端口。
• <主节点公网IP地址>：获取方式请参见获取主节点的公网IP地址。
• <密钥文件路径>：密钥文件保存的路径。

配置浏览器

完成动态转发配置以后，您可以从以下两种方式中选择一种来进行浏览器配置。

方式1--Chrome 浏览器命令行方式

1. 打开命令行窗口，进入本地 Google Chrome 浏览器客户端的安装目录。

操作系统不同，Chrome 浏览器的默认安装目录不同。

• 8157：本地服务器端口以8157为例，实际配置时，您可使用本地服务器未被使用的任意一个端口。

在此 Chrome 会话中，您就可以通过内网访问 Cloudera Manager 和其他 Web UI 了。比如：http://cdp-master-1.xxxx.cn-hangzhou.cdp.aliyuncs.com:9870/dfshealth.html#tab-overview

方式2--配置代理扩展程序的方式

代理扩展程序可以帮助您更加轻松地在浏览器中管理和使用代理，确保网页浏览和集群 Web UI 访问互不干扰。

• 安装 Chrome 的SwitchyOmega插件。

• 安装完成以后，单击 SwitchyOmega 插件，然后在弹出框中选择选项进行配置。
• 单击新建情景模式，输入情景模式名称（例如SSH pac），情景模式类型选择 PAC 情景模式。
• 在 PAC 脚本中配置以下内容。

functionregExpMatch(url, pattern) {    
try { returnnewRegExp(pattern).test(url); } catch(ex) { returnfalse; }    
}
functionFindProxyForURL(url, host) {
// Important: replace 172.31 below with the proper prefix for your VPC subnetif (shExpMatch(url, "*localhost*")) return"SOCKS5 localhost:8157";
if (shExpMatch(url, "*cdp-*")) return"SOCKS5 localhost:8157";
return'DIRECT';
}

• 完成上述参数配置后，在左侧导航栏中单击应用选项。
• 打开 Chrome 浏览器，在 Chrome 中单击 SwitchyOmega 插件，切换到之前创建的 SSH tunnel 情景模式下。

• 登录 CDP 管控，访问相应服务的 Web UI。 例如：访问 Ranger 页面

使用 Knox 代理方式访问 WEB 服务

登录到 Knox 所在节点，执行如下命令：

• 先创建用户 test, 并设置 test 的密码：

1. 先创建用户 test, 并设置test的密码：
> useradd test
> passwd test

• 将用户 knox 添加到 admin 用户组中：

> usermod -a -G test knox

• 创建 shadow 组，将 knox 添加到 shadow 组中

# 创建group shadow
> groupadd shadow
# 将root添加到shadow组里
> usermod -a -G shadow root
# 将knox添加到shadow组里
> usermod -a -G shadow knox
# 将文件/etc/shadow的group修改为 shadow
> chgrp shadow /etc/shadow
# 添加/etc/shadow文件 组的读权限：
> chmod g+r /etc/shadow

groupadd shadow
usermod -a -G shadow root
usermod -a -G shadow knox
chgrp shadow /etc/shadow
chmod g+r /etc/shadow

knox 登录页面：https://{ip}:8443/gateway/homepage/home/

使用 admin 用户名+ 密码成功登陆

备注--Knox 匹配规则：

^.*$;^https?:(.+\.cdp\.aliyun\.com):[0-9]+?.*$

大家如果对产品感兴趣，欢迎加入到阿里云 Cloudera 企业数据云交流群。对产品有任何疑问都可以在交流群里咨询。

以下是产品的链接，有需要的用户可以直接点击链接访问和使用产品。

阿里云官网：https://ac.aliyun.com/application/cloudera

或直接访问：https://market.aliyun.com/products/201190008/cmgj00047952.html

免费测试申请：https://survey.aliyun.com/apps/zhiliao/owtTaIQU3