【阿里云 CDP 公开课】 第四讲:如何访问CDP集群

简介: Cloudera 和阿里云进行深度合作推出了基于阿里云部署的 Cloudera 企业数据云平台,即 CDP 平台。本文主要介绍集群访问Web-UI的方式。

本期导读 :【阿里云 CDP 公开课】第四讲


主题:如何访问 CDP 集群

讲师:佳亮,阿里云计算平台事业部生态技术


内容框架:

  • 前提条件
  • 使用 SSH 隧道方式访问 WEB 服务
  • 使用 Knox代理方式访问 WEB 服务



直播回放链接:(第4讲)

https://developer.aliyun.com/live/248263


前提条件

  • CDP 集群已经成功拉起来了以后
  • 成功添加安全组白名单,并可以成功访问 CM 管控。


使用 SSH 隧道方式访问 WEB 服务

创建从本地服务器开放端口到集群主节点的 SSH 隧道,并运行侦听该端口的本地 SOCKS 代理服务器,端口的数据会由 SSH 隧道转发到集群主节点


创建 SSH 隧道

  • 密钥的方式
ssh-i<密钥文件路径>-N-D8157root@<主节点公网IP地址>
  • 密码的方式
ssh-N-D8157root@<主节点公网IP地址>

相关参数描述如下:

  • 8157:本地服务器端口以8157为例,实际配置时,您可使用本地服务器未被使用的任意一个端口。
  • -D:使用动态端口转发,启动 SOCKS 代理进程并侦听用户本地端口。
  • <主节点公网IP地址>:获取方式请参见获取主节点的公网IP地
  • <密钥文件路径>:密钥文件保存的路径。


配置浏览器

完成动态转发配置以后,您可以从以下两种方式中选择一种来进行浏览器配置。


方式1--Chrome 浏览器命令行方式

  1. 打开命令行窗口,进入本地 Google Chrome 浏览器客户端的安装目录。

操作系统不同,Chrome 浏览器的默认安装目录不同。


操作系统

Chrome默认安装路径

Mac OS X

"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" \

--user-data-dir="$HOME/chrome-with-proxy" \

--proxy-server="socks5://localhost:8157"

Linux

/usr/bin/google-chrome \ --user-data-dir="$HOME/chrome-with-proxy" \ --proxy-server="socks5://localhost:8157"

Windows

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" ^ --user-data-dir="%USERPROFILE%\chrome-with-proxy" ^ --proxy-server="socks5://localhost:8157"

  • 8157:本地服务器端口以8157为例,实际配置时,您可使用本地服务器未被使用的任意一个端口。


在此 Chrome 会话中,您就可以通过内网访问 Cloudera Manager 和其他 Web UI 了。比如:http://cdp-master-1.xxxx.cn-hangzhou.cdp.aliyuncs.com:9870/dfshealth.html#tab-overview

image.png


方式2--配置代理扩展程序的方式

代理扩展程序可以帮助您更加轻松地在浏览器中管理和使用代理,确保网页浏览和集群 Web UI 访问互不干扰。

image.png

  • 安装完成以后,单击 SwitchyOmega 插件,然后在弹出框中选择选项进行配置。
  • 单击新建情景模式,输入情景模式名称(例如SSH pac),情景模式类型选择 PAC 情景模式
  • PAC 脚本中配置以下内容。
functionregExpMatch(url, pattern) {    
try { returnnewRegExp(pattern).test(url); } catch(ex) { returnfalse; }    
}
functionFindProxyForURL(url, host) {
// Important: replace 172.31 below with the proper prefix for your VPC subnetif (shExpMatch(url, "*localhost*")) return"SOCKS5 localhost:8157";
if (shExpMatch(url, "*cdp-*")) return"SOCKS5 localhost:8157";
return'DIRECT';
}
  • 完成上述参数配置后,在左侧导航栏中单击应用选项
  • 打开 Chrome 浏览器,在 Chrome 中单击 SwitchyOmega 插件,切换到之前创建的 SSH tunnel 情景模式下。

image.png

  • 登录 CDP 管控,访问相应服务的 Web UI。 例如:访问 Ranger 页面

image.png


使用 Knox 代理方式访问 WEB 服务

登录到 Knox 所在节点,执行如下命令:

  • 先创建用户 test, 并设置 test 的密码:
1. 先创建用户 test, 并设置test的密码:
> useradd test
> passwd test
  • 将用户 knox 添加到 admin 用户组中:
> usermod -a -G test knox
  • 创建 shadow 组,将 knox 添加到 shadow 组中
# 创建group shadow
> groupadd shadow
# 将root添加到shadow组里
> usermod -a -G shadow root
# 将knox添加到shadow组里
> usermod -a -G shadow knox
# 将文件/etc/shadow的group修改为 shadow
> chgrp shadow /etc/shadow
# 添加/etc/shadow文件 组的读权限:
> chmod g+r /etc/shadow
groupadd shadow
usermod -a -G shadow root
usermod -a -G shadow knox
chgrp shadow /etc/shadow
chmod g+r /etc/shadow

knox 登录页面:https://{ip}:8443/gateway/homepage/home/


使用 admin 用户名+ 密码成功登陆

image.png

image.png


备注--Knox 匹配规则:

^.*$;^https?:(.+\.cdp\.aliyun\.com):[0-9]+?.*$




image.png

大家如果对产品感兴趣,欢迎加入到阿里云 Cloudera 企业数据云交流群。对产品有任何疑问都可以在交流群里咨询。


以下是产品的链接,有需要的用户可以直接点击链接访问和使用产品。


阿里云官网:https://ac.aliyun.com/application/cloudera

或直接访问:https://market.aliyun.com/products/201190008/cmgj00047952.html

免费测试申请:https://survey.aliyun.com/apps/zhiliao/owtTaIQU3




相关文章
|
26天前
|
Java Go Maven
阿里云云效问题之使用香港构建集群有审计要求如何解决
云效镜像是指存储在阿里云效服务中的容器镜像,它们可以用于持续集成和持续部署(CI/CD)流程中;本合集将介绍如何在云效平台上管理和使用镜像资源,以及常见的镜像问题和解决办法。
36 0
|
1月前
|
JSON 安全 Serverless
在使用阿里云函数计算(FC)服务时,您可以通过自定义域名来访问部署好的云函数
在使用阿里云函数计算(FC)服务时,您可以通过自定义域名来访问部署好的云函数【1月更文挑战第23天】【1月更文挑战第112篇】
147 7
|
1月前
|
Kubernetes 容器
要获取ACK(阿里云容器服务)集群中的Deployment
要获取ACK(阿里云容器服务)集群中的Deployment【1月更文挑战第8天】【1月更文挑战第40篇】
49 4
|
7天前
|
弹性计算 安全 API
带你读《从基础到应用云上安全航行指南》——干货长文快收藏!阿里云专家教你如何安全访问和管理ECS资源(1)
带你读《从基础到应用云上安全航行指南》——干货长文快收藏!阿里云专家教你如何安全访问和管理ECS资源(1)
185 2
|
7天前
|
弹性计算 运维 监控
带你读《从基础到应用云上安全航行指南》——干货长文快收藏!阿里云专家教你如何安全访问和管理ECS资源(2)
带你读《从基础到应用云上安全航行指南》——干货长文快收藏!阿里云专家教你如何安全访问和管理ECS资源(2)
172 0
|
7天前
|
弹性计算 安全 开发工具
带你读《从基础到应用云上安全航行指南》——干货长文快收藏!阿里云专家教你如何安全访问和管理ECS资源(3)
带你读《从基础到应用云上安全航行指南》——干货长文快收藏!阿里云专家教你如何安全访问和管理ECS资源(3)
166 2
|
23天前
|
域名解析 应用服务中间件 对象存储
解决阿里云oss图片浏览器访问直接下载而不是打开
解决阿里云oss图片浏览器访问直接下载而不是打开
41 0
|
1月前
|
弹性计算 安全 API
干货长文快收藏!阿里云专家教你如何安全访问和管理ECS资源
本文整理自【弹性计算技术公开课——ECS安全季】系列课程中,阿里云弹性计算高级技术专家张振华带来的课程《如何安全访问和管理ECS资源》一节。
|
1月前
|
Kubernetes 容器
阿里云OpenAPI咋取到ack集群的Deployment呀?
阿里云OpenAPI咋取到ack集群的Deployment呀?【1月更文挑战第17天】【1月更文挑战第84篇】
18 2
|
1月前
|
弹性计算 运维 Cloud Native
阿里云云原生弹性方案,用弹性解决集群资源利用率难题
本文主要介绍了通过弹性,实现成本优化,解决集群资源利用率难题。
92289 8

热门文章

最新文章