开发者社区 问答 正文

E-MapReduceZeppelin 使用说明是什么?


目前 E-MapReduce 中支持了 Appache Zeppelin,选择支持 Zeppelin 的镜像创建集群并且开启公网 IP 即可以在 E-MapReduce 访问和使用 Zeppelin。

准备工作


在集群建立出来之后,需要打通 ssh 隧道,详细步骤请参考: https://help.aliyun.com/document_detail/28187.html
这里以 Mac 环境为例,使用 Chrome 浏览器实现端口转发(假设集群 master 节点公网 IP 为xx.xx.xx.xx):


  1. 登录到 master 节点。[backcolor=transparent]ssh root@xx[backcolor=transparent].[backcolor=transparent]xx[backcolor=transparent].[backcolor=transparent]xx[backcolor=transparent].[backcolor=transparent]xx

输入密码。
查看本机的 id_rsa.pub 内容(注意在本机执行,不要在远程的 master 节点上执行)。
  1. [backcolor=transparent]cat [backcolor=transparent]~[backcolor=transparent]/.ssh/[backcolor=transparent]id_rsa[backcolor=transparent].[backcolor=transparent]pub

将本机的 id_rsa.pub 内容写入到远程 master 节点的 ~/.ssh/authorized_keys 中(在远端 master 节点上执行)。
  1. [backcolor=transparent]mkdir [backcolor=transparent]~[backcolor=transparent]/.ssh/
  2. [backcolor=transparent]vim [backcolor=transparent]~[backcolor=transparent]/.ssh/[backcolor=transparent]authorized_keys

将步骤 2 中看到的内容粘贴进来。现在就可以直接使用 sshroot@xx.xx.xx.xx 免密登录 master 节点了。
在本机执行以下命令进行端口转发。
  1. [backcolor=transparent]ssh [backcolor=transparent]-[backcolor=transparent]i [backcolor=transparent]~[backcolor=transparent]/.ssh/[backcolor=transparent]id_rsa [backcolor=transparent]-[backcolor=transparent]ND [backcolor=transparent]8157[backcolor=transparent] root@xx[backcolor=transparent].[backcolor=transparent]xx[backcolor=transparent].[backcolor=transparent]xx[backcolor=transparent].[backcolor=transparent]xx

启动 Chrome(在本机新开 terminal 执行)。
  1. [backcolor=transparent]/Applications/[backcolor=transparent]Google[backcolor=transparent]\ [backcolor=transparent]Chrome[backcolor=transparent].[backcolor=transparent]app[backcolor=transparent]/[backcolor=transparent]Contents[backcolor=transparent]/[backcolor=transparent]MacOS[backcolor=transparent]/[backcolor=transparent]Google[backcolor=transparent]\ [backcolor=transparent]Chrome[backcolor=transparent] [backcolor=transparent]--[backcolor=transparent]proxy[backcolor=transparent]-[backcolor=transparent]server[backcolor=transparent]=[backcolor=transparent]"socks5://localhost:8157"[backcolor=transparent] [backcolor=transparent]--[backcolor=transparent]host[backcolor=transparent]-[backcolor=transparent]resolver[backcolor=transparent]-[backcolor=transparent]rules[backcolor=transparent]=[backcolor=transparent]"MAP * 0.0.0.0 , EXCLUDE localhost"[backcolor=transparent] [backcolor=transparent]--[backcolor=transparent]user[backcolor=transparent]-[backcolor=transparent]data[backcolor=transparent]-[backcolor=transparent]dir[backcolor=transparent]=/[backcolor=transparent]tmp


访问 Zeppelin


  • 方式一:设置好端口转发,然后在进行端口转发的 Chrome 浏览器中访问:xx.xx.xx.xx:8080。

  • 方式二:针对有限的ip段范围,开放安全组,然后直接访问。禁止在配置的时候对0.0.0.0/0开放规则。

展开
收起
nicenelly 2017-10-27 15:42:34 1539 分享 版权
阿里云 AI 助理回答

您已经详细描述了在阿里云E-MapReduce中使用Apache Zeppelin的准备工作和访问步骤,这里我再简要概括一下流程,并提供一些额外的建议:

准备工作概览

  1. 选择镜像与公网IP:创建E-MapReduce集群时,确保选择支持Apache Zeppelin的镜像,并为集群的Master节点分配公网IP。

  2. SSH隧道配置

    • 通过SSH登录到Master节点。
    • 复制本机的公钥(id_rsa.pub)内容并添加到远程Master节点的~/.ssh/authorized_keys文件中,以实现免密登录。
    • 在本地机器上设置端口转发,将本地8157端口转发至远程Master节点的相应端口(如Zeppelin默认的8080端口),使用私钥进行身份验证。
  3. 启动Chrome浏览器:通过指定代理服务器参数,利用之前建立的SSH隧道访问Zeppelin界面。

访问Zeppelin

  • 方式一:利用已配置的端口转发,在开启端口转发的Chrome浏览器中直接访问xx.xx.xx.xx:8080(假设8080是Zeppelin的服务端口)。
  • 方式二:对于特定IP段,可以在安全组规则中开放对Zeppelin服务端口的访问,但应避免对0.0.0.0/0开放,以保证安全性。

额外建议

  • 安全组策略:在采用方式二时,精确控制开放的IP范围,只允许信任的IP或网络访问,确保系统安全。
  • 资源监控:使用E-MapReduce的监控功能,关注Zeppelin运行期间的资源使用情况,及时调整资源配置以优化性能。
  • 数据安全:处理敏感数据时,考虑启用加密传输,并定期检查安全设置,确保数据安全。
  • 版本兼容性:留意E-MapReduce和Zeppelin的版本兼容性,选择合适的版本组合以获得最佳体验和支持。

遵循上述步骤和建议,您可以有效地在阿里云E-MapReduce环境中部署和使用Apache Zeppelin,进行数据分析和可视化。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答