准备实验环境
1.配置独享资源组的DataWorks工作空间
本步骤将完成独享调度资源组和独享数据集成资源组的DataWorks工作空间配置。
- 双击打开远程桌面的Chromium网页浏览器。
- 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码到用户密码输入框,单击登录。
- 复制下方地址,在Chromium网页浏览器打开新页签,粘贴并访问DataWorks管控台。
https://workbench.data.aliyun.com/?#/resourcelist?region=cn-shanghai&tab=exclusive
- 在左侧导航栏中,单击资源组列表,分别对调度资源组和数据集成资源组,单击修改归属工作空间。
说明:您可在云资源产品列表中查看调度资源组和数据集成资源组的名称。
- 分别在调度资源组和数据集成资源组的修改归属工作空间对话框中,选择实验分配的DataWorks工作空间,单击绑定。
注意:由于实验环境有限制性,因此您只能进行“将资源组绑定到自己的工作空间”这一操作,不能修改其它配置,否则会导致后续实验无法进行!
2. 在DataWorks绑定EMR集群
- 在导航栏中,单击工作空间列表。
- 在工作空间列表页面,找到您的DataWorks工作空间,在其右侧的操作列下单击工作空间配置。
- 在配置页面的计算引擎信息区域,选择E-MapReduce,单击增加实例。
- 在新增E-MapReduce中,参考如下配置相关信息。配置完成之后在资源组初始化区域,单击初始化,进行独享调度资源组与EMR集群的打通。
参数说明:
参数 |
描述 |
实例显示名称 |
自定义实例显示名称。 |
访问模式 |
选择快捷模式。 |
集群ID |
选择实验室分配的EMR集群。 |
- 如果网络连通性失败,不要担心,单击查看原因,进行网络连通性诊断;诊断完成后,然后重试即可。
- 初始化完成后,点击确定按钮,绑定该引擎实例。
3. 为oss bucket开通HDFS服务并新建目录备用
- 复制下方地址,在Chromium网页浏览器打开新页签,粘贴并访问对象存储OSS管控台。
https://oss.console.aliyun.com/bucket
- 在左侧导航栏中,单击Bucket列表。
- 进入以实验室子账号为名的Bucket,选择进入oss bucket的数据湖管理下的HDFS服务,单击开通HDFS服务。
- 进入文件管理下的文件列表,单击新建目录。
- 填写目录名(实例为ip2region),用于存放任务运行所需的jar包资源。
- 创建成功后,会在文件列表中展示名为ip2region的目录,后续实验所需的jar包会存在该oss bucket。