EMR数据湖开发治理之用户画像分析-1

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
简介: EMR数据湖开发治理之用户画像分析-1

准备实验环境

1.配置独享资源组的DataWorks工作空间

本步骤将完成独享调度资源组和独享数据集成资源组的DataWorks工作空间配置。

  1. 双击打开远程桌面的Chromium网页浏览器
  2. 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码用户密码输入框,单击登录
  3. 复制下方地址,在Chromium网页浏览器打开新页签,粘贴并访问DataWorks管控台。
https://workbench.data.aliyun.com/?#/resourcelist?region=cn-shanghai&tab=exclusive
  1. 在左侧导航栏中,单击资源组列表,分别对调度资源组和数据集成资源组,单击修改归属工作空间

说明:您可在云资源产品列表中查看调度资源组和数据集成资源组的名称。

  1. 分别在调度资源组和数据集成资源组的修改归属工作空间对话框中,选择实验分配的DataWorks工作空间,单击绑定。

注意:由于实验环境有限制性,因此您只能进行“将资源组绑定到自己的工作空间”这一操作,不能修改其它配置,否则会导致后续实验无法进行!

2. 在DataWorks绑定EMR集群

  1. 在导航栏中,单击工作空间列表

  1. 工作空间列表页面,找到您的DataWorks工作空间,在其右侧的操作列下单击工作空间配置

  1. 在配置页面的计算引擎信息区域,选择E-MapReduce,单击增加实例

  1. 在新增E-MapReduce中,参考如下配置相关信息。配置完成之后在资源组初始化区域,单击初始化,进行独享调度资源组与EMR集群的打通。

参数说明:

参数

描述

实例显示名称

自定义实例显示名称。

访问模式

选择快捷模式。

集群ID

选择实验室分配的EMR集群。

  1. 如果网络连通性失败,不要担心,单击查看原因,进行网络连通性诊断;诊断完成后,然后重试即可。

  1. 初始化完成后,点击确定按钮,绑定该引擎实例。

3. 为oss bucket开通HDFS服务并新建目录备用

  1. 复制下方地址,在Chromium网页浏览器打开新页签,粘贴并访问对象存储OSS管控台。
https://oss.console.aliyun.com/bucket
  1. 在左侧导航栏中,单击Bucket列表

  1. 进入以实验室子账号为名的Bucket,选择进入oss bucket的数据湖管理下的HDFS服务,单击开通HDFS服务。

  1. 进入文件管理下的文件列表,单击新建目录

  1. 填写目录名(实例为ip2region),用于存放任务运行所需的jar包资源。

  1. 创建成功后,会在文件列表中展示名为ip2region的目录,后续实验所需的jar包会存在该oss bucket。

目录
相关文章
|
1月前
|
SQL 流计算 关系型数据库
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
阿里云OpenLake解决方案建立在开放可控的OpenLake湖仓之上,提供大数据搜索与AI一体化服务。通过元数据管理平台DLF管理结构化、半结构化和非结构化数据,提供湖仓数据表和文件的安全访问及IO加速,并支持大数据、搜索和AI多引擎对接。本文为您介绍以Flink作为Openlake方案的核心计算引擎,通过流式数据湖仓Paimon(使用DLF 2.0存储)和EMR StarRocks搭建流式湖仓。
408 4
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
|
2月前
|
SQL 分布式计算 Serverless
EMR Serverless Spark:一站式全托管湖仓分析利器
本文根据2024云栖大会阿里云 EMR 团队负责人李钰(绝顶) 演讲实录整理而成
179 2
|
4月前
|
存储 分布式计算 监控
揭秘阿里云EMR:如何巧妙降低你的数据湖成本,让大数据不再昂贵?
【8月更文挑战第26天】阿里云EMR是一种高效的大数据处理服务,助力企业优化数据湖的成本效益。它提供弹性计算资源,支持根据需求调整规模;兼容并优化了Hadoop、Spark等开源工具,提升性能同时降低资源消耗。借助DataWorks及Data Lake Formation等工具,EMR简化了数据湖构建与管理流程,实现了数据的统一化治理。此外,EMR还支持OSS、Table Store等多种存储选项,并配备监控优化工具,确保数据处理流程高效稳定。通过这些措施,EMR帮助企业显著降低了数据处理和存储成本。
147 3
|
4月前
|
安全 数据管理 大数据
数据湖的未来已来:EMR DeltaLake携手阿里云DLF,重塑企业级数据处理格局
【8月更文挑战第26天】在大数据处理领域,阿里云EMR与DeltaLake的集成增强了数据处理能力。进一步结合阿里云DLF服务,实现了数据湖的一站式管理,自动化处理元数据及权限控制,简化管理流程。集成后的方案提升了数据安全性、可靠性和性能优化水平,让用户更专注业务价值。这一集成标志着数据湖技术向着自动化、安全和高效的未来迈出重要一步。
93 2
|
4月前
|
存储 大数据 数据处理
Delta Lake革新浪潮:EMR中的数据湖守护者,如何重塑大数据生态?
【8月更文挑战第26天】Delta Lake是一款开源大数据处理框架,以数据版本控制和ACID事务特性著称,在大数据领域崭露头角。在阿里云EMR平台上,它为用户提供高效可靠的数据处理方式,通过结构化的存储、事务日志实现数据版本控制和回滚。Delta Lake在EMR中实现了ACID事务,简化数据湖操作流程,支持时间旅行查询历史数据版本,优化存储格式提高读取速度,这些优势使其在开源社区和企业界获得广泛认可。
58 2
|
4月前
|
分布式计算 大数据 数据处理
【大数据管理新纪元】EMR Delta Lake 与 DLF 深度集成:解锁企业级数据湖的无限潜能!
【8月更文挑战第26天】随着大数据技术的发展,Apache Spark已成为处理大规模数据集的首选工具。亚马逊的EMR服务简化了Spark集群的搭建和运行流程。结合使用Delta Lake(提供ACID事务保证和数据版本控制)与DLF(加强数据访问控制及管理),可以显著提升数据湖的可靠性和性能。本文通过一个电商公司的具体案例展示了如何在EMR上部署集成Delta Lake和DLF的环境,以及这一集成方案带来的几大优势:增强的可靠性、细粒度访问控制、性能优化以及易于管理的特性。这为数据工程师提供了一个高效且灵活的数据湖平台,简化了数据湖的建设和维护工作。
67 1
|
4月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
4月前
|
Java Spring 开发者
掌握Spring事务管理,打造无缝数据交互——实用技巧大公开!
【8月更文挑战第31天】在企业应用开发中,确保数据一致性和完整性至关重要。Spring框架提供了强大的事务管理机制,包括`@Transactional`注解和编程式事务管理,简化了事务处理。本文深入探讨Spring事务管理的基础知识与高级技巧,涵盖隔离级别、传播行为、超时时间等设置,并介绍如何使用`TransactionTemplate`和`PlatformTransactionManager`进行编程式事务管理。通过合理设计事务范围和选择合适的隔离级别,可以显著提高应用的稳定性和性能。掌握这些技巧,有助于开发者更好地应对复杂业务需求,提升应用质量和可靠性。
53 0
|
4月前
|
存储 缓存 数据管理
阿里云EMR数据湖文件系统问题之JindoFS数据孤岛的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFS数据孤岛的问题如何解决
|
4月前
|
存储 对象存储 云计算
阿里云EMR数据湖文件系统问题之JindoFS处理大量小文件的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFS处理大量小文件的问题如何解决