EMR Serverless StarRocks体验测评

本文涉及的产品
EMR Serverless Spark 免费试用,1000 CU*H 有效期3个月
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 【8月更文挑战第14天】EMR Serverless StarRocks体验测评

定义

EMR Serverless StarRocks,为了通俗易懂,需要进行拆分,EMR、Serverless StarRocks、EMR是云原生开源大数据平台E-MapReduce,Serverless StarRocks只是EMR的一个产品规格,是开源MPP架构的OLAP分析引擎,是StarRocks在阿里云上的全托管服务,而Serverless是一种部署形态。通过如下架构图,你就会很直观的了解到StarRocks是啥了。

入门

E-MapReduce_EMR_大数据框架

EMR Serverless StarRocks

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

水滴筹基于阿里云 EMR StarRocks 实战分享

基于StarRocks构建数仓场景-增量数据实时统计

基于EMR Serverless StarRocks构建分钟级准实时分析

产品的文档支持还是蛮全的,除了基本文档中心的帮助文档外,还提供了多种实战案例分享和应用场景分析,此外还有社区支持。产品试用的每一个步骤都有小问号?,点击就可以前往寻找帮助。唯一的不足的就是对当前浏览器的支持不是很友好,我用windows系统自带的Edge浏览器,在操作SQL Editor时始终无法编写SQL;而Chrome就非常友好的支持。因为EMR Serverless StarRocks属于EMR的一个产品规格,对于EMR不了解的用户来说,入门还是蛮有挑战的,当前手把手在线实验还是空白的,建议是否安排几个实战小案例做成在线实验让用户体验。

试用

点击产品评测首页的的下面位置,即可申请开始试用。

开通试用前,需要选择好地域和可用区,因为阿里云的产品都是不支持创建后变更地域的;对于没有体验过阿里云其他产品的用户来说,这里还需要提前创建好VPC、交换机等信息,可以直接点击项目下方的超链接跳转到对应产品进行创建;给实例取一个容易识别并好记的名称,并提前设置好admin用户的密码,用于manager的登录。

需要服务关联角色,点击创建便可,无需跳转,随后勾选协议,点击立即试用,至此试用开通流程已完成。

点击前往控制台,即可看到我们刚才开通试用的实例了,如下图:

待实例状态变成运行中后,我们点击实例ID便可进入实例的详情页,如下图:

此外,实例详情页还可以看到实例的BE\FE配置信息以及监控告警(默认打开的是基础版,需要高级或企业级需要开通ARMS,点击告警设置即可开通),如下图:

体验

在实例详情页点击StarRocks Manager,即可打开StarRocks的数据管理控制台,首次进入需要输入创建实例时填写的密码,完成后点击测试连通性,显示成功,点击确定即可进入。如下图:

接下来通过SQL Editor完成简单的SQL执行,如下图:

这里有必要简单普及下SQL的语法,开整:

/**创建数据库**/

create database 数据库名;

/**创建数据表**/

create table table_name(column_name column_type);

/**查询数据库**/

第一种方式:select column_name,column_name from table_name;

第二种方式:select * from table_name;

/**插入数据库**/

第一种方式:insert into table_name values (value1,value2,value3,...);

第二种方式:insert into table_name (column1,column2,column3,...) values (value1,value2,value3,...);

/**更新数据库**/

update table_name set column1=value1,column2=value2,... where some_column=some_value;

/**删除数据库**/

delete from table_name where some_column=some_value;

在控制台的全部查询里,可以看到刚执行的结果,如下图:

单机控制台的元数据管理,可以看到当前账号下所有的数据库信息,如下图:

在刚才的SQL Editor过程中,我们实际上是实现了一个类似Mysql的INSERT INTO数据导入功能,在EMR StarRocks Manager控制台,单击元数据管理,再单击数据库名称,点击任务,即可在其他导入页签查看到SQL的执行状态。如下图:

此外,除了通过上面的StarRocks Manager来访问实例外,还可以使用EMR Notebook。在E-MapReduce的控制台页面可以看到,当前Notebook、Workflow尚处于公测阶段,如下图:

点击控制台的Notebook即可跳转到免费试用申请页面,如下图:

填入必要信息,等待审核。

上面体验的都是实例的基本使用,此外用户还可以根据业务的实际需求进行实例节点的扩缩容和升降配,如下图:

由于提供试用的是入门版,扩缩容和升降配功能暂时没有标配,需要升级到标准版才有。标准版收费如下图:

还可以操作版本的升级迭代,分大小版,均可以实现自动升级,可实现业务的平滑无缝迭代。要注意的是版本是不支持降级的,所以升级前一定要确认好,避免因为版本差异带来不必要的麻烦。如下图:

小结

通过EMR StarRocks Manager可以非常高效灵活地创建和管理StarRocks实例,提供了非常良好的交互式分析体验;同时StarRocks实例的构建不需要依赖任何其他组件,真正实现了快速部署、方便维护、高效运行;此外通过控制台,用户还可以无缝扩缩、升降配实例节点、在线平滑升级,使得实例管理和维护更高效,维护人员仅需专注于实例本身。

通过对上述产品功能的体验,发现当前基本可以满足需求,但对于复杂度高、数据量大的企业级业务当前还缺乏足够的文档或者案例支持,当前支持的数据导入方式多样,基本涵盖了企业应用中能够使用到的数据类型,这点还是非常值得肯定的。

配合大数据数据迁移工具CloudCanal,EMR Serverless StarRocks可以更高效地获得数据源,非常好地解决了传统Hadoop体系组件强耦合的痛点,从而能应用于更丰富的业务场景,比如IOT领域、智慧城市、数字智能领域、异构、容灾等。

目录
相关文章
|
6月前
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
553 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
DataWorks 数据挖掘 Serverless
阿里云EMR Serverless StarRocks 内容合集
阿里云 EMR StarRocks 提供存算分离架构,支持实时湖仓分析,适用于多种 OLAP 场景。结合 Paimon 与 Flink,助力企业高效处理海量数据,广泛应用于游戏、教育、生活服务等领域,显著提升数据分析效率与业务响应速度。
149 0
|
6月前
|
存储 运维 Serverless
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
537 69
|
4月前
|
人工智能 分布式计算 DataWorks
一体系数据平台的进化:基于阿里云 EMR Serverless Spark 的持续演进
本文介绍了一体系汽配供应链平台如何借助阿里云EMR Serverless Spark实现从传统Hadoop平台向云原生架构的迁移。通过融合高质量零部件供应与创新互联网科技,一体系利用EMR Serverless Spark和DataWorks构建高效数据分析体系,解决大规模数据处理瓶颈。方案涵盖实时数据集成、Lakehouse搭建、数仓分层设计及BI/ML应用支持,显著提升数据处理性能与业务响应速度,降低运维成本,为数字化转型奠定基础。最终实现研发效率提升、运维压力减轻,并推动AI技术深度整合,迈向智能化云原生数据平台。
151 4
|
8月前
|
SQL 存储 OLAP
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
273 0
|
8月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
172 0
|
6月前
|
存储 分布式计算 OLAP
百观科技基于阿里云 EMR 的数据湖实践分享
百观科技为应对海量复杂数据处理的算力与成本挑战,基于阿里云 EMR 构建数据湖。EMR 依托高可用的 OSS 存储、开箱即用的 Hadoop/Spark/Iceberg 等开源技术生态及弹性调度,实现数据接入、清洗、聚合与分析全流程。通过 DLF 与 Iceberg 的优化、阶梯式弹性调度(资源利用率提升至70%)及倚天 ARM 机型搭配 EMR Trino 方案,兼顾性能与成本,支撑数据分析需求,降低算力成本。
401 59
|
8月前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
616 58
|
8月前
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
364 15