无限价值,瞬时洞察--沉浸式体验尽在HoloStudio

简介: 导读: HoloStudio为飞天大数据平台DataWorks交互式查询产品,基于交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务。 作者:柔惠/魉妹/赵红梅         &nbsp

导读:

HoloStudio为飞天大数据平台DataWorks交互式查询产品,基于交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务。

作者:柔惠/魉妹/赵红梅

新一代实时交互式分析引擎于2019云栖大会重磅发布,交互式分析致力于低成本、高性能、高可用的大规模计算型存储和极致的查询能力,兼容PostgreSQL,为用户提供海量数据实时数仓解决方案和实时交互式查询服务。

交互式分析引擎与MaxCompute直接打通,同时支持Blink实时写入实时查询,支持海量数据场景下的实时数据分析、离线数据实时分析、实时离线联合分析,适用于实时大屏、实时BI报表、用户画像、监控预警等典型场景,数据开发流程主要分为以下三大类:

实时数仓场景

业务数据实时写入实时计算,并将数据进行ETL处理,再由交互式分析实时查询,最终输出到第三方分析工具,实现实时数据的实时分析。该场景下的典型应用有:

  1. 数据部门的实时数仓、实时大屏、实时Reporting报表分析;
  2. 运维和数据应用的实时监控、实时异常检测预警、实时Debug;
  3. 业务部门的实时风控、实时推荐、实时效果分析、实时训练等;

MaxCompute加速查询场景

业务数据写入离线数仓MaxCompute,由交互式分析直接加速查询/导入查询,再对接BI分析工具,轻松实现离线数据的实时分析。该场景下的典型应用有:

  1. 离线数据MaxCompute的实时查询;
  2. 离线数据MaxCompute的报表实时分析;
  3. 离线数据MaxCompute的在线应用输出(比如RESTful API)。

实时离线联邦分析场景

业务数据按冷热分开存储,冷数据存储在离线数仓MaxCompute,热数据存储在交互式分析,通过交互式分析实现实时离线数据联邦分析,再对接BI分析工具,快速响应简单查询与复杂多维分析的业务要求。

在飞天大数据平台全面升级、实时交互式分析需求极速增长的背景下,如何为交互式分析用户提供标准化、无门槛的开发管理服务和一站式实时数仓构建服务跃然纸上,基于DataWorks平台的基础能力,交互式分析和DataWorks团队共同打造了一站式交互式开发平台--HoloStudio

(产品地址:https://holostudio-cn-shanghai.data.aliyun.com/ ) 感谢小伙伴们的关注,如果想快速体验交互式分析和HoloStudio功能,钉钉搜索加入“交互式分析交流群”)


核心能力

HoloStudio基于交互式分析交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务,HoloStudio提供的核心能力总结为以下四点:

图一:HoloStudio核心能力

HoloStudio目前已上线模块包括项目空间多DB管理 、表管理、外部表管理、ETL开发,实时查询和终端服务,下面给大家带来主要模块的功能详解。

表管理

提供可视化和SQL两种建表模式,满足不同层次用户需求。为适应多场景和开发人员的使用习惯,HoloStudio提供了多元化的开发模式,尤其是常用的表管理相关

UI建内部表

UI模式的表管理组件,UI和SQL脚本联动,满足不同数据开发工程师的使用习惯。

图二:HoloStudio 表管理架构

UI模式的表管理组件兼容PostgreSQL DDL协议,与交互式分析引擎同步,在基础信息、索引、分区等上做了标准化分类,同时直接引用Dataworks数据分析模块WebExcel满足一键数据预览和分析需求,让用户回归专注于开发之中、减少跳转。

图三:交互式分析内部表UI方式创建示例

UI同步外部表

MaxCompute一键shcema同步创建外部表,亚秒级MaxCompute数据预览和分析

交互式分析支持对MaxCompute数据进行直接交互式分许,无冗余存储,无额外数据集成工作,创建交互式分析外部表建立与MaxCompute目标分析表的Schema映射关系,即可直接分析MaxCompute里的数据。

在MaxCompute目标分析表表字段多、或查询分析场景频繁的场景下,拷贝MaxCompute表DDL然后手动进行交互式分析外部表的绑定操作很繁琐且容易出错,HoloStudio利用DataWorks数据地图管理MaxCompute元数据的天然优势,自动获取MaxCompute表Schema一键同步,是您贴身的好帮手。

图四:MaxCompute Schema一键同步,直接加速预览分析

ETL开发

智能调度和运维、实时离线交互式分析完整业务流

HoloStudio基于DataWorks的底层能力,为用户提供一站式稳定高效的ETL服务,满足用户MaxCompute离线数据到交互式分析索引数据的周期构建、交互式分析实时数据周期性ETL作业等需求,且与DataStudio离线ODPSETL调度任务流串联,实现完成的 odps ETL --> odps2Holo -->交互式分析交互式分析作业流。

图五:MaxCompute周期性同步交互式分析

实时查询

智能编辑器、秒级交互式查询体验

图六:交互式分析亚秒级交互式查询示例

PSQL终端

web端psql服务,满足终端习惯客户需求

图七:基于AppStudio的PSQL终端服务

构想

构建完善集数据集成、数据开发、数据分析、数据应用、数据治理于一体的一站式大数据开发平台一直是Dataworks的核心,HoloStudio后续将在交互式数据分析上基于交互式分析引擎和Dataworks生态快速迭代,从图形化运维、query分析和诊断,到数据服务、数据可视化输出、数据综合治理进行深度耕耘和扩展。

交互式分析目前在阿里妈妈内部各个BU广泛应用,公共云也已正式公测,欢迎大家体验和合作,更多精彩请进钉钉群~

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
存储 Java Android开发
Android系统升级的机制概要
Android系统升级的机制概要
742 0
|
机器学习/深度学习 人工智能 PyTorch
网页也能跑大模型?
本故事主要介绍在网页上部署模型的来龙去脉,你想问的问题,可能都可以在这里找到答案
303 3
网页也能跑大模型?
|
9月前
|
运维 监控 测试技术
【赵渝强老师】使用obd快速体验OceanBase
OceanBase Deployer (obd) 是 OceanBase 数据库的安装部署工具,支持命令行与白屏界面两种方式。通过标准化复杂配置流程,降低集群部署难度。命令行适合深度用户,白屏界面便于快速体验。obd 还提供包管理、压测、集群管理等运维功能。文中详细介绍了使用 obd 部署 OceanBase 数据库集群的步骤,包括执行命令、连接数据库、查看信息及监控页面访问等内容,并附有视频讲解和示例输出。
275 1
|
9月前
|
敏捷开发 设计模式 测试技术
软考软件评测师——软件工程之开发模型与方法
本内容主要介绍了软件开发过程中的核心概念及主流模型,包括瀑布模型、原型模型、增量模型、螺旋模型和敏捷开发等。每种模型各有优劣,适用于不同场景:瀑布模型适合需求明确的大型项目;螺旋模型适用于高风险复杂系统;增量模型支持模块化开发;原型模型适合需求模糊的小型项目;敏捷方法则强调灵活响应与持续交付。此外,还通过历年真题解析,深入探讨了各模型的应用场景及其特点,为实际开发提供了理论指导与实践经验。选择合适的开发模型需综合考虑需求明确度、项目规模、团队经验等因素。
|
Java 应用服务中间件
SpringBoot工程打包部署
SpringBoot工程打包部署简介:SpringBoot项目可通过三种方式运行:可执行Jar包、可执行War包和标准War包。其中,可执行Jar/War包可独立运行,标准War包需部署在Tomcat中。具体步骤包括:1. 修改pom.xml添加构建依赖;2. 执行`mvn clean package`命令打包;3. 运行生成的Jar/War包(如`java -jar xxx.jar`)。对于标准War包,还需修改启动类并配置Tomcat依赖。
1193 7
|
SQL DataWorks 搜索推荐
DataWorks产品评测与最佳实践体验报告
DataWorks是阿里巴巴云推出的一款高效数据处理平台,通过内置的数据集成工具和ETL功能,实现了多源数据的自动化处理与分析。本文介绍了DataWorks在用户画像分析中的应用实践,展示了其如何帮助企业高效管理数据资源,支持决策制定及营销优化。同时,文章还评测了DataWorks的产品体验,包括开通流程、功能满足度等方面,并与其它数据开发平台进行了比较,突出了DataWorks在易用性、性能和生态完整性上的优势。最后,对Data Studio新版本中的Notebook环境进行了初步探索,强调了其在提升开发效率方面的价值。
462 16
|
关系型数据库 MySQL 测试技术
【赵渝强老师】MySQL的基准测试与sysbench
本文介绍了MySQL数据库的基准测试及其重要性,并详细讲解了如何使用sysbench工具进行测试。内容涵盖sysbench的安装、基本使用方法,以及具体测试MySQL数据库的步骤,包括创建测试数据库、准备测试数据、执行测试和清理测试数据。通过这些步骤,可以帮助读者掌握如何有效地评估MySQL数据库的性能。
554 5
|
算法
数据结构之购物车系统(链表和栈)
本文介绍了基于链表和栈的购物车系统的设计与实现。该系统通过命令行界面提供商品管理、购物车查看、结算等功能,支持用户便捷地管理购物清单。核心代码定义了商品、购物车商品节点和购物车的数据结构,并实现了添加、删除商品、查看购物车内容及结算等操作。算法分析显示,系统在处理小规模购物车时表现良好,但在大规模购物车操作下可能存在性能瓶颈。
393 0
|
数据安全/隐私保护
技巧 | Pyecharts自定义图表水印
技巧 | Pyecharts自定义图表水印
|
监控 安全 网络性能优化

热门文章

最新文章