无限价值,瞬时洞察--沉浸式体验尽在HoloStudio

简介: 导读: HoloStudio为飞天大数据平台DataWorks交互式查询产品,基于交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务。 作者:柔惠/魉妹/赵红梅         &nbsp

导读:

HoloStudio为飞天大数据平台DataWorks交互式查询产品,基于交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务。

作者:柔惠/魉妹/赵红梅

新一代实时交互式分析引擎于2019云栖大会重磅发布,交互式分析致力于低成本、高性能、高可用的大规模计算型存储和极致的查询能力,兼容PostgreSQL,为用户提供海量数据实时数仓解决方案和实时交互式查询服务。

交互式分析引擎与MaxCompute直接打通,同时支持Blink实时写入实时查询,支持海量数据场景下的实时数据分析、离线数据实时分析、实时离线联合分析,适用于实时大屏、实时BI报表、用户画像、监控预警等典型场景,数据开发流程主要分为以下三大类:

实时数仓场景

业务数据实时写入实时计算,并将数据进行ETL处理,再由交互式分析实时查询,最终输出到第三方分析工具,实现实时数据的实时分析。该场景下的典型应用有:

  1. 数据部门的实时数仓、实时大屏、实时Reporting报表分析;
  2. 运维和数据应用的实时监控、实时异常检测预警、实时Debug;
  3. 业务部门的实时风控、实时推荐、实时效果分析、实时训练等;

MaxCompute加速查询场景

业务数据写入离线数仓MaxCompute,由交互式分析直接加速查询/导入查询,再对接BI分析工具,轻松实现离线数据的实时分析。该场景下的典型应用有:

  1. 离线数据MaxCompute的实时查询;
  2. 离线数据MaxCompute的报表实时分析;
  3. 离线数据MaxCompute的在线应用输出(比如RESTful API)。

实时离线联邦分析场景

业务数据按冷热分开存储,冷数据存储在离线数仓MaxCompute,热数据存储在交互式分析,通过交互式分析实现实时离线数据联邦分析,再对接BI分析工具,快速响应简单查询与复杂多维分析的业务要求。

在飞天大数据平台全面升级、实时交互式分析需求极速增长的背景下,如何为交互式分析用户提供标准化、无门槛的开发管理服务和一站式实时数仓构建服务跃然纸上,基于DataWorks平台的基础能力,交互式分析和DataWorks团队共同打造了一站式交互式开发平台--HoloStudio

(产品地址:https://holostudio-cn-shanghai.data.aliyun.com/ ) 感谢小伙伴们的关注,如果想快速体验交互式分析和HoloStudio功能,钉钉搜索加入“交互式分析交流群”)


核心能力

HoloStudio基于交互式分析交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务,HoloStudio提供的核心能力总结为以下四点:

图一:HoloStudio核心能力

HoloStudio目前已上线模块包括项目空间多DB管理 、表管理、外部表管理、ETL开发,实时查询和终端服务,下面给大家带来主要模块的功能详解。

表管理

提供可视化和SQL两种建表模式,满足不同层次用户需求。为适应多场景和开发人员的使用习惯,HoloStudio提供了多元化的开发模式,尤其是常用的表管理相关。

UI建内部表

UI模式的表管理组件,UI和SQL脚本联动,满足不同数据开发工程师的使用习惯。

图二:HoloStudio 表管理架构

UI模式的表管理组件兼容PostgreSQL DDL协议,与交互式分析引擎同步,在基础信息、索引、分区等上做了标准化分类,同时直接引用Dataworks数据分析模块WebExcel满足一键数据预览和分析需求,让用户回归专注于开发之中、减少跳转。

图三:交互式分析内部表UI方式创建示例

UI同步外部表

MaxCompute一键shcema同步创建外部表,亚秒级MaxCompute数据预览和分析

交互式分析支持对MaxCompute数据进行直接交互式分许,无冗余存储,无额外数据集成工作,创建交互式分析外部表建立与MaxCompute目标分析表的Schema映射关系,即可直接分析MaxCompute里的数据。

在MaxCompute目标分析表表字段多、或查询分析场景频繁的场景下,拷贝MaxCompute表DDL然后手动进行交互式分析外部表的绑定操作很繁琐且容易出错,HoloStudio利用DataWorks数据地图管理MaxCompute元数据的天然优势,自动获取MaxCompute表Schema一键同步,是您贴身的好帮手。

图四:MaxCompute Schema一键同步,直接加速预览分析

ETL开发

智能调度和运维、实时离线交互式分析完整业务流

HoloStudio基于DataWorks的底层能力,为用户提供一站式稳定高效的ETL服务,满足用户MaxCompute离线数据到交互式分析索引数据的周期构建、交互式分析实时数据周期性ETL作业等需求,且与DataStudio离线ODPSETL调度任务流串联,实现完成的 odps ETL --> odps2Holo -->交互式分析交互式分析作业流。

图五:MaxCompute周期性同步交互式分析

实时查询

智能编辑器、秒级交互式查询体验

图六:交互式分析亚秒级交互式查询示例

PSQL终端

web端psql服务,满足终端习惯客户需求

图七:基于AppStudio的PSQL终端服务

构想

构建完善集数据集成、数据开发、数据分析、数据应用、数据治理于一体的一站式大数据开发平台一直是Dataworks的核心,HoloStudio后续将在交互式数据分析上基于交互式分析引擎和Dataworks生态快速迭代,从图形化运维、query分析和诊断,到数据服务、数据可视化输出、数据综合治理进行深度耕耘和扩展。

交互式分析目前在阿里妈妈内部各个BU广泛应用,公共云也已正式公测,欢迎大家体验和合作,更多精彩请进钉钉群~

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
监控 前端开发 Java
错误码如何设计才合理?
对于错误码的设计,不同的开发团队有不同的风格习惯。本文分享阿里文娱技术专家长统对于错误码的看法,希望从错误码使用的不同场景讨论得到一个合理的错误码规约,得到一个面向日志错误码标准和一个面向外部传递的错误码标准。
13337 3
错误码如何设计才合理?
|
自然语言处理 安全 虚拟化
如何查看Windows所有软件的快捷键?
【2月更文挑战第12天】本文介绍在Windows电脑中,基于OpenArk工具,查看电脑操作系统与所有软件的快捷键,并对快捷键冲突加以处理的方法~
2942 9
如何查看Windows所有软件的快捷键?
|
存储 SQL 编解码
如何在ClickHouse中处理时序数据
ClickHouse具有强大的工具,可以高效地存储和处理时序数据,并可用于简单的解决方案和数据发掘,以及支持PB级的实时分析应用。
Element el-select 选择器(下拉框)详解
本文目录 1. 用途 2. 数据绑定 2.1 固定选项 2.2 选项绑定数组 3. 功能效果 3.1 可清空选项 3.2 多选 3.3 可搜索 4. 事件响应 5. 小结
8179 0
Element el-select 选择器(下拉框)详解
|
8月前
|
运维 关系型数据库 MySQL
告别SQL指令!OpenClaw(Clawdbot)阿里云部署集成MySQL专属Skill +免费API配置及避坑手册
在数据库运维场景中,复杂的SQL指令、频繁的状态巡检、突发的故障排查,往往占用技术人员大量时间。而OpenClaw(原Clawdbot)作为2026年爆火的开源AI助手框架,与火山引擎云数据库MySQL版的结合,彻底改变了这一现状——通过配置`volcengine-rds-mysql`专属Skill,即可用自然语言实现数据库实例管理、数据查询、性能监控、故障排查,甚至7×24小时智能管控,大幅降低运维门槛与成本。
1196 2
|
12月前
|
Shell
Bash 入门
本教程介绍Bash基础,涵盖Hello World输出、命令格式、注释用法、Shebang作用及命令类型(内置、外部、函数、别名)。讲解常用命令如echo、ls、cd、cp等及快捷键,助你快速入门Shell编程。
|
人工智能 JSON API
阿里云文档智能 & RAG解决方案:提升AI大模型业务理解与应用
阿里云推出的文档智能 & RAG解决方案,旨在通过先进的文档解析技术和检索增强生成(RAG)方法,显著提升人工智能大模型在业务场景中的应用效果。该方案通过文档智能(Document Mind)技术将非结构化文档内容转换为结构化数据,提取文档的层级树、样式和版面信息,并输出为Markdown和Json格式,为RAG提供语义分块策略。这一过程不仅解决了文档内容解析错误和切块丢失语义信息的问题,还优化了输出LLM友好的Markdown信息。方案的优势在于其多格式支持能力,能够处理包括Office文档、PDF、Html、图片在内的主流文件类型,返回文档的样式、版面信息和层级树结构。
942 2
|
运维 监控 测试技术
【赵渝强老师】使用obd快速体验OceanBase
OceanBase Deployer (obd) 是 OceanBase 数据库的安装部署工具,支持命令行与白屏界面两种方式。通过标准化复杂配置流程,降低集群部署难度。命令行适合深度用户,白屏界面便于快速体验。obd 还提供包管理、压测、集群管理等运维功能。文中详细介绍了使用 obd 部署 OceanBase 数据库集群的步骤,包括执行命令、连接数据库、查看信息及监控页面访问等内容,并附有视频讲解和示例输出。
508 1
|
人工智能 前端开发 JavaScript
在线课堂|基于Springboot+Vue实现在线学习平台
本项目基于Springboot和Vue开发实现了一个大学生在线课程学习平台。平台用户有三类:学生、教师、管理员。学生注册登录后可以查看相关课堂,在线播放课程视频进行学习,并可以购买课程,完成课程交易,对课程进行评价,添加学习记录进行记录,在线咨询留言等。教师账户由管理员分配,登录后可以添加课程,添加课程对应的学习视频,查询课程评价并进行回复,查看学生的学习记录,回复学生咨询信息等。管理员主要对平台的所有信息进行相应的管理,包含学生管理、教师管理、课程管理、分类管理、视频管理、咨询管理、学习记录管理、轮播图管理、友情链接管理等,并包含了课程销售的图形报表统计,采用Echart来进行实现。具体见下
1498 0
|
存储 缓存 监控
【JVM调优】如何进行JVM调优?一篇文章就够了!
深入解读JVM性能的监控、定位和调优方案,阐述jps/stat/jstack、MAT等常用性能分析工具的使用,提出JVM参数、内存溢出、内存泄漏、CPU飙升、GC频繁等实际场景下JVM调优的方案。
【JVM调优】如何进行JVM调优?一篇文章就够了!

热门文章

最新文章