无限价值,瞬时洞察--沉浸式体验尽在HoloStudio

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
简介: 导读: HoloStudio为飞天大数据平台DataWorks交互式查询产品,基于交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务。 作者:柔惠/魉妹/赵红梅         &nbsp

导读:

HoloStudio为飞天大数据平台DataWorks交互式查询产品,基于交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务。

作者:柔惠/魉妹/赵红梅

新一代实时交互式分析引擎于2019云栖大会重磅发布,交互式分析致力于低成本、高性能、高可用的大规模计算型存储和极致的查询能力,兼容PostgreSQL,为用户提供海量数据实时数仓解决方案和实时交互式查询服务。

交互式分析引擎与MaxCompute直接打通,同时支持Blink实时写入实时查询,支持海量数据场景下的实时数据分析、离线数据实时分析、实时离线联合分析,适用于实时大屏、实时BI报表、用户画像、监控预警等典型场景,数据开发流程主要分为以下三大类:

实时数仓场景

业务数据实时写入实时计算,并将数据进行ETL处理,再由交互式分析实时查询,最终输出到第三方分析工具,实现实时数据的实时分析。该场景下的典型应用有:

  1. 数据部门的实时数仓、实时大屏、实时Reporting报表分析;
  2. 运维和数据应用的实时监控、实时异常检测预警、实时Debug;
  3. 业务部门的实时风控、实时推荐、实时效果分析、实时训练等;

MaxCompute加速查询场景

业务数据写入离线数仓MaxCompute,由交互式分析直接加速查询/导入查询,再对接BI分析工具,轻松实现离线数据的实时分析。该场景下的典型应用有:

  1. 离线数据MaxCompute的实时查询;
  2. 离线数据MaxCompute的报表实时分析;
  3. 离线数据MaxCompute的在线应用输出(比如RESTful API)。

实时离线联邦分析场景

业务数据按冷热分开存储,冷数据存储在离线数仓MaxCompute,热数据存储在交互式分析,通过交互式分析实现实时离线数据联邦分析,再对接BI分析工具,快速响应简单查询与复杂多维分析的业务要求。

在飞天大数据平台全面升级、实时交互式分析需求极速增长的背景下,如何为交互式分析用户提供标准化、无门槛的开发管理服务和一站式实时数仓构建服务跃然纸上,基于DataWorks平台的基础能力,交互式分析和DataWorks团队共同打造了一站式交互式开发平台--HoloStudio

(产品地址:https://holostudio-cn-shanghai.data.aliyun.com/ ) 感谢小伙伴们的关注,如果想快速体验交互式分析和HoloStudio功能,钉钉搜索加入“交互式分析交流群”)


核心能力

HoloStudio基于交互式分析交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务,HoloStudio提供的核心能力总结为以下四点:

图一:HoloStudio核心能力

HoloStudio目前已上线模块包括项目空间多DB管理 、表管理、外部表管理、ETL开发,实时查询和终端服务,下面给大家带来主要模块的功能详解。

表管理

提供可视化和SQL两种建表模式,满足不同层次用户需求。为适应多场景和开发人员的使用习惯,HoloStudio提供了多元化的开发模式,尤其是常用的表管理相关

UI建内部表

UI模式的表管理组件,UI和SQL脚本联动,满足不同数据开发工程师的使用习惯。

图二:HoloStudio 表管理架构

UI模式的表管理组件兼容PostgreSQL DDL协议,与交互式分析引擎同步,在基础信息、索引、分区等上做了标准化分类,同时直接引用Dataworks数据分析模块WebExcel满足一键数据预览和分析需求,让用户回归专注于开发之中、减少跳转。

图三:交互式分析内部表UI方式创建示例

UI同步外部表

MaxCompute一键shcema同步创建外部表,亚秒级MaxCompute数据预览和分析

交互式分析支持对MaxCompute数据进行直接交互式分许,无冗余存储,无额外数据集成工作,创建交互式分析外部表建立与MaxCompute目标分析表的Schema映射关系,即可直接分析MaxCompute里的数据。

在MaxCompute目标分析表表字段多、或查询分析场景频繁的场景下,拷贝MaxCompute表DDL然后手动进行交互式分析外部表的绑定操作很繁琐且容易出错,HoloStudio利用DataWorks数据地图管理MaxCompute元数据的天然优势,自动获取MaxCompute表Schema一键同步,是您贴身的好帮手。

图四:MaxCompute Schema一键同步,直接加速预览分析

ETL开发

智能调度和运维、实时离线交互式分析完整业务流

HoloStudio基于DataWorks的底层能力,为用户提供一站式稳定高效的ETL服务,满足用户MaxCompute离线数据到交互式分析索引数据的周期构建、交互式分析实时数据周期性ETL作业等需求,且与DataStudio离线ODPSETL调度任务流串联,实现完成的 odps ETL --> odps2Holo -->交互式分析交互式分析作业流。

图五:MaxCompute周期性同步交互式分析

实时查询

智能编辑器、秒级交互式查询体验

图六:交互式分析亚秒级交互式查询示例

PSQL终端

web端psql服务,满足终端习惯客户需求

图七:基于AppStudio的PSQL终端服务

构想

构建完善集数据集成、数据开发、数据分析、数据应用、数据治理于一体的一站式大数据开发平台一直是Dataworks的核心,HoloStudio后续将在交互式数据分析上基于交互式分析引擎和Dataworks生态快速迭代,从图形化运维、query分析和诊断,到数据服务、数据可视化输出、数据综合治理进行深度耕耘和扩展。

交互式分析目前在阿里妈妈内部各个BU广泛应用,公共云也已正式公测,欢迎大家体验和合作,更多精彩请进钉钉群~

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
4天前
|
人工智能 自然语言处理 搜索推荐
《AI加持,让鸿蒙元宇宙交互自然度飙升》
在鸿蒙元宇宙中,人工智能通过多模态感知、个性化自适应、智能虚拟角色互动、实时场景优化及内容生成与推荐等技术,大幅提升用户与虚拟环境的交互自然度。它不仅使设备能精准捕捉用户的视觉、听觉、触觉信息,还通过学习用户行为提供个性化的体验,让虚拟角色更智能地回应情感需求,优化虚拟场景并推荐个性化内容,为用户带来沉浸式、贴心的虚拟世界体验。
28 10
|
5月前
|
开发者 图形学 UED
深度解析Unity游戏开发中的性能瓶颈与优化方案:从资源管理到代码执行,全方位提升你的游戏流畅度,让玩家体验飞跃性的顺滑——不止是技巧,更是艺术的追求
【8月更文挑战第31天】《Unity性能优化实战:让你的游戏流畅如飞》详细介绍了Unity游戏性能优化的关键技巧,涵盖资源管理、代码优化、场景管理和内存管理等方面。通过具体示例,如纹理打包、异步加载、协程使用及LOD技术,帮助开发者打造高效流畅的游戏体验。文中提供了实用代码片段,助力减少内存消耗、提升渲染效率,确保游戏运行丝滑顺畅。性能优化是一个持续过程,需不断测试调整以达最佳效果。
134 0
|
6月前
|
机器学习/深度学习 图形学 UED
优化用户体验与广告收入平衡的策略:提升IAA游戏变现效率
【7月更文第30天】随着移动游戏市场的竞争日益激烈,开发者必须确保他们的应用既能吸引并保留用户,又能从中获得足够的收入来维持运营和发展。IAA是一种有效的收入来源,但如果处理不当,可能会损害用户体验。因此,了解如何平衡IAA与用户体验至关重要。
334 0
|
5月前
|
人工智能 搜索推荐 算法
📈业绩飙升的秘密:AI驱动的个性化营销策略,职场营销新高度!
【8月更文挑战第1天】在激烈的商业竞争中,AI驱动的个性化营销正成为企业突破的关键。通过大数据收集用户多维度信息,形成精准用户画像;利用智能推荐系统实现“千人千面”,大幅提升用户满意度和转化率;并通过实时优化策略快速响应市场变化。简化的Python示例展示了基于用户画像的推荐算法应用。AI营销以其高效灵活的特点,已成为职场营销的新常态,助力企业在数据时代掌握营销主动权。
82 0
|
6月前
|
机器学习/深度学习 存储 监控
云上智能视频分析:解锁视频数据的无限潜能
更加安全可靠:随着网络安全和数据保护意识的提高,云上智能视频分析系统将更加注重安全性和可靠性保障。未来的系统将采用更加先进的加密技术和安全防护措施,确保视频数据的传输和存储过程安全可靠;同时还将建立完善
176 0
|
人工智能 数据可视化 大数据
专访惠众科技|元宇宙应用如何借助3DCAT实时云渲染实现流畅大并发呈现?
惠众科技是一家致力于元宇宙创新应用的技术开发服务的高新科技企业及智慧城市、大数据、虚拟现实仿真技术解决方案的专业服务商。我们有幸采访到了惠众科技的联合创始人钟凯,来听听惠众科技如何在政府、企业和消费者三个环节部署自己的元宇宙内容的?为何选择了使用3DCAT实时云渲染?以及AIGC会如何赋能元宇宙内容创作?
|
监控 搜索推荐 中间件
轻松应对增长玩法的72变
闲鱼增长有千面,看他72般变
513 0
轻松应对增长玩法的72变
|
算法 搜索推荐 决策智能
手淘促活那些事儿 | 智能投放算法框架助力用户增长
作为淘系用户增长算法团队,我们的定位是为淘系用户增长提供基础的用户理解、用户触达干预等算法能力,探索增长相关的玩法和机制,与产品、运营、开发等兄弟团队紧密配合,完成淘系用户增长的目标。
4157 0
手淘促活那些事儿 | 智能投放算法框架助力用户增长
|
存储 分布式计算 搜索推荐
【无限价值,瞬时洞察】交互式分析重磅发布
交互式分析致力于低成本、高性能、高可用的大规模计算型存储和极致的查询能力,为用户提供海量数据实时数仓解决方案和实时交互式查询服务,与大数据生态无缝打通,支持对PB级数据进行高并发、低延时的分析处理,让您轻松而经济地使用现有BI工具对数据进行多维分析透视和业务探索。
2255 0