无限价值,瞬时洞察--沉浸式体验尽在HoloStudio

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 导读: HoloStudio为飞天大数据平台DataWorks交互式查询产品,基于交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务。 作者:柔惠/魉妹/赵红梅         &nbsp

导读:

HoloStudio为飞天大数据平台DataWorks交互式查询产品,基于交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务。

作者:柔惠/魉妹/赵红梅

新一代实时交互式分析引擎于2019云栖大会重磅发布,交互式分析致力于低成本、高性能、高可用的大规模计算型存储和极致的查询能力,兼容PostgreSQL,为用户提供海量数据实时数仓解决方案和实时交互式查询服务。

交互式分析引擎与MaxCompute直接打通,同时支持Blink实时写入实时查询,支持海量数据场景下的实时数据分析、离线数据实时分析、实时离线联合分析,适用于实时大屏、实时BI报表、用户画像、监控预警等典型场景,数据开发流程主要分为以下三大类:

实时数仓场景

业务数据实时写入实时计算,并将数据进行ETL处理,再由交互式分析实时查询,最终输出到第三方分析工具,实现实时数据的实时分析。该场景下的典型应用有:

  1. 数据部门的实时数仓、实时大屏、实时Reporting报表分析;
  2. 运维和数据应用的实时监控、实时异常检测预警、实时Debug;
  3. 业务部门的实时风控、实时推荐、实时效果分析、实时训练等;

MaxCompute加速查询场景

业务数据写入离线数仓MaxCompute,由交互式分析直接加速查询/导入查询,再对接BI分析工具,轻松实现离线数据的实时分析。该场景下的典型应用有:

  1. 离线数据MaxCompute的实时查询;
  2. 离线数据MaxCompute的报表实时分析;
  3. 离线数据MaxCompute的在线应用输出(比如RESTful API)。

实时离线联邦分析场景

业务数据按冷热分开存储,冷数据存储在离线数仓MaxCompute,热数据存储在交互式分析,通过交互式分析实现实时离线数据联邦分析,再对接BI分析工具,快速响应简单查询与复杂多维分析的业务要求。

在飞天大数据平台全面升级、实时交互式分析需求极速增长的背景下,如何为交互式分析用户提供标准化、无门槛的开发管理服务和一站式实时数仓构建服务跃然纸上,基于DataWorks平台的基础能力,交互式分析和DataWorks团队共同打造了一站式交互式开发平台--HoloStudio

(产品地址:https://holostudio-cn-shanghai.data.aliyun.com/ ) 感谢小伙伴们的关注,如果想快速体验交互式分析和HoloStudio功能,钉钉搜索加入“交互式分析交流群”)


核心能力

HoloStudio基于交互式分析交互式分析引擎构建,由“实例管理-表管理-ETL开发-实时分析-图形化运维诊断”等功能模块构成,与Dataworks大数据生态相结合,提供了实时离线交互式分析到数据服务一站式大数据开发服务,HoloStudio提供的核心能力总结为以下四点:

图一:HoloStudio核心能力

HoloStudio目前已上线模块包括项目空间多DB管理 、表管理、外部表管理、ETL开发,实时查询和终端服务,下面给大家带来主要模块的功能详解。

表管理

提供可视化和SQL两种建表模式,满足不同层次用户需求。为适应多场景和开发人员的使用习惯,HoloStudio提供了多元化的开发模式,尤其是常用的表管理相关

UI建内部表

UI模式的表管理组件,UI和SQL脚本联动,满足不同数据开发工程师的使用习惯。

图二:HoloStudio 表管理架构

UI模式的表管理组件兼容PostgreSQL DDL协议,与交互式分析引擎同步,在基础信息、索引、分区等上做了标准化分类,同时直接引用Dataworks数据分析模块WebExcel满足一键数据预览和分析需求,让用户回归专注于开发之中、减少跳转。

图三:交互式分析内部表UI方式创建示例

UI同步外部表

MaxCompute一键shcema同步创建外部表,亚秒级MaxCompute数据预览和分析

交互式分析支持对MaxCompute数据进行直接交互式分许,无冗余存储,无额外数据集成工作,创建交互式分析外部表建立与MaxCompute目标分析表的Schema映射关系,即可直接分析MaxCompute里的数据。

在MaxCompute目标分析表表字段多、或查询分析场景频繁的场景下,拷贝MaxCompute表DDL然后手动进行交互式分析外部表的绑定操作很繁琐且容易出错,HoloStudio利用DataWorks数据地图管理MaxCompute元数据的天然优势,自动获取MaxCompute表Schema一键同步,是您贴身的好帮手。

图四:MaxCompute Schema一键同步,直接加速预览分析

ETL开发

智能调度和运维、实时离线交互式分析完整业务流

HoloStudio基于DataWorks的底层能力,为用户提供一站式稳定高效的ETL服务,满足用户MaxCompute离线数据到交互式分析索引数据的周期构建、交互式分析实时数据周期性ETL作业等需求,且与DataStudio离线ODPSETL调度任务流串联,实现完成的 odps ETL --> odps2Holo -->交互式分析交互式分析作业流。

图五:MaxCompute周期性同步交互式分析

实时查询

智能编辑器、秒级交互式查询体验

图六:交互式分析亚秒级交互式查询示例

PSQL终端

web端psql服务,满足终端习惯客户需求

图七:基于AppStudio的PSQL终端服务

构想

构建完善集数据集成、数据开发、数据分析、数据应用、数据治理于一体的一站式大数据开发平台一直是Dataworks的核心,HoloStudio后续将在交互式数据分析上基于交互式分析引擎和Dataworks生态快速迭代,从图形化运维、query分析和诊断,到数据服务、数据可视化输出、数据综合治理进行深度耕耘和扩展。

交互式分析目前在阿里妈妈内部各个BU广泛应用,公共云也已正式公测,欢迎大家体验和合作,更多精彩请进钉钉群~

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
移动开发 JavaScript 前端开发
报错/卡顿是衡量产品体验的基本要素
报错/卡顿是衡量产品体验的基本要素
80 0
报错/卡顿是衡量产品体验的基本要素
短视频平台搭建,降低用户等待焦虑的常用方式
短视频平台搭建,降低用户等待焦虑的常用方式
|
机器学习/深度学习 人工智能 算法
大厂技术实现 | 爱奇艺短视频推荐业务中的多目标优化实践 @推荐与计算广告系列
短视频是当前互联网最热门的业务之一,聚集了巨大的互联网用户流量,也是各大公司争相发展的业务领域。作为主要营收业务方向,短视频方向的推荐算法也日新月异并驱动业务增长,本期我们看到的是爱奇艺的短视频频道下,推荐多任务算法应用实践路径与落地方案。
4662 9
大厂技术实现 | 爱奇艺短视频推荐业务中的多目标优化实践 @推荐与计算广告系列
短视频APP源码,发挥出自己行业的原本优势
在线下流量逐渐聚集到线上后,为了迎合用户的消费习惯,给平台一个更好的发展空间,短视频APP源码在功能、玩法、推荐方式、入驻门槛等多方面进行变更,不仅要让现在的用户留存住,还要保证后期的新晋用户能够在平台扎根,成为忠实用户。
262 0
|
存储 运维 监控
日志服务助力江娱互动实现游戏运维能力跃迁
阿里云日志服务SLS帮助江娱互动做了日志价值的最大化利用,包括业务监控、系统维稳、数据分析等。
525 0
日志服务助力江娱互动实现游戏运维能力跃迁
|
存储 SQL 弹性计算
案例解析|游戏发行商如何低成本实现精细化营销
行业趋势—游戏行业市场营销往精细化发展
453 0
案例解析|游戏发行商如何低成本实现精细化营销
|
编解码 人工智能 算法
于冰:用户导向的音视频体验优化
在LiveVideoStackCon2018音视频技术大会上,快手音视频技术负责人于冰分享了题为《用户导向的音视频体验优化》的主题演讲,从用户的角度来去谈音视频的体验优化。
564 0
于冰:用户导向的音视频体验优化
电商直播系统开发技术成熟,对于人们生活方式有何改变?
电商直播系统开发,让购物方式有了新的选择,也成为了电商的新导向,随着5G技术的飞速发展,数据的传输成本越来越低。互联网的应用率越来越频繁,网购的出现是互联网成功的表现,当下直播平遇上网购时会发生什么样的变化?
电商直播系统开发技术成熟,对于人们生活方式有何改变?
|
搜索推荐 算法
【线上直播】智能推荐系列公开课——让产品价值最大化
阿里巴巴搜索推荐产品团队推出系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。 每期20分钟,修炼推荐硬功夫。
3500 0
【线上直播】智能推荐系列公开课——让产品价值最大化