持续定义Saas模式云数据仓库+BI

简介: 简介:阿里云技术专家海清为大家带来持续定义Saas模式云数据仓库+BI的介绍。内容包括云数据仓库概述,BI使用场景与趋势,基于MaxCompute云数仓+BI的特性,以及实践案例。

云数据仓库概述

今天和大家一起探讨一下我们Saas模式下云数据仓库加上商业智能BI能有什么新的东西出来。我们先来看一下云数据仓库的一些概述。预测到2025年, 全球数据增长至175ZB, 中国数据量增长至48.6ZB。数据量暴涨这个前提下,我们看一下BI市场规模的增长。预测到2023年,我们中国BI软件市场年复合增长率为32%。云计算也同样在增速发展,2019年第四季中国云数据市场的增长率已经达到66.9%。

image.png

云数据仓库可以让企业几分钟内创建并开始使用数据仓库服务,在更低的成本下,专注业务,通过对大规模数据进行多样化的处理、挖掘、分析,快速获得业务洞察。它有四大特点:大规模数据分析,高性能,灵活扩容,低成本。

image.png

BI使用场景与趋势

商业智能(BI,Business Intelligence)是一种以提供决策分析性的运营数据为目的而建立的信息系统。随着我们社会发展以及数据量的爆发,在这么大量的数据支持之下,企业希望能快速从这些数据里边挖掘出更科学的一些数据,然后对我们的企业有一个科学化和数据化决策的帮助力。同时,BI也会助力企业用到一个精细化运营,客户关系维护,还有成本控制等。
我们看一下商业智能建立一个信息系统它主要的一个流程。首先是数据接入,将分散于我们企业内外各种数据集成和进行整合。然后再进入一个数据准备阶段,就是一个ETL的阶段。然后再到一个数据分析的阶段,最后将这些成果交给决策层,决策层就可以通过这数据进行一些决策。不管是精细化运营,还是客户维护关系,还是成本控制,都可以从这些数据里边得到一些助力。

image.png

随着数据量的暴涨,我们的业务快速的增长,产生了各种分析需求。不仅仅是分析多样,而且还想要实时的,比如说秒级的即时查询。同时在这么大量的数据基础上,数据的安全合规也越来越受到重视。所以需要快速的整合多系统数据和实现信息透明,以及构建一个统一的简单易用的可视化分析平台,提高制表效率。这已经成为BI系统的新的趋势。

image.png

基于MaxCompute云数仓+BI的特性

MaxCompute(原ODPS)是一项大数据计算服务,它能提供灵活快速、完全托管、高性能、低成本、安全的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。基于MaxCompute云数据仓库的基本架构如下图所示。底层的集群是MaxCompute本身搭建好的,用户无需感知。再往上,有多种的计算引擎。引擎之上提供各种的API,还有深度的集成了一个一站式大数据智能云研发平台DataWorks。在云数据仓库的这么一个体系下,可以做数据准备,进行各种清洗、加工、分析之后,就可以进入一个数据消费的阶段。

image.png

总结一下MaxCompute云数仓的特性。第一,是一个开箱即用的在线服务。免平台运维,总体拥有成本低。第二,极致弹性能力。弹性扩展,无需容量规划即可应对业务规模的快速变化。第三,简单易用,多功能计算服务。多种计算模型,多种数据通道,外部数据源联邦计算。第四,企业级安全能力。多租户安全保障机制,细粒度授权,数据加密、脱敏,备份恢复。第五,生态融合。支持多样数据源、生态工具和标准。

image.png

基于MaxCompute云数据仓库,我们和BI工具是如何对接的呢。MaxCompute主要是一个存储和计算服务,加上一个数据开发平台DataWorks,组成了一个离线的云数据仓库。在这之上,深度的集成了一个阿里云的Quick BI。它是一个分析报表工具,直接连接一MaxCompute的数据表即可以自己对这个表进行分析。还有第三方的一些工具,帆软,Tableau。同时我们在生态这一方面,JDBC同样也是支持。还有一些企业、一些客户对于商业智能这一块有更加多样化的一个需求或者个性的需求,现有对接的这些工具有可能不支持,那么它也可以通过SDK的方式来连接,从而实现基于MaxCompute云数据仓库对接的一个商业智能的信息平台。

image.png

我们看一下MaxCompute离线数仓是怎么实现一个高性能低延迟的分析查询。它可以直接读取离线数仓,支持多样化的查询分析,包括一些简单的查询、复杂的查询、点查询、联邦查询等等。它底层也可以有丰富的数据源,通过MaxCompute + Hologres组成一个交互式分析。这么一个大数据生态下,它都可以无缝的对接。比如说Quick BI,Tableau,帆软。所以它可以做到很快的上手,通过这么一个组合我们可以很快速的实现一个企业的信息平台。

image.png

实践案例

接下来我们看一下几个实践案例。

新零售的一个行业案例,需求背景: 基于Hadoop开源生态打造,软硬件维护成本高昂,稳定性问题不断,严重影响业务经营分析;线上业务爆发,需求积压严重,期望有整体解决方案,能够快速灵活支持业务发展所需的技术扩展。通过这么一个大数据解决方案,直接用了阿里云的Quick BI这个产品,实现了快速数智化转型,拥抱新零售,降低TCO的同时,更好的依托云上生态,实现数据资产业务化闭环。最终新零售这个案例,基于我们的MaxCompute + DataWorks,提高了他的数据业务的开发效率。

image.png

我们再看一个新金融的案例。需求背景:金融业务数据,对安全管控有极强要求,需要一个完整的安全管理体系,同时还要满足个性化安全需求;业务快速发展,需要能快速搭建、成本低、秒级扩展的数据中台体系。我们给客户创造的价值:基于MaxCompute开箱即用的应用满足其在安全审计过程中的数据安全需求,缩短了需求响应时间并满足其在数据安全上的个性化需求。

image.png

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4天前
|
Web App开发 编解码 Java
B/S基层卫生健康云HIS医院管理系统源码 SaaS模式 、Springboot框架
基层卫生健康云HIS系统采用云端SaaS服务的方式提供,使用用户通过浏览器即能访问,无需关注系统的部署、维护、升级等问题,系统充分考虑了模板化、配置化、智能化、扩展化等设计方法,覆盖了基层医疗机构的主要工作流程,能够与监管系统有序对接,并能满足未来系统扩展的需要。
30 4
|
2月前
|
传感器 人工智能 数据可视化
Java智慧工地监管一体化云平台APP源码 SaaS模式
安全隐患排查 1.可在电脑端、手机端对安全隐患数据进行记录、查询 2.能够实现安全隐患发起、整改、复查的闭环管理 3.具备对安全隐患数据进行统计、可视化分析、信息推送等功能 4.包含对危险性较大的分部分项工程进行巡查记录功能
61 4
|
3月前
|
小程序 Java 数据管理
Java前后端分离架构开发的智慧校园电子班牌系统源码(SaaS模式)
.智慧校园设备管理: 设备管理主要对班级中正在使用的电子智慧班牌进行管理,基本功能包含(开关机状态、班级信息、设备型号、开关机信息、电子智慧班牌截屏信息、教师编号、设备ID、在线和离线状态、电子智慧班牌更新时间等)
40 0
|
1月前
|
传感器 人工智能 数据可视化
Java智慧工地监管一体化云平台APP源码 SaaS模式
高支模监测:高支模立杆及倾斜角度,高支模立杆的荷载,架体的水平位移以及模板沉降情况,当检测数据超过预警值时,实时报警。
32 2
|
1月前
|
存储 安全 BI
支持多医院使用的云HIS医院信息化管理系统源码 SaaS模式
设计和开发HIS系统时需要注意医疗业务需求、数据模型设计、用户界面设计、安全和隐私保护、可扩展性和灵活性、集成和接口设计、测试和质量保证、用户培训和支持等方面的事项,以确保系统能够满足医院的需求并提供良好的使用体验。
26 0
|
1月前
|
供应链 安全 BI
SaaS模式的云医院信息管理系统源码,云HIS
系统支持现场预约、电话预约、医生预约等多种预约方式,并提供方便的取消预约操作。有效支持集中式挂号(窗口挂号)、分散式挂号(护士分诊台、医生工作站)、等多种形式方便病人挂号和缓解病人集中时挂号压力。提供灵活报表功能,开放的报表自定义系统使医院报表需求能自主定身制作。
SaaS模式的云医院信息管理系统源码,云HIS
|
2月前
|
监控 安全 物联网
智慧校园电子班牌系统源码,SaaS模式部署,支持PC端、移动客户端、电子班牌端
智慧班牌系统,支持PC端、移动客户端、电子班牌端,一方面将展示校园文化、班级文化的丰富多彩,另一方面也将成为学校和班级,教室和学生,教师和学生,以及家长和学生之间的互动媒介。通过班牌真正发挥智慧校园的优势,促进丰富的教学生活。
智慧校园电子班牌系统源码,SaaS模式部署,支持PC端、移动客户端、电子班牌端
|
2月前
|
消息中间件 运维 Java
java医院综合信息管理云HIS系统源码(前后端分离、SaaS模式、云计算)
云HIS系统分为两个大的系统:综合管理系统和业务系统 1、综合管理系统:由运营商、开发商和监管机构使用,用来进行运营管理、运维管理和综合监管。 2、业务系统:由基层医院使用,用来支撑医院各类业务运转。
57 1
|
3月前
|
传感器 人工智能 监控
物联网+AI智慧工地云平台源码(SaaS模式)
在工地上安装扬尘噪声监测仪、车辆冲洗监测等设备,通过多系统信息融合应用,积极响应国家节能减排号召,实时、远程、自动监控工地现场的温度、湿度、pm2.5、pm10、噪音等情况,一旦数据超标,平台会马上发出预警,实现绿色施工。
56 1
|
3月前
|
存储 边缘计算 搜索推荐
SaaS是最终化的软件模式吗
SaaS、最终化、软件模式