使用MaxCompute快速实现企业数据化运营

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 不管是传统企业还是互联网企业,都需要进行数据化运营,基于数据分析的结果进行管理决策。本文介绍如何通过使用阿里云的大数据计算服务MaxCompute、大数据开发套件DataIDE和Quick BI,来帮助企业快速实现数据化的运营。

随着人类社会从IT时代进入到DT时代,现在越来越多的企业开始重视数据的价值,但是并不是所有的企业都能够去挖掘出数据的价值。因此,企业需要通过使用大数据相关的技术对数据进行分析,并通过数据可视化技术将分析结果展现出来,这样才能够让企业负责人快速了解企业自身发展的情况。

以我们的一个客户为例,来看一下如何快速地实现企业数据化运营。我们有一个客户,他们的网站系统部署在阿里云上,其系统架构如下所示:

Max1

随着业务的发展,公司管理层希望了解网站访问的情况,并进行针对性的推广活动。但是,公司的技术人员并不知道如何把数据的结果很直观地展示给管理、运营和市场推广等人员。因此,其决定通过大数据的可视化技术将企业的业务数据化地展示出来。随后,该公司的技术人员对现有可视化技术深入地了解后,得出了以下的结论:

  • 自建系统:搭建周期长,需要雇佣专业的技术人员,同时部署、运维和研发的成本高;
  • 购买成熟的产品:成本比较高且部署比较耗时, 需要专门的技术人员对系统进行维护
  • 第三方数据分析服务:搭建周期短,成本低且不需要对系统本身进行运维
    由于企业的网站部署在阿里云上,并且数据是存储在阿里云的数据库服务RDS中,在尝试了自建Hadoop集群和MongoDB数据库之后,最后决定使用阿里云的MaxCompute对数据进行分析,并使用QuickBI来实现数据可视化展示。

该企业网站现有的数据存储在RDS的数据库中,通过阿里云数据管理服务DMS查看到的数据如下所示:

Max2

为了对业务数据进行分析,需要将数据从RDS导入MaxCompute中,通过大数据开发套件DataIDE可以很容易的实现MaxCompute的数据同步和任务开发。在阿里云官网上进入DataIDE的管理控制台,使用DataIDE对MaxCompute进行管理。在数据集成的模块中,把企业使用的RDS数据库作为数据源添加进来。

max3

然后在数据开发的模块中,通过脚本在MaxCompute中创建和RDS相同的数据表,并通过拖拽的方式实现数据分析的任务开发。

max4

开发完成后,提交并运行任务,从而实现使用MaxCompute对业务数据分析的目的。为了把分析的结果通过图表的形式展现出来,登录到QuickBI的管理控制台,通过“导入数据源”将MaxCompute使用的项目空间创建为新的数据源。

为了展示网站的访问情况和用户信息,分别根据customers、user_measures和refer_info三个表创建数据集:

max5

然后在“仪表板”页面中,分别对三个数据集中的数据进行展示,目前“仪表板”提供了多种图表格式供用户选择使用:

max6

首先,使用饼图展示数据集customers中用户性别比例的分布(0表示性别没有输入,1表示男性,2表示女性):

max7

接着,再分别使用柱状图和饼图展示访问网页的PV/UV和页面访问来源的情况。最终实现的报表如下所示:

max8

为了报表展示的美观性,还可以通过拖拽的方式对图表位置进行排版:

max9

最后对设计的仪表板进行保存,并将仪表板的链接发给管理层、市场推广等相关人员去查看分析的结果。这样,公司管理层可以很容易地根据数据分析报表做出正确的决策,从而实现数据化的运营。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
SQL 存储 监控
大数据Flume企业开发实战
大数据Flume企业开发实战
72 0
|
13天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
45 2
|
25天前
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
36 0
|
4月前
|
存储 机器学习/深度学习 大数据
参与开源大数据Workshop·杭州站,共探企业湖仓演进实践
Apache Flink 诚邀您参加 7 月 27 日在杭州举办的阿里云开源大数据 Workshop,了解流式湖仓、湖仓一体架构的最近演进方向,共探企业云上湖仓实践案例。
176 12
参与开源大数据Workshop·杭州站,共探企业湖仓演进实践
|
4月前
|
存储 监控 数据挖掘
云上大数据分析平台:赋能企业决策,挖掘数据金矿
5.3 场景化 针对不同行业和领域的需求特点,云上大数据分析平台将推出更多场景化的解决方案。这些解决方案将结合行业特点和业务场景进行
131 7
|
4月前
|
存储 分布式计算 数据可视化
ERP系统中的大数据分析与处理:驱动企业智能决策
【7月更文挑战第29天】 ERP系统中的大数据分析与处理:驱动企业智能决策
412 0
|
4月前
|
数据可视化 前端开发 大数据
商场智能导视系统深度解析,AR与大数据融合创新商业运营模式
**商场智能导视系统提升购物体验:** 通过三维电子地图、AR导航、AR营销、VR全景导购及可视化数据,解决顾客寻路困扰,增强店铺曝光,简化招商流程,优化商场管理,借助科技创新驱动顾客满意度、品牌曝光度及运营效率的全面提升。
116 0
商场智能导视系统深度解析,AR与大数据融合创新商业运营模式
|
6月前
|
存储 数据采集 算法
大数据平台治理——运营的角度看数仓
大数据平台治理——运营的角度看数仓
53 0
|
5月前
|
机器学习/深度学习 数据采集 大数据
大数据技术下的企业智能决策支持系统
大数据技术下的企业智能决策支持系统
182 0
|
6月前
|
运维 供应链 大数据
数据之势丨从“看数”到“用数”,百年制造企业用大数据实现“降本增效”
目前,松下中国旗下的64家法人公司已经有21家加入了新的IT架构中,为松下集团在中国及东北亚地区节约了超过30%的总成本,减少了近50%的交付时间,同时,大幅降低了系统的故障率。