场景描述
本文以电商行业为例，将业务数据和日志数据使用MaxCompute做ETL之后，同步到ADB进行实时分析，之后通过Quick BI进行快速可视化展示。
解决问题
- 互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景。
- 可扩展到各类网站BI分析场景使用。
产品列表
- MaxCompute
- 分析型数据MySQL版
- 日志服务SLS
- Quick BI
- 云服务器ECS
- RDS MySQL版
基于MaxCompute的大数据BI分析
2020-02-21
459
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
本文以电商行业为例，将业务数据和日志数据使用MaxCompute做ETL之后，同步到ADB进行实时分析，之后通过Quick BI进行快速可视化展示。
场景描述
解决问题
产品列表
相关实践学习
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps
目录
相关文章
|
6天前
|
SQL
缓存
分布式计算
阿里云连续五年入选Gartner®分析和商业智能平台魔力象限，中国唯一
Gartner® 正式发布《分析与商业智能平台魔力象限》报告（Magic Quadrant™ for Analytics and Business Intelligence Platforms），阿里云成为唯一入围该报告的中国厂商，被评为“挑战者”（Challengers）。这也是阿里云连续五年入选该报告。
21
2
2
|
8天前
|
SQL
存储
分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台，支持海量数据的存储与计算，适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面，确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序，用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
29
1
1
|
2月前
|
分布式计算
搜索推荐
物联网
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
130
2
2
|
2月前
|
人工智能
分布式计算
架构师
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
129
1
1
|
2月前
|
机器学习/深度学习
搜索推荐
算法
|
2月前
|
存储
机器学习/深度学习
数据采集
|
2月前
|
SQL
存储
分布式计算
MaxCompute 入门：大数据处理的第一步
【8月更文第31天】在当今数字化转型的时代，企业和组织每天都在产生大量的数据。有效地管理和分析这些数据变得至关重要。阿里云的 MaxCompute（原名 ODPS）是一个用于处理海量数据的大规模分布式计算服务。它提供了强大的存储能力以及丰富的数据处理功能，让开发者能够快速构建数据仓库、实时报表系统、数据挖掘等应用。本文将介绍 MaxCompute 的基本概念、架构，并演示如何开始使用这一大数据处理平台。
374
0
0
|
2月前
|
SQL
分布式计算
大数据
"大数据计算难题揭秘：MaxCompute中hash join内存超限，究竟该如何破解？"
【8月更文挑战第20天】在大数据处理领域，阿里云的MaxCompute以高效稳定著称，但复杂的hash join操作常导致内存超限。本文通过一个实例解析此问题：数据分析师小王需对两个共计300GB的大表进行join，却遭遇内存不足。经分析发现，单个mapper任务内存默认为2GB，不足以支持大型hash表的构建。为此，提出三种解决方案：1) 提升mapper任务内存；2) 利用map join优化小表连接；3) 实施分而治之策略，将大表分割后逐一处理再合并结果。这些方法有助于提升大数据处理效率及稳定性。
60
0
0
|
2月前
|
SQL
分布式计算
大数据
"揭秘MaxCompute大数据秘术：如何用切片技术在数据海洋中精准打捞？"
【8月更文挑战第20天】在大数据领域，MaxCompute（曾名ODPS）作为阿里集团自主研发的服务，提供强大、可靠且易用的大数据处理平台。数据切片是其提升处理效率的关键技术之一，它通过将数据集分割为小块来优化处理流程。使用MaxCompute进行切片可显著提高查询性能、支持并行处理、简化数据管理并增强灵活性。例如，可通过SQL按时间或其他维度对数据进行切片。此外，MaxCompute还支持高级切片技术如分区表和分桶表等，进一步加速数据处理速度。掌握这些技术有助于高效应对大数据挑战。
86
0
0
|
3月前
|
缓存
DataWorks
数据可视化
DataWorks 数据服务 + BI 可视化分析报表 (搭建战报)
DataWorks 数据服务提供强大的数据 API 能力，并能与多种业界流行的 BI 报表 (DataV、QuickBI、PowerBI和Grafana) 结合，使用 API 数据源的好处是统一数据接口、统一权限管理、统一数据交换以及数据服务提供强大的各式各样的插件能力 (如缓存插件、流量控制插件、日志脱敏插件、断路器插件、IP访问控制插件、三方鉴权插件等)，下文介绍各热门 BI 工具接入 DataWorks 数据服务的操作方式。
148
0
0
热门文章
最新文章
1
MongoDB BI Connector 实战指南
2
SQL Server BI Step by Step SSIS 4 ---合并数据1
3
《数据虚拟化：商务智能系统的数据架构与管理》一 2.3 管理层次与决策制定
4
Power BI基础知识——转换表和列（上）
5
《BI那点儿事》运用标准计分和离差——分析三国超一流统帅综合实力排名 绝对客观，数据说话
6
【版本发布公告】Quick BI v4.2.2版本说明
7
《BI那点儿事》数据流转换——透视
8
运营也用的起来的数据分析工具：Quick BI即席分析详解
9
《BI项目笔记》用Excel2013连接和浏览OLAP多维数据集
10
阿里云新品发布会周刊第87期 丨 阿里云MaxCompute 联合帆软重磅发布企业级BI分析解决方案 + 1分钟快速搭建属于自己的数字孪生应用