4.互联网、电商离线大数据分析最佳实践(二)|学习笔记

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 快速学习4.互联网、电商离线大数据分析最佳实践

开发者学堂课程【DataWorks一站式大数据开发治理平台精品课程:4.互联网、电商离线大数据分析最佳实践】与课程紧密联系,让用户快速学习知识

课程地址:https://developer.aliyun.com/learning/course/81/detail/1252


4.互联网、电商离线大数据分析最佳实践(二)

四、MaxCompute五大产品特性

Maxcompute 有五大特性,用户无需要做跟运维相关的动作,在上面可以基于maxcompute 大数据的开发,后面也会有成本的对比,可以对比开源的大数据体系,能够有效的降低运维成本,能够总体降低的整个数据开发的存储的成本,包括安全可靠里,面是多租户的隔离的机制,还有非常完整的授权体系,也能够支持各种开源的生态。

1、开箱即用在线服务

五分钟即可开通大数据平台

(1)5分钟开通数加控制台

1数加控制台

2SDK

3客户端

(2)无需平台维护

MaxCompute

(3)一站式大数据服务

DataWorks

基于 InteliJ 的 Stduio

2、高效能低成本

持续高效低成本的大数据引擎

(1)成本最低

2016年 SortBench100TB 排序0.82$/TB

(2)速度最快

2015年 SortBench100TB 排序377秒

(3)按需扩展

1从GB、TB到PB、EB排序377秒

2零运维介入

3、安全可靠

多租户数据安全保障机制

(1)项目级别安全

独有的基于项目级别的数据保护机制

(2)跨租户访问控制

1Package 授权

2Trusted 模式

3阿里云 RAM

(3)久经考验

阿里集团历届双11的核心数据平台

4、支持多种分布式计算模型

满足不同场景下的技术需求

(1)SQL

(2)采用标准的SQL语法

(3)MapReduce

在MR基础上支持MR2,Map接多个Reduce

(4)图计算

适合复杂的迭代计算场景

5、生态融合

支持多样数据源、生态工具和标准

(1)数据上云

OGG,Sqoop,Flume,FluentD

(2)社区兼容

SQL,HadoopMR,HiveThrift

(3)生态连接

JDBC,ODBC,R,Python,Pandas,IntelliJIDEA


五、MaxCompute优缺点

做大数据分析难免会跟 hadoop 做比较。

1.Hadoop

(1)优点:

Hadoop生态、组件丰富;

(2)不足:

固定的机型,软件版本,手动部署;

租用费高,需要人工运维,成本高;

需要搭建额外的消息中间件集群or关系型数据库;

需要额外的安全机制;

多集群多组件版本带来的可靠性下降;

2.MaxCompute

(1)优点:

超大规模扩展能力;

按需仅计算和存储收费,toc帮助节省50-70%;

数据统一、元数据统一、资源调度统一、安全统一、多租户的权限认证,多层沙箱防护、网络隔离、数据细粒度管理;阿里云产品之间集成度较高;集群完全托管免运维、提供数据恢复、三副本保证;

(2)不足:

数据实时写入,实时可见;

主要是批的场景,流的场景需要客户对接Flink。


六、方案优势

1、大规模存储:超大规模存储自动扩容,最大可支持EB级别的数据。

2、高性能:同时性能更稳定;如1TB数据规模的 TPC-DS,MaxCompute

比 Spark 快

28%,比 Hive 快76%,比Impala快7%。

3、低成本:相比自建降低30%以上成本。

4、安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙

箱中运行。

5、图形化编辑界面,拖拽就可以完成专业级大数据可视化。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
SQL 分布式计算 运维
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
快速学习开源大数据 OLAP 引擎最佳实践
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
|
3月前
|
存储 分布式计算 监控
日志数据投递到MaxCompute最佳实践
日志服务采集到日志后,有时需要将日志投递至MaxCompute的表中进行存储与分析。本文主要向用户介绍将数据投递到MaxCompute完整流程,方便用户快速实现数据投递至MaxCompute。
178 2
|
2月前
|
存储 设计模式 分布式计算
面向对象编程在大数据处理中的最佳实践
【8月更文第12天】随着互联网和物联网技术的发展,数据量呈指数级增长,大数据处理已成为现代企业不可或缺的一部分。大数据处理通常涉及收集、存储、管理和分析海量数据集。传统的数据库管理系统难以应对这样的挑战,因此出现了诸如Hadoop、Spark等分布式处理框架。这些框架通常使用面向对象编程(OOP)来构建可扩展、可维护的应用程序。本文将探讨如何利用面向对象编程的原则和模式来优化大数据处理任务。
76 0
|
5月前
|
存储 运维 监控
大数据分析平台之 OLAP 架构的最佳实践
本文将分享聚水潭云原生 OLAP 架构的最佳实践。
|
SQL 弹性计算 分布式计算
阿里云李腾飞:基于ECS倚天实例的大数据加速最佳实践
2023年9月14日,系列课程第八节《基于ECS倚天实例的大数据加速最佳实践》正式播出,阿里云弹性计算大数据优化负责人李腾飞主讲,内容涵盖倚天大数据场景迁移适配、倚天大数据性能加速实践和倚天大数据场景落地实践。
阿里云李腾飞:基于ECS倚天实例的大数据加速最佳实践
|
SQL 分布式计算 安全
大数据生态安全框架的实现原理与最佳实践(下篇) 2
大数据生态安全框架的实现原理与最佳实践(下篇)
|
SQL 安全 大数据
大数据生态安全框架的实现原理与最佳实践(下篇) 1
大数据生态安全框架的实现原理与最佳实践(下篇)
|
SQL 分布式计算 安全
大数据生态安全框架的实现原理与最佳实践(上篇) 2
大数据生态安全框架的实现原理与最佳实践(上篇)
|
分布式计算 MaxCompute
《基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议》电子版地址
基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议
263 0
《基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议》电子版地址
|
存储 SQL 分布式计算
MaxCompute 物化视图智能推荐最佳实践
MaxCompute 发布 “物化视图智能推荐”,CU算力节省14%