开发者社区> 晋恒> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

大数据心法来了!一站式玩转MaxCompute,还有开发者资源等你领!

简介: 阿里云大数据计算平台开发者版2019年3月推出,MaxCompute正在成为开发者的免费大数据平台。 今天,MaxCompute在企业构建自己的数据处理平台实践中起到了至关重要的作用,我们特别精选了企业的真实实践案例:从最大的兴趣社群平台小打卡;到90后、00后喜欢的克拉克拉;从互联网金融的典型天弘基金;到耳熟能详的二手车平台人人车……为你带来了超多的MaxCompute玩法。
+关注继续查看

阿里云大数据计算平台开发者版2019年3月推出,MaxCompute正在成为开发者的免费大数据平台。今天,MaxCompute在企业构建自己的数据处理平台实践中起到了至关重要的作用,我们特别精选了企业的真实实践案例:从最大的兴趣社群平台小打卡;到90后、00后喜欢的克拉克拉;从互联网金融的典型天弘基金;到耳熟能详的二手车平台人人车……为你带来了超多的MaxCompute玩法。

小打卡案例 >>>
小打卡是国内最大的兴趣社群平台,每天能够产生上百万条新的内容。在这样超大的内容生产背景下,平台也面临着千人千面、内容分发上的巨大挑战。依托于阿里云MaxCompute,小打卡已经完成了TB级数据仓库方案。在此基础之上,结合机器学习PAI,实现了千人千面的推荐算法。相反,如果完全基于开源的Hadoop框架,从服务部署、可视化开发、代码管理、任务调度、集群运维等多方面,均需要大量的人力来开发与维护。基于阿里云MaxCompute,不论是人力成本,还是计算成本,还是运维成本,都降到了最低。

美柚案例 >>>
美柚2014年底迁移到阿里云大数据计算平台,开始使用数据仓库MaxCompute,几乎零运维,极大降低了大数据的使用门槛。MaxCompute的数据集成工具可以很方便的将不同数据源的数据进行导入导出,基本实现常用数据源的全覆盖,从而实现大数据的全链路打通。所有的代码管理、调度、监控、报警阿里云MaxCompute都帮美柚做好,美柚只需使用它,让美柚更专注于数据开发。

千寻位置 >>>
千寻位置作为高精度定位服务公司,依托阿里云计算平台快速实现了传统数据应用模式到统一大数据体系的转型。基于阿里云 MaxCompute和DataWorks 构建了企业级数据仓库体系,底层数据存储方便、便宜、易拓展,计算效率高、反应快,并支持超大规模数据任务自动化管理。和阿里云的其他平台如 Quick BI良好的兼容打通,很方便的实现了数据应用一体化,减少了大量额外的开发成本和人力成本。平台一直和用户有良好沟通、反馈,不断优化改进,提供更好的用户支持,让我们也有信心更深入的依赖于阿里云平台发掘更多价值。

中邮智递 >>>
中邮智递数据平台发展到现在经历了四个阶段:(1) 直接在业务生产系统开发生成报表,提供业务部门查询;(2) 采用kettle等工具抽取各业务系统数据并处理生成报表;(3) 使用hive构建离线数据仓库,抽取业务数据统一处理并生成报表推送至报表系统;(4) canal+kafka+tidb构建实时数仓进行实时OLAP分析,spark streaming+kafka+redis构建实时数据展示。目前中邮智递也在尝试把现在ECS主机上的系统和服务迁移到阿里云的大数据平台中,例如数加和datav。以及使用ADB实现实时OLAP达到低延迟,高并发。

人人车 >>>
通过阿里云MaxCompute,人人车平台快速高效的完成数仓搭建,并且数据仓库安全可靠,运行平稳,在每日数据峰值阶段的表现优异。目前已开始为公司贡献数据上的效益。 通过阿里云MaxCompute搭建数据仓库为我们节省30%的服务成本及大量的人力成本,大大节省企业的研发时间,使企业研发团队可以更加专注于业务本身的研发。MaxCompute为企业提供完善的数据处理方案、大规模的计算储存、细粒度的节点依赖管理等功能,大大优化了企业数据平台的性能。服务安全可靠,每天稳定在8点前产出企业需要的数据。

高德地图 >>>
高德对数据平台的要求不仅是数据集成、开发、运维中心、数据质量、数据地图、数据安全以及数据服务等全链路All in One,还希望能以可视化的方式进行用户交互,以提高开发效率。以运维中心为例,希望所使用的工具能够将调度节点可视化,方便进行不同时间粒度的任务依赖。同时,还希望拥有可视化的数据地图用于管理元数据信息,方便上下游即时查看。MaxCompute正是符合高德数据业务诉求的给力产品。不仅具有零学习成本和完善的IDE等优势,更具备超高弹性,让高德得以轻松应对国庆假期的超高流量。同时,基于MaxCompute等阿里云产品,让高德内部迄今为止最大的公共项目“魔方”得以实现,为用户提供更优质的出行服务。

多点在线 >>>
MaxCompute是真正的按量付费,对自建Hadoop、使用EMR和使用MaxCompute的成本进行比较的话,差距非常大,整体成量级降低。日常开发 使用SQL,效率高,易调试,文档清晰。MaxCompute不需要运维集群,并提供支撑百万级任务的调度系统,如果自己搭建这样调度系统还是 比较困难的。

阿里妈妈 >>>
阿里妈妈作为集团内MaxCompute用户,在搜索广告、定向广告、达摩盘、报表和BI分析等场景下都有使用MaxCompute。对阿里妈妈来讲,MaxCompute的优势在于数据友好、生态完善持续改进、性能强悍。在具体的场景中,MaxComput可以完成千亿级样本百亿级特征的训练实验;跑一个MapReduce或SQL的Job,可以实现十万级实例的并发调度。超强性能支撑了阿里妈妈单日十万级别的job和千亿级别报表数据。

新华智云 >>>
新华智云运用大数据和人工智能技术,致力于为媒体行业赋能。媒体大脑是新华智云底层的产品品牌,数芯是媒体大脑基础的数据平台。数芯定位为媒体大数据开放平台,平台中包含了媒体行业所依赖的各种各样的数据。数芯基于MaxCompute进行数据处理和算法加工,将挖掘的有价值数据内容和能力开放给上层用户。

墨迹天气 >>>
墨迹天气日志分析业务迁移到MaxCompute后,开发效率提升超过5倍,存储和计算费用节省了70%,每天处理分析2TB的日志数据,更高效的赋能其个性化运营策略。MaxCompute可根据业务情况做到计算资源自动弹性伸缩,天然集成存储功能。通过简单的几项配置操作后,即可完成数据上传,同时实现了多种开源软件的对接。

众安保险 >>>
众安保险作为国内首家互联网保险公司,从创立之初计算平台就使用MaxCompute。MaxCompute不仅仅是一个计算平台,它还提供可用的IDE(DataWorks、Studio)开发工具进行数据分析和挖掘,从而降低了众安最初的开发成本。MaxCompute不仅为众安提供任务调度系统、元数据、数据质量监控、数据服务与安全,而且生态的丰富,资源与工具的共享,都能很好的满足众安的使用需求,让众安可以有更多时间去接触用户,为用户创造更大价值。

华大基因 >>>
基因技术从实验室逐渐进入生活场景,数据体量爆发式增长,远超出传统计算能力所能支持的范围。基于这样的背景,华大选择了MaxCompute。在百万人基因组项目中,对人群结构的分析,传统计算方式需3-5天,MaxCompute可使整个分析在1小时内完成,极大加速了数据吞吐和交付速度。在对百万人基因数据进行遗传结构分析时,计算复杂度使得传统计算无法支撑,利用MaxCompute,华大取得了技术突破,在几小时内完成一个人与十万人中所有遗传距离计算,计算成本大幅降低至1千美金以内,这样的例子华大基因还在不断开发中。

小红唇 >>>
小红唇App拥抱大数据计算平台MaxCompute以来,体验非常好,其感受主要是不需要像传统大数据业务一样构建非常复杂的Hadoop栈并对其进行运维,从而节省了资金和时间成本。目前,小红唇的业务数据库完全在MaxCompute平台,只需在数加的IDE里做一些简单的配置即可将数据完整迁移。在MaxCompute上,可以用类SQL的语句编写数据清洗和转换的执行任务,平台同时提供管理器对任务进行调度和管理。MaxCompute整个生态系统设计的比较完善,无需专职数据团队,降低人员成本,极大提升了效率。

优酷 >>>
优酷去做了从Hadoop到MaxCompute的这样一个升级。这个是2016年5月到2019年现在的5月优酷的发展历程,上面是计算资源,下面是储存资源。大家可以看到整个用户数,还有表的数据,实际上是在呈一个指数式增长的。但是在2017年5月,当优酷完成了整个Hadoop迁移MaxCompute后,优酷的计算消耗,还有储存的消耗实际上是呈下降趋势的,整个迁移得到了一个非常大的收益。

点击免费开通MaxCompute开发者版 >>>


欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
MaxCompute Spark 资源使用优化详解
本文主要讲解MaxCompute Spark资源调优,目的在于在保证Spark任务正常运行的前提下,指导用户更好地对Spark作业资源使用进行优化,极大化利用资源,降低成本。
0 0
【转载】浅谈MaxCompute资源规划管理及评估
本文主要介绍如何进行MaxCompute存储资源和计算资源的评估及规划管理。
0 0
MaxCompute资源管理—— 包年包月资源组隔离
使用基于MaxCompute云数据仓库的企业,由于业务的差异,会创建多project进行数据隔离。同时也因为业务的差异,每个project需要跑的任务量、业务紧急程度等也有差异,因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。
0 0
MaxCompute资源管理—— 包年包月资源分时
2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。
0 0
【云栖号案例 | 能源】东润环能利用MaxCompute资源确保数据在云端也可以万无一失
企业自建大数据平台存在投资成本过高、运维复杂,成本增加等问题。通过MaxCompute总成本降低,方便产生的数据有效管理,对数据权限有很高的管理及防护能力。
2759 0
如何跨项目工作空间访问MaxCompute资源和函数
在项目开发过程中,相同云账号之下所创建的不同项目工作空间的资源和函数需要实现互相访问,需要授予什么权限呢?怎么去操作才可以去访问其他工作空间所创建的资源和函数。本文通过三种方式来介绍如何去授权访问跨工作空间的资源和函数。
0 0
一站式玩转MaxCompute,开发者资源等你领! | 开发者必读(009期)
最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货,就在《开发者必读》!
558 0
如何利用MaxCompute Hash Clustering让数据增量更新节省资源,耗时减半
目前hash clustering table已经在阿里巴巴内部集群生产环境正式发布,并且已经有蚂蚁、安全部、菜鸟等多个BU参与了试用。从蚂蚁的反馈来看,改造之后的任务收效非常明显,运行时间缩短40%到80%,节省计算资源23%到67%。
1813 0
MaxCompute预付费资源监控工具-CU管家使用教程
MaxCompute管家使用前提 1、用户购买了 MaxCompute 预付费CU资源,60CU以上的用户(备注:CU过小无法发挥计算资源及管家的优势)。 2、支持区域,MaxCompute 华北2北京、华东2上海、华南1深圳 3个Region的用户。
3261 0
《阿里云MaxCompute百问百答》电子版地址
为了更好地帮助广大MaxCompute用户解决可能遇到的问题,阿里云 MaxCompute团队基于MaxCompute开发者社区和其它渠道反馈的问题,总结归纳 出MaxCompute各个功能点的常见问题,希望可以给正在学习和使用MaxCompute 的用户提供一些帮助。
0 0
+关注
晋恒
大数据计算服务MaxCompute产品运营
文章
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
阿里云MaxCompute百问百答
立即下载
大数据处理-原理和MaxCompute实践
立即下载
MaxCompute重磅发布
立即下载