开发者社区> 大数据与机器学习> 大数据计算 MaxCompute

大数据计算 MaxCompute

关注

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

0
今日
8280
内容
12
活动
348232
关注
|
机器学习/深度学习 监控 算法
|

体系结构顶会 ASPLOS 2017 最佳论文出炉,阿里云周靖人主旨演讲

2017年4月11日晚,在西安举行的架构体系的顶级会议ASPLOS(面向编程语言和操作系统的架构支持会议,Architectural Support for Programming Languages and Operating Systems)公布了最佳论文、最有影响力论文和 Test of Time 几项大奖。

4755 0
|
机器学习/深度学习 大数据 数据挖掘
|

借助数加,原来需要2-3天的单维度数据处理时间,目前仅需3-6小时,研发周期更短,产品需求符合度更高。

“在原来自建的环境里进行一个维度的数据处理大约需要 2-3天时间,而使用数加平台处理相同数据只需要 3-6 个小时。这些效率的提升可以缩短数据分析应用产品的研发周期,并能更好的提高这些产品的需求符合度。

4472 0
|
新零售 人工智能 专有云
|

阿里云2020年预期净利100亿,碾压99%A股公司 | 新龙榜

机构测算,2016年中国公有云市场份额为150亿元左右,阿里云占据将近40%市场份额,一骑绝尘。

5474 0
|
机器学习/深度学习 分布式计算 算法
|

袋鼠云助力光伏产业 | 基于阿里云数加平台做算法预测

随着大数据技术的蓬勃发展,现在关于大数据技术在各行各业的实践也如火如荼。 那么当大数据技术遇到光伏行业会产生何样的化学反应呢? 下面就和大家一起分享一下袋鼠云是如何使用阿里云数加平台和机器学习平台助力光伏行业的。

4420 0
|
机器学习/深度学习 分布式计算 数据可视化
|

阿里云数加(大数据)打造雄安智慧新区

       自从4月1日,中共中央、国务院印发通知,决定设立河北雄安新区之后,这个无名小城就一夜爆红。雄安新区规划范围涉及河北省雄县、容城、安新3县及周边部分区域,地处北京、天津、保定腹地,是继深圳经济特区和上海浦东新区之后又一具有全国意义的新区。

5501 0
|
分布式计算 监控 大数据
|

关于举办“天德π客”创业论坛——“基于阿里云的大数据实践—海量日志分析”的通知

随着互联网、云计算、物联网、社交网络等技术的兴起和普及,全球数据的增长快于任何一个时期,可以称作是爆炸性增长。收集大量数据,并在数据中发现趋势,能使企业能够更快、更平稳、更有效地发展。然而,大数据对许多企业和数据专业人员来说,它仍然很难理解,那么,什么是大数据分析?如何利用阿里云数加平台进行海量数据分析,帮助企业更好地利用数据资源?“天德π客”众创空间特举办本期论坛——“基于阿里云的大数据实践——海量日志分析”,邀请华北电力大学电力系统及其自动化博士,阿里云大数据高级认证讲师宋亚奇主讲。

3599 0
|
分布式计算 监控 Java
|

大数据开发套件中数据同步-日志报错回滚信息的一些问题总结

在使用大数据开发套件时最常用的就是数据同步模块,工单里最常见的问题就是其中数据同步的问题,这里总结一些常见一些从odps到其他数据源的同步任务报错案例,主要是日志中出现数据回滚写入的问题。   那首先看下日志中数据回滚的原因,当数据写入rds或者hybridDB等一些支持事务的数据库中,数据批量写入,一旦由于各种原因没有写入成功,这个批次的数据会回滚重新写入,如果再次写入失败,就会报脏数据的错误导致任务失败。

6481 0
|
SQL 分布式计算 安全
|

持续创新和改进,为用户创造最大价值,阿里云数加MaxCompute获得C-Tech Awards 2016年度“最具技术创新奖”

“C-Tech Awards 2016最具价值大奖评选”活动已经正式结束。从2016年12月22日线上征集至今,活动获得各大技术行业企业的高度关注,现已有来自国内外的近400家企业参与到了本次评选活动中,并提交了全面的产品简介和创新点解析。

3592 0
|
安全 大数据 中间件
|

走进阿里云:做云数据、大计算的No.1

 本次走访地点为阿里云大厦,由阿里巴巴集团投资建设,这也是阿里集团的南方总部、国际运营总部和商业云计算研发中心。 T4栋大堂 3楼接待台 分享:剖析阿里云  阿里云深圳分公司总经理何为先生(清华大学97级电子系)对阿里云进行了全面的介绍,并就阿里云对计算的定义、产品体系、差异化的核心能力及优秀案例进行了分享。

6142 0
|
分布式计算 Java 数据库连接
|

MaxCompute JDBC 2.2 发布说明

相比于v.1.9.1,MaxCompute JDBC v.2.2在易用性、性能以及兼容性方面都有了更好的提升,本文将对其改进与差别做一下简要的说明。

4783 0
|
大数据
|

【全球独家首发】阿里云数加大数据产品手册V1.0(纯附件)

欢迎下载:https://yq.aliyun.com/attachment/download/?id=1489

5399 0
|
安全 大数据 测试技术
|

可靠、安全、易用,阿里云数加大数据平台首批通过国家大数据标准检测

随着信息化的推进,大数据已成为社会生活和工业生产不可或缺的基础资源。有效管理和利用大数据,提升大数据应用效率迫在眉睫。加强大数据标准化顶层设计,逐步完善标准体系,把数据“管好”“用好”。 2017年3月18日, 2017大数据标准化论坛在北京成功召开。

4918 0
|
大数据 测试技术
|

2017大数据标准化论坛发布了第一批大数据系统测试结果,阿里云数加获得了大数据系统测试证书。

2017年3月18日, 2017大数据标准化论坛在北京成功召开。本次论坛由工业和信息化部信息化和软件服务业司和国家标准化管理委员会工业标准二部指导,中国电子技术标准化研究院和全国信标委大数据标准工作组共同主办。

3465 0
|
数据可视化 数据挖掘 数据处理
|

《在线用户行为分析:基于流式计算的数据处理及应用》Workshop-入口

云栖大会成都峰会大数据Workshop入口

4180 0
|
SQL 大数据 数据挖掘
|

大数据workshop:《在线用户行为分析:基于流式计算的数据处理及应用》之《实时数据分析:海量日志数据多维透视》篇

本手册为云栖大会Workshop之《在线用户行为分析:基于流式计算的数据处理及应用》场的《实时数据分析:海量日志数据多维透视》篇所需。主要帮助现场学员熟悉并掌握阿里云数加·分析型数据库AnalyticDB的操作和使用。

4252 0
|
数据采集 大数据 数据处理
|

大数据workshop:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据采集:日志流数据解析及上传》篇

本手册为云栖大会Workshop之《在线用户行为分析:基于流式计算的数据处理及应用》场的《流数据采集:日志流数据解析及上传》篇所需。主要帮助现场学员熟悉并掌握阿里云DataHub的操作和使用。

4039 0
|
数据采集 搜索推荐 数据挖掘
|

《云数据·大计算:海量日志数据分析与应用》Workshop-入口

阿里云MVP Meetup Workshop入口

8422 0
|
SQL 分布式计算 大数据
|

大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《社交数据分析:好友推荐》篇

本手册为云栖大会Workshop《云计算·大数据:海量日志数据分析与应用》的《社交数据分析:好友推荐》篇而准备。主要阐述如何在大数据开发套件中使用MR实现好友推荐。

7398 0
|
SQL 分布式计算 搜索推荐
|

大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《数据加工:用户画像》篇

本手册为阿里云MVP《云计算·大数据:海量日志数据分析与应用》的《数据加工:用户画像》篇而准备。主要阐述在使用大数据开发套件过程中如何将已经采集至MaxCompute上的日志数据进行加工并进行用户画像,学员可以根据本实验手册,去学习如何创建SQL任务、如何处理原始日志数据。

13957 0
|
SQL 数据采集 大数据
|

大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《数据采集:日志数据上传》篇

本手册为云栖大会Workshop《云计算·大数据:海量日志数据分析与应用》的《数据采集:日志数据上传》篇而准备。主要为保障各位学员在workshop当天能够顺畅进行动手实操,那么本节为学员掌握阿里云数据采集的操作和使用。

6286 0
|
存储 数据采集 监控
|

“NASA”计划背后,阿里巴巴大数据系统架构概述

DT时代,人们比以往任何时候都收集到更多的数据。据IDC报告,预计到2020年,全球数据总量将超过40ZB(相当于40万亿GB),这一数据量是2011年的22倍!正在“爆炸式”增长的数据,其潜在巨大价值有待发掘。

9464 0
|
新零售 机器学习/深度学习 分布式计算
|

专访360医药大数据负责人侯晓锋:谈未来智能医疗的挑战及实践

随着业务的发展壮大,数据量持续增加。集群变大,实时计算硬件资源消耗也变大。集群的维护成本不断增加,。大数据计算服务MaxCompute帮我们省去了这些维护成本。让我们更加专注于业务,专注让数据产生价值。

5031 0
|
数据采集 算法 数据可视化
|

赋能平台、提效工具、场景化应用,地产大数据玩转有诀窍

在2017在线峰会——票选最美云上大数据暨大数据技术峰会上,来自明源云的刘峥分享了整个的地产行业的趋势以及探索应用实践。他主要从行业趋势和应用实践两个方面进行了分享。他详细的分享了数据管理平台DMP平台的基础层、画像层、算法层、展示层的架构设计,并通过应用场景诠释了大数据在地产行业的作用。

8251 0
|
分布式计算 关系型数据库 数据库
|

PyODPS DataFrame:统一的数据查询语言

前几天,PyODPS发布了0.7版本,这篇文章给大家介绍下PyODPS新版本带来的重要特性。 之前也有若干篇文章介绍过了,我们PyODPS DataFrame是延迟执行的,在调用立即执行的方法,比如execute、persist等之前,都只是构建了表达式。

7159 0
|
存储 分布式计算 监控
|

报警分析云上集成解决方案

为了方便用户云上分析大数据的需求,报警分析云上集成解决方案提供了一系列的数据分析产品,可以帮助各类客户快速轻松地构建和部署大数据分析应用。

4440 0
|
分布式计算 大数据 数据库
|

佰腾科技的专利大数据的云上裂变之路

在票选最美云上大数据暨大数据技术峰会上,来自江苏佰腾科技有限公司的许鹏通过介绍佰腾专利大数据平台的演化、上云前后的平台结构和任务处理流程,为大家分享了专利大数据的云上裂变之路,解释了非专业人士也能进行专利信息的检索与统计,即专利信息的大众化。

6757 0
|
分布式计算 大数据 数据库
|

双管齐下,MaxCompute数据上云与生态

在票选最美云上大数据暨大数据技术峰会上,来自飞天一部的朋春从MaxCompute提供的离线、实时数据通道入手,延伸到DTS、Logstash、DataX等官方/开源软件,向大家介绍如何从数据库、本地文件等多种存储向MaxCompute导入数据,分享最后还介绍了如何在Python和R语言中使用MaxCompute。

8283 0
|
分布式计算 大数据 数据挖掘
|

大数据Workshop:《云数据·大计算:海量日志数据分析与应用》环境准备

本手册为阿里云MVP Meetup Workshop之《云计算·大数据:海量日志数据分析与应用》场的前提准备条件所需。

6412 0
|
SQL 分布式计算 大数据
|

MaxCompute SQL 现状与展望

票选最美云上大数据暨大数据技术峰会上,阿里云飞天一部高级专家振禹为大家带来题为“MaxCompute SQL 现状与展望”的演讲。本文重点解析了MaxCompute SQL 现状,详细介绍了各种功能,其中包括编译器用户友好功能、复杂类型、CTE、参数化视图和SEMI JION等,接着说明了MaxCompute SQL即将完成与推进中的功能,最后作了简要总结。

5624 0
|
SQL 分布式计算 大数据
|

高可用大数据计算服务如何持续发布和演进

票选最美云上大数据暨大数据技术峰会上,阿里云飞天一部计算平台高级专家无庸为大家带来题为“高可用大数据计算服务如何持续发布和演进”的演讲。本文先对MaxCompute架构进行了介绍,接着重点介绍在大数据计算服务下,高可用服务持续改进和发布的工具,包括Playback工具、Flighting工具和灰度上线、细粒度回滚等。

11467 1
|
存储 机器学习/深度学习 数据可视化
|

网鱼网咖-利用数加快速搭建大数据平台,极致洞察,为客户带来从所未有的体验。

“令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的界面快速的开发,几个开发人员很快的掌握,甚至我们把阿里云的开发端给了业务部门,他们一些稍微资深一点的业务人员也可以使用,所以我们初步估计了一下,给我们节省的价值至少是千万级的。

6293 0
|
算法 大数据 BI
|

大数据打造你的变美频道——数加平台上小红唇的大数据实践

在2017在线峰会——票选最美云上大数据暨大数据技术峰会上,来自小红唇的王洋分享了数加平台上小红唇的大数据实践。他对数据仓储解决方案和搜索引擎进行了详细介绍。通过算法平台应用的基于视频元信息的回归、近义词、业务总线三个案例具体介绍了数加平台的大数据应用实践。

6262 0
|
新零售 监控 大数据
|

纯云大数据系统的构建与价值

在2017在线峰会——票选最美云上大数据暨大数据技术峰会上,来自上海云贝网络科技有限公司的 首席架构师-刘立兼 分享了基于阿里云产品,如何构建一个大数据系统,以及系统如何在实际的业务过程中帮助客户提升价值。他主要从客户价值、产品线、服务、数据中心、基础设施、数据采集服务六个方面进行了实践分享。

5520 0
|
SQL 大数据 BI
|

双11数据大屏背后的秘密:大规模流式增量计算及应用

回顾大数据技术领域大事件,最早可追溯到06年Hadoop的正式启动,而环顾四下,围绕着数据库及数据处理引擎,业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上,阿里云大数据计算平台架构师钱正平做了题为《大规模流式增量计算及应用》的分享,钱正平结合阿里巴巴真实的业务场景为大家分享了流式增量计算编程方面的挑战和当前的解决方案。

7404 0
|
SQL 分布式计算 大数据
|

MaxCompute理解数据、运算和用户的大脑:基于代价的优化器

回顾大数据技术领域大事件,最早可追溯到06年Hadoop的正式启动,而环顾四下,围绕着数据库及数据处理引擎,业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上,阿里云大数据计算平台架构师林伟做了题为《MaxCompute的大脑:基于代价的优化器》的分享,为大家分享阿里巴巴大数据计算服务的大脑——基于代价的优化器的设计和架构。

8361 0
|
分布式计算 大数据 数据库
|

【物流大数据实践】基于阿里云Maxcompute实现物流跟踪

摘要: 目前我国物流业保持较快增长,但还是存在一些问题:物流成本高、效率低,条块分割严重(自营物流、规模小、技术落后、标准不统一)、基础设施相对滞后(物流基础设施之间不衔接、不配套),对订单创建到用户签收整套完整流程缺乏完善的监控和预警手段.

7348 0
|
分布式计算 大数据 物联网
|

《大数据漫谈 -- DT时代》连载之 NO.1

本文作者拖雷(陈吉平),袋鼠云CEO ,国内最早一批Oracle ACE Director,前阿里巴巴研究员,先后担任嗨淘、无线事业部、数据事业部资深总监,生活服务事业部总经理,以及阿里云事业群总裁助理。

4913 0
|
机器学习/深度学习 分布式计算 算法
|

与阿里云整个生态体系共同成长,更快更好的为房地产行业客户提供高价值的服务。

“最早是新业务要做,但是买服务器来不及,管理员没到位,而且新业务的成本很高,是否能成功也是未知,因此明源决定采用阿里云,等资金和人到位再搬到自己内部。然而就是这种误打误撞,却让明源抓住了一个很好的机会走在了正确的轨道上。

2331 0
|
新零售 存储 分布式计算
|

技术与架构,解析如何将大数据最快落地到实践

3月9日14点,业内首个结合技术与应用的在线大数据技术峰会即将展开,届时6位阿里技术大咖与4位行业资深实践者将从技术与业务两个方面,与大家探讨大数据如何最快落地到实践。较为有看点的是: 最深入的实践:本次在线峰会上,6个阿里规模的大数据实践将被深入分享,包括大数据平台的性能调优、流式增量计算、持续发布与演进、机器学习平台打造等。

6126 0
|
分布式计算 大数据 Java
|

这家数据公司为什么能成为数百万企业的选择?

今年年初,Oracle发布了一份大数据变化趋势报告,报告中指出,越来越多的企业将用户分析甚至是企业应用同大数据加以结合。从AI支持型应用到Megabox等数据流客户端,各家企业都将迎来自己的大数据转型及下一代数据驱动型应用。

3395 0
|
分布式计算 大数据 MaxCompute
|

MaxCompute_2_MaxCompute数据迁移文档

乍一看标题会以为是不是作者写错了怎么会有从MaxCompute到MaxCompute迁移数据的场景呢在实际使用中已经有客户遇到了这种场景比如两个网络互通的专有云环境之间数据迁移、公共云数加DataIDE上两个云账号之间数据迁移、还有网络不通的两个MaxCompute项目数据迁移等等下面我们逐个场景介绍。

5341 0
|
机器学习/深度学习 SQL 分布式计算
|

【14点正式开始】技术与架构,解析如何将大数据最快落地到实践

6位阿里技术大咖与4位行业资深实践者将从技术与业务两个方面,与大家探讨大数据如何最快落地到实践。

7780 0
|
人工智能 搜索推荐 算法
|

[大数据行业应用发展前景分析] 阿里潘永花报告:大数据产业将成为新的煤和石油介绍

过去的2016年,政府、行业以及大众对大数据的认知有了更进一步提升,但是大数据的应用落地及价值体现还是处在初级阶段,大数据如何促进创新创业,带来新的经济增量,如何推动传统行业转型升级,如何实现商业价值在2017年将会受到更多关注,尤其是以大数据为基石的人工智能应用将会驱动着“AI+”的发展。

3840 0
|
新零售 人工智能 分布式计算
|

三个词,让你看懂马云、刘强东力推的“新零售”

2016年10月13日,马云在阿里云栖大会上首提“新零售、新制造、新金融、新技术、新资源”的“五新”概念,并指出线上线下加上现代物流合在一起,才能真正创造出新的零售; 2017年2月10日,刘强东在京东开年大会上,不停强调“新技术”,并且描绘其对于在金融、物流、服务领域等应用,结合其去年刘强东

3990 0
|
存储 运维 监控
|

阿里云大数据计算平台的自动化、精细化运维之路

作者简介:     范伦挺   阿里巴巴 基础架构事业群-技术专家   花名萧一,2010年加入阿里巴巴,现任阿里巴巴集团大数据计算平台运维负责人。团队主要负责阿里巴巴各类离在线大数据计算平台(如MaxCompute、AnalyticDB、StreamComput

13133 0
|
机器学习/深度学习 分布式计算 大数据
|

学者贵于行,报名参加线上大数据技术峰会的4个理由

云栖社区启动了“票选最美云上大数据”活动,为用户带来了10+行业的实际大数据应用,同时得票TOP 4的企业更将与6位阿里大数据技术大牛一起,于3月9日线上“大数据技术峰会”为大家全面解析大数据技术与应用。

3308 0
|
分布式计算 安全 大数据
|

企查查支撑8000万+企业数据的大数据平台技术选型与实现

企查查终端所有企业工商信息均实时同步更新,汇集了目前国内市场中的80个产业链,8000个行业,6000个市场以及8000多万家企业数据。

8983 0
|
机器学习/深度学习 物联网 量子技术
|

MIT评出全球十大突破性技术 阿里巴巴连摘两项

2月21日下午,美国权威科学杂志《麻省理工科技评论》(MIT Technology Review)发布2017年全球十大突破性技术榜单。在与Google、微软、IBM等科技巨头的较量中,阿里巴巴分别入选“强化学习”和“刷脸支付”两大突破性技术榜单。

4512 0
|
分布式计算 算法 大数据
|

漫谈阿里大数据

目前人人都在谈大数据,谈DT时代,但是,大数据是什么,每个人都有自己的一个看法,好比盲人摸象,每个都认为自己摸到是真正的大象。我也担心我所看到的,只是大数据的冰山一角,毕竟,将引领整个人类下一次变革的大数据,不是几篇文章就能说清楚的。

8019 0
我要发布