开发者社区> 大数据与机器学习> 大数据计算 MaxCompute

大数据计算 MaxCompute

关注

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

0
今日
8280
内容
12
活动
348232
关注
|
分布式计算 大数据 Devops
|

【直播回顾】通过MaxCompute Studio实践大数据时代的DevOps

内容简介:阿里云大数据平台 MaxCompute 系统为开发者提供全托管的、PB 级的数据仓库解决方案,MaxCompute Studio 是 MaxCompute 新推出的数据集成开发环境(IDE),为开发者提供了 数据开发调试 - 命令行工具集成 - 自助作业分析诊断 的全面解决方案。

3272 0
|
分布式计算 MaxCompute 人工智能
|

爽!MaxCompute老铁们再也不用点点点了!

MaxCompute实现预付费项目自动续费。

3105 0
|
分布式计算 大数据 MaxCompute
|

操作系统顶级会议SOSP 阿里云MaxCompute开启NewSQL时代

  近日,第26届操作系统原理大会(SOSP)在上海举行,来自亚洲、欧洲、北美等地区的高校、学术机构和众多科技企业研究人员齐聚一堂。阿里巴巴受邀参加此次会议,除在展区展示系统软件技术的同时,阿里集团副总裁周靖人在BOF环节向参会人员介绍了阿里在数据库、计算、机器学习、网络等领域的多项重点技术。

3883 0
|
分布式计算 大数据 MaxCompute
|

MaxCompute跨Region数据迁移指导手册

本文的方案让用户可以方便地把数据通过SQL语句进行跨区域迁移

4195 0
|
人工智能 分布式计算 大数据
|

阿里云MaxCompute加速全球化布局 11月1日北京、马来西亚两地开服

11月1日,阿里云宣布大数据计算服务MaxCompute在北京和马来西亚同日开服。这是阿里云首次将其大数据计算服务在国内和海外双节点同时开服,特别是在马来西亚数据中心全球开放2天后,MaxCompute即开服马来西亚,意味着大数据计算产品正在市场和业务的呼唤下加速全球化拓展步伐。

5123 0
|
SQL 分布式计算 大数据
|

MaxCompute Studio使用心得系列2——编译SQL脚本

Console客户端、大数据开发套件的SQL编辑器目前都没有脚本编译功能,每次需要执行SQL脚本,只能提交执行后若有语法错误,执行结果失败返回失败信息才发现,影响开发效率又浪费资源。今天我就来分享在MaxCompute SQL提交运行前就可以进行脚本编译的方法。

4055 0
|
存储 分布式计算 大数据
|

阿里云双11访谈之MaxCompute

在阿里云双11访谈MaxCompute专场中,MaxCompute资深运营专家祎休为大家简单介绍了阿里云的MaxCompute平台的基本情况,并且为大家分享了MaxCompute如何帮助用户快速架构大数据仓库的。

4210 0
|
城市大脑 监控 算法
|

阿里云双11访谈之数据智能

在阿里云双11访谈之数据智能专场中,阿里云交互设计师梓铭、阿里云人工智能资深产品运营席嘉和阿里云DataV资深产品运营苇如为大家简单分享了数据智能的应用,介绍了阿里云新近发布的产品ET城市大脑以及它所用到的技术支撑和在其他领域的应用,最后还介绍了双11的具体优惠活动。

2880 0
|
分布式计算 大数据 MaxCompute
|

MaxCompute Studio使用心得系列1——本地数据上传下载

通过MaxCompute Studio工具界面,轻松完成tunnel命令能完成的本地数据导入导出工作。打破大数据开发套件中本地数据文件导入10M的限制,和打破下载只能下载查询结果最多10000行的限制。

6570 0
|
SQL 分布式计算 大数据
|

MaxCompute2.0 对开源系统的支持与融合

要:在2017杭州云栖大会阿里云大数据计算服务(MaxCompute)专场上,阿里巴巴高级技术专家李睿博为大家分享了阿里云大数据计算服务MaxCompute对于开源系统的支持和融合,以及在拥抱开源和生态的时候阿里巴巴的技术团队遇到过哪些问题和挑战。

6989 0
|
SQL 分布式计算 大数据
|

MaxCompute 2.0 NewSQL演进之路

10月14日,2017杭州云栖大会·阿里云大数据计算服务(MaxCompute)专场,阿里巴巴计算平台架构师林伟分享了主题《MaxCompute2.0的NewSQL演进之路》,介绍阿里云大数据计算服务MaxCompute 2.0在NewSQL上所做的优化和实践工作。

5362 0
|
存储 分布式计算 监控
|

MaxCompute2.0助力众安保险快速成长

摘要:2017云栖大会阿里云大数据计算服务(MaxCompute)专场,众安保险数据总监王超群带来MaxCompute助力众安保险方面的演讲。本文主要从MaxCompute优势开始谈起,进而谈及大数据能够公司运营带来的好处,最后重点分析了众安保险的数据平台建设,包括任务调度、元数据和数据质量监控等。

5284 110
|
SQL 分布式计算 大数据
|

MaxCompute 2.0 基于BigBench标准的最新测试进展

10月14日,2017杭州云栖大会·阿里云大数据计算服务(MaxCompute)专场,阿里云技术专家路璐带来《MaxCompute基于BigBench标准的最新测试进展》分享。   在11日的主论坛上,MaxCompute做了敢为人先、引领潮流BigBench On MaxCompute2.0的重磅发布,意味着MaxCompute成为第一个做到100TB数据规模的BigBench,并且在100T数据规模的Qpm达到7830Qpm,成为第一个达到7000分的大数据引擎。

4271 0
|
存储 分布式计算 大数据
|

MaxCompute2.0索引优化实践

摘要:2017云栖大会阿里云大数据计算服务(MaxCompute)专场,阿里云高级专家戴谢宁带来MaxCompute的索引与优化实践分享。本文主要从MaxCompute数据模型开始谈起,接着分享了哈希分片和区域分片,着重分析了索引优化和join优化,并且列出了应用实例,最好作出了简要总结。

4712 0
|
SQL 分布式计算 MaxCompute
|

Installation and Operation Guide for BigBench on MaxCompute Benchmarking Suite

This article describes how to install and run the BigBench on MaxCompute.

2088 0
|
SQL 分布式计算 MaxCompute
|

MaxCompute - ODPS重装上阵 第一弹 - 善用MaxCompute编译器的错误和警告

MaxCompute (ODPS) ( __注1__ )是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 ODPS2.0除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

5180 0
|
SQL 分布式计算 Java
|

MaxCompute - ODPS重装上阵 第二弹 - 新的基本数据类型与内建函数

MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

7979 0
|
SQL 分布式计算 Java
|

MaxCompute - ODPS重装上阵 第三弹 - 复杂类型

MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

8778 0
|
机器学习/深度学习 人工智能 分布式计算
|

10月18日,德国法兰克福,阿里云MaxCompute2.0,全面布局AI人工智能

在2017年杭州云栖大会上,阿里云宣布大数据计算服务MaxCompute将于10月18日在德国法兰克福正式开服。通过MaxCompute2.0全新一代的人工智能系统,阿里云将携手更多欧洲本地合作伙伴建立科技生态,驱动当地云计算和大数据的发展,将中国先进的云计算推广至海外,在人工智能、深度学习等领域实现突破创新。

10656 0
|
分布式计算 MaxCompute
|

Breakthrough in Alibaba Cloud Computing Capabilities - BigBench Reaches 100 TB World Record

Alibaba Cloud's BigBench on MaxCompute expands that capacity to 100 TB for the first time in the world, which is also the first benchmark to be based on public cloud services.

2244 0
|
分布式计算 数据可视化 MaxCompute
|

MaxCompute Studio 2.8.1 新版本发布啦!

MaxCompute Studio 2.8.1 新版本发布,重磅介绍可视化作业自助分析等功能!

2871 0
|
新零售 人工智能 分布式计算
|

赋能数据处理能力 阿里云MaxCompute助企业洞察市场

阿里云在上月中,就将MaxCompute大数据计算服务向香港市场开放上线,此前该服务已先后于中国大陆及新加坡推出。 阿里巴巴集团旗下电子商务平台最大特点及优势,在于其平台上的人工智能及大数据处理能力,可以洞察消费者的需要,并因不同人的偏好而提供个性化设定,大大提升消费者体验,并可为商家反馈重要的市场数据,从而精准去计划市场策略。

2518 0
|
大数据 Apache 云栖大会
|

阿里云与Apache Flink商业公司DataArtisans于2017杭州云栖大会达成战略合作并发布

10月12日,Apache Flink商业公司DataArtisans CEO、联合创始人Kostas Tzoumas在云栖大会上宣布和阿里集团达成战略合作伙伴关系,希望能够借助全球最大的云计算公司之一阿里云,服务更多的大数据实时流计算的客户。

4976 0
|
分布式计算 监控 大数据
|

[干货]作为大数据入门者,你不得不知道的2017杭州云栖大会

2017杭州云栖大会于10月14日完美闭幕,据说今年6W+人的技术盛宴(我们先不追究具体多少人)。大家可能更多的只知道马老师谈及到阿里巴巴达摩院、听到各种刷脸支付的高科技、各种数据大脑的发布,但是我觉得作为一个大数据入门者,你只知道这些远远不够!

5804 0
|
分布式计算 MaxCompute
|

MaxCompute执行作业慢的原因排查

大家在平时开发过程中经常遇到作业(SQL、MR等)执行慢的原因,今天带大家一起学习自排查方法。 1、wait wait ,job querying 遇到这个提示,就是资源出现了排队,如果你是后付费用户,那就是整个后付费的共享池已经没有富余的资源了,要等前一个作业处理完。

28387 6
|
存储 分布式计算 大数据
|

阿里云计算能力实现多项突破 BigBench规模全球首次被拓展至100TB

10月12日,阿里巴巴集团副总裁周靖人在云栖大会上发布了阿里云在大数据计算能力上的新突破:将BigBench数据规模扩展到100T;流计算2.0每秒峰值达千万QPS,整体链路延时亚秒级;E-MapReduce对比同类产品平均性能提升3倍。

4004 110
|
分布式计算 大数据 Devops
|

阿里云全新一代企业级新品解读—通过MaxCompute Studio实践大数据时代的DevOps

今天是2017杭州·云栖大会的第一天,这场科技盛宴吸引了来自全球的参展商、开发者、相关从业人员以及科技爱好者。 在今天上午的主论坛,阿里云总裁胡晓明在发言中重点提及的新一代计算平台MaxCompute将在本次大会中多次亮相。

9167 0
|
SQL 分布式计算 大数据
|

MaxCompute常用语句汇总(更新ing)

收集一些MaxCompute常用命令。

12110 0
|
存储 分布式计算 大数据
|

仁人帮探索大数据技术

前两期小帮为大家介绍了仁人帮的大数据定义与大数据在仁人帮后台的应用。今天也不跟大家卖关子了,接下来,小帮为大家奉上的是大数据平台技术的探索。 大数据技术,小帮认为可以分成两个大的层面,大数据平台技术与大数据应用技术。

4645 0
|
机器学习/深度学习 人工智能 分布式计算
|

用炸弹开路——加速到来的证券投资行业人工智能时代

去年开始涉足人工智能技术应用于证券投资领域的研究,将近两年的研究实践,发现公开资料上很多关于人工智能(AI)对证券投资业发展影响的文章都存在几个明显的思维误区:①一个是对人工智能的认识有误。人工智能是个广域笼统的概念,但基石是机器学习,以机器学习算法构建逻辑和规则为基石的人工智能与自动化程序软件及通过数据回测构建起来的以固定逻辑运行的量化投资模型是完全不同的事物,区别就好比活鸡和模型鸡,需要明白自动化软件不是人工智能,国内大多数所谓智能投顾其实还不是真正意义上的人工智能投顾;②另一个是曲解了人工智能在证券投资行业的应用。

3017 0
|
SQL 监控 关系型数据库
|

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据处理:通过StreamSQL分析视频日志》篇

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据处理:通过StreamSQL分析视频日志》篇

3307 0
|
数据采集 弹性计算 监控
|

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据采集:海量流式视频日志收集》篇

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据采集:海量流式视频日志收集》篇

3916 0
|
监控 数据可视化 大数据
|

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》实验环境准备

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》实验环境准备

5836 0
|
监控 数据可视化 大数据
|

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》Workshop-入口

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》Workshop-入口

3733 0
|
人工智能 分布式计算 大数据
|

阿里云MaxCompute澳大利亚开服,“领跑”人工智能市场

9月27日,阿里云宣布大数据计算服务MaxCompute将于10月10日在澳大利亚正式开服。通过MaxCompute强大的计算能力,阿里云将为澳大利亚市场提供更多的人工智能产品,助力当地企业智能化升级。

3072 0
|
分布式计算 大数据 测试技术
|

从未停止进化的MaxCompute

2017云栖大会·杭州峰会将于10月10日-14日在杭州云栖小镇隆重举行,据相关数据显示大会多场主题分论坛门票都已经售罄。在这110余场主题分论坛中,可能备受大家最为感兴趣是人工智能、大数据的专场。大数据的热度在深圳峰会、成都峰会、上海峰会都逐一印证。

6770 0
|
SQL 分布式计算 算法
|

MaxCompute SQL原理解析及性能调优

分享内容 介绍了ODPS SQL的基于mapreduce是如何实现的及一些使用小技巧,回顾了mapreduce各个阶段可能产生的问题及相应的处理方法,同时介绍了一些应对数据倾斜的处理方法,最后介绍了一些关于数据集构造、特征选择的技巧帮助减少资源利用。

12972 0
|
机器学习/深度学习 算法 大数据
|

阿里云机器学习平台的思考

最近读了阿里的《大数据之路-阿里巴巴大数据实践》,对于其机器学习平台也蛮感兴趣,正好阿里出了本新书《解析阿里云机器学习平台》,顺便读了下,感触也不少,结合最近团队机器学习的一些思考,特别在此分享于你。

13631 0
|
分布式计算 大数据 Hadoop
|

比自建 Hadoop 还便宜!云栖大会揭秘阿里云数加 MaxCompute

DT时代,越来越多的企业应用数据步入云端。 Hadoop是当下流行的大数据并行计算体系,横向扩展、生态圈成熟等一直是它的主要特点。 阿里云数加MaxCompute (原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。

12724 0
|
人工智能 分布式计算 大数据
|

阿里云MaxCompute香港开服 引入更多人工智能

 9月18日,阿里云宣布大数据计算服务MaxCompute在香港正式开服。通过MaxCompute强大的计算能力,阿里云将为香港市场提供更多的人工智能产品,助力当地企业智能化升级。

7647 0
|
存储 分布式计算 大数据
|

iphoneX都面世了,你的数据仓库还停留在诺基亚时代吗?

    刚刚过去的苹果秋季发布会上,万众瞩目的iPhoneX 手机亮相。十年前,首代iPhone开启了颠覆键盘功能机的序幕,十年过去了,智能触屏手机已经彻底普及。     关注个人智能手机升级的IT人士,是否也了解你的企业数仓有没有跟上潮流趋势呢?是否升级到弹性分布式系统。

10521 2
|
分布式计算 大数据 DataX
|

阿里巴巴下一代数据集成技术

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。在企业数据集成领域,已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统,这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。

7641 0
|
大数据 容器
|

1次演讲13次提到技术,马云在阿里巴巴年会上都说了什么?

阿里巴巴是一个奇迹,18年前的今天,阿里巴巴只有18人和50万人民币,18年后的今天,拥有54421名员工,市值4426亿美金,亚洲第1,全球第6。慕名上门拜访的各国高级政要更是络绎不绝,企业做到这份上,阿里巴巴算是独一家。

6189 0
|
数据采集 分布式计算 监控
|

阿里数据仓库实践分享

数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。

16461 1
|
SQL 分布式计算 资源调度
|

MaxCompute常见错误汇总(更新ing)

从今天开始,小编会为大家陆续解读MaxCompute常见问题,帮助大家快速上手MaxCompute,玩转大数据计算平台。

25243 8
|
新零售 存储 分布式计算
|

阿里巴巴MaxCompute亮相VLDB2017

[摘要]8月28日-9月1日,第四十三届VLDB会议在德国慕尼黑举行。阿里巴巴在本届VLDB展区重点展示了MaxCompute、ApsaraDB、AliSQL、AnalyticDB和POLARDB等数据库和数据处理技术,引起现场与行业专家学者的注意和交流探讨。

5020 0
|
大数据
|

DT时代已经悄然来临,IT人您跟上了吗?

什么是DT时代?         在2015年中国(深圳)IT领袖峰会上,马云发表演讲:过去7年我们从互联网创业到互联网产业,很快进入互联网经济,而且正在从IT走向DT时代,也许昨天称为IT领袖峰会,未来要称DT领袖峰会,DT不仅仅是技术提升,而是思想观念的提升。

6454 0
|
SQL 大数据
|

SQL优化器原理-Metadata

这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架的其他文章。添加钉钉群“关系代数优化技术”(群号11719083)可以获取最新文章发布动态(二维码在文章末尾)。

6677 0
|
弹性计算 分布式计算 MaxCompute
|

美柚与MaxCompute数据同步架构说明

美柚与MaxCompute数据同步架构说明

11339 0
我要发布