开发者社区> 大数据与机器学习> 大数据计算 MaxCompute

大数据计算 MaxCompute

关注

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

0
今日
8280
内容
12
活动
348232
关注
|
SQL 存储 分布式计算
|

MaxCompute上如何处理非结构化数据

0. 前言 MaxCompute作为阿里云大数据平台的核心计算组件,拥有强大的计算能力,能够调度大量的节点做并行计算,同时对分布式计算中的failover,重试等均有一套行之有效的处理管理机制。 而MaxCompute SQL能在简明的语义上实现各种数据处理逻辑,在集团内外更是广为应用,在其上实现

13848 0
|
SQL 分布式计算 大数据
|

使用 MaxCompute Studio 开发大数据应用

MaxCompute(原ODPS)是阿里云自主研发的分布式大数据处理平台。MaxCompute Studio 为开发者提供了良好的开发体验,本文将展开进行介绍。

16112 0
|
分布式计算 Hadoop Java
|

如何在MaxCompute上运行HadoopMR作业

MaxCompute(原ODPS)有一套自己的MapReduce编程模型和接口,简单说来,这套接口的输入输出都是MaxCompute中的Table,处理的数据是以Record为组织形式的,它可以很好地描述Table中的数据处理过程,然而与社区的Hadoop相比,编程接口差异较大。Hadoop用户如果

5234 0
|
人工智能 分布式计算 大数据
|

倒计时1天!相约杭州云栖,相遇数据智能

2016杭州云栖大会盛大开启,与阿里云大数据一起相约杭州云栖,相遇数据智能!我们精心准备了四大智能看点,等你用一颗大数据的心,鞠一捧智能的“水”。

11703 1
|
存储 分布式计算 MaxCompute
|

MaxCompute 存储优化技巧

文章转自duzhuan本文主要介绍一些ODPS表操作的优化技巧,通过这些技巧,可以有效节省ODPS存储空间和计算量。 合理设置分区表 ODPS支持分区表的概念,分区表指的是在创建表时指定的partition的分区空间,即指定表内的某几个字段作为分区列。在大多数情况下,用户可以将分区类比为文件系统

7315 0
|
分布式计算 MaxCompute
|

MaxCompute MapReduce的7个性能优化策略

本文收录了一些MaxCompute MapReduce优化策略。

5786 0
|
分布式计算 安全 MaxCompute
|

MaxCompute数据安全机制

文章转自dongkai和传统的计算平台类似,MaxCompute使用多租户隔离租户间的数据。租户内利用访问控制保护用户数据。但是作为一个云计算、大数据平台,MaxCompute在实现时做了一系列的创新。这些创新主要体现在三个方面:1、访问可追溯;2、更细粒度的访问控制;3、跨租户访问控制。访问可追溯

9259 0
|
SQL 分布式计算 Java
|

MaxCompute 2.0 生态开放之路及最新发展

MaxCompute(原ODPS)是阿里云自主研发的分布式大数据处理系统。

7883 0
|
分布式计算 MaxCompute
|

当 Elasticsearch 遇上 MaxCompute —— 「Elasticsearch on MaxCompute 」简介

转自haixiaElasticsearch on MaxCompute Elasticsearch 是目前最流行的开源分布式搜索系统之一,它有着优秀的近实时搜索性能和丰富的周边配套工具。以 Elasticsearch 为核心的 Elastic Stack (Elasticsearch + Log

6938 0
|
分布式计算 MaxCompute 流计算
|

基于 MaxCompute 的极速的基因测序分析

转载自yizhuo 基因、测序、分析 基因,生命的基本因素,是人类和其他生物的基础遗传物质。人有 23 对染色体,总共记录了大约 3Gb 个碱基(这里的 b 是 base,即碱基,可不是 bit,参考这里),每个位置上的碱基可能是 ATCG 中的一个。简单理解起来,就是有了这 3Gb 长的字

4924 1
|
分布式计算 数据可视化 Java
|

原来MaxCompute还能这么玩系列(1)—— 通过Apache Zeppelin 快速实现数据可视化

通过简单的几步配置,教你如何快速实现MaxCompute的数据可视化

11366 0
|
大数据
|

MaxCompute5个窗口函数限制

MaxCompute使用技巧

3020 0
|
分布式计算 大数据 API
|

R语言和大数据

分布式的R

6087 0
|
分布式计算 大数据 Java
|

低版本mvel在MaxCompute jdk8环境中报java.lang.VerifyError

MaxCompute使用技巧

4387 0
|
分布式计算 大数据 MaxCompute
|

【MaxCompute学习】隐式转化的问题

MaxCompute使用小技巧

4524 0
|
SQL 分布式计算 MaxCompute
|

什么是PyODPS DataFrame

这篇文章解释了PyODPS DataFrame是什么,能做什么事情,以及简单介绍一下实现的原理。

7872 0
|
分布式计算 Java MaxCompute
|

flume java介绍

近期在做shark flume开发框架的测试,该框架是一个简单高效的面向数据的pipeline框架,采用flume java的思想,实现了一套flume java on MaxCompute的library。为了更好的了解shark自己也去阅读了flume java的paper,这里做一些总结,主要

9463 0
|
机器学习/深度学习 分布式计算 数据挖掘
|

MaxCompute上你从未体验过的数据分析和机器学习过程

PyODPS,拥有对于Python用户传统的数据分析和机器学习愉快的体验,包括了DataFrame框架和机器学习模块,它们类似于pandas+scikit-learn,能用它们进行数据分析、绘图、机器学习等等。

10770 0
|
存储 运维 算法
|

数加平台如何通过Serverless 架构实现普惠大数据

Serverless 架构旨在将应用开发者从底层基础设施的运维中解放出来,更加专注于业务价值的实现上,这种思想对于大数据应用尤其适用,数据科学家更需要投入到数据价值的探索和挖掘上。本文讲述了数据平台如何利用Serverless 的架构来降低大数据应用的门槛,真正的实现普惠大数据。

6983 0
|
分布式计算 大数据 MaxCompute
|

从0-1体验大数据开发

觉得裸用MaxCompute(原ODPS)门槛较高?想做数据开发,却苦于没有好的管理工具?想体验Data IDE觉得前期准备工作太长,欢迎进入大数据体验馆,快速开启体验:https://data.aliyun.com/experience

3689 0
|
大数据
|

7月21日 企业大数据平台仓库架构建设思路直播视频

想了解如何搭建一个好的数据仓库?来听听阿里云高级技术专家-李金波 有何建议?精彩不容错过哦!

2822 0
|
分布式计算 大数据 API
|

PyOdps 0.4版本发布,从一个故事说起

PyOdps 0.4版本,DataFrame API支持使用pandas进行本地计算,用户因此能join ODPS和本地数据,也能进行本地debug,另外还有MapReduce API等新特性

7310 0
|
分布式计算 大数据 MaxCompute
|

零成本体验 MaxCompute 大数据分析

无需注册云账号,零成本立即体验 MaxCompute 大数据分析,访问 http://notebook.odps.online

4896 0
|
分布式计算 数据挖掘 API
|

PyOdps DataFrame来临,数据分析从未如此简单!

PyOdps正式发布DataFrame框架(此处应掌声经久不息),DTer的福音!有了它,就像卷福有了花生,比翼双飞,哦不,如虎添翼。 快过年了,大家一定没心情看长篇大论的分析文章。作为介绍PyOdps DataFrame的开篇文章,我只说说其用起来爽的地方。其余的部分,从使用、问题到实现原理,我

12123 0
|
存储 算法 PHP
|

数组去重性能优化:为什么Set和Object哈希表的效率最高

在处理数组去重问题时,使用 `Set` 和 `Object` 哈希表是高效的解决方案。它们基于哈希表实现,插入和查找操作的时间复杂度为 `O(1)`,相比传统嵌套循环的 `O(n²)` 方法性能优势显著。`Set` 能保持元素插入顺序,适用于需要顺序的场景;`Object` 则通过键的唯一性实现去重,适合无需顺序的场景。两者均能在大规模数据中实现高效的去重操作,是数组去重最优选择。

504 0
|
存储 SQL 人工智能
|

【跨国数仓迁移最佳实践1】Append Delta Table 统一存储格式创新

本系列文章将围绕东南亚头部科技集团的真实迁移历程展开,逐步拆解 BigQuery 迁移至 MaxCompute 过程中的关键挑战与技术创新。本篇为第一篇,跨国数仓迁移背后 MaxCompute 的统一存储格式创新。 注:客户背景为东南亚头部科技集团,文中用 GoTerra 表示。

425 0
|
存储 分布式计算 安全
|

MaxCompute Bloomfilter index 在蚂蚁安全溯源场景大规模点查询的最佳实践

MaxCompute 在11月最新版本中全新上线了 Bloomfilter index 能力,针对大规模数据点查场景,支持更细粒度的数据裁剪,减少查询过程中不必要的数据扫描,从而提高整体的查询效率和性能。

633 0
|
分布式计算 Java 数据库连接
|

MaxCompute JDBC 2.0 beta中的一些变更说明

本文主要介绍了在MaxCompute JDBC 2.0 beta 之后就易用性方面对配置相关变更的说明

3944 0
|
SQL 运维 大数据
|

大数据workshop:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据处理:通过StreamSQL分析用户行为》篇

本手册为云栖大会Workshop之《在线用户行为分析:基于流式计算的数据处理及应用》场的《流数据处理:通过StreamSQL分析用户行为》篇所需。主要帮助现场学员熟悉并掌握阿里云流计算StreamCompute的操作和使用。

4348 0
|
SQL 分布式计算 DataWorks
|

大数据上云第一课:(1)MaxCompute授权和外表操作躲坑指南

本文主要针对于在使用MaxCompute开发过程中,对MaxCompute账号授权、外部表操作及元数据查询等相关问题做一个简单的介绍。

2799 0
我要发布