大数据计算 MaxCompute-阿里云开发者社区-阿里云

开发者社区> 大数据与机器学习> 大数据计算 MaxCompute

大数据计算 MaxCompute

关注

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

2
今日
7027
内容
8
活动
348098
关注
|
存储 分布式计算 MaxCompute
|

MaxCompute 包年包月套餐与非预留计算资源将于北京时间2023年4月30日00:00:00停止续订

若您当前保有MaxCompute包年包月“特价套餐”(含“存储密集型160特价套餐”、“存储密集型320特价套餐”、“存储密集型600特价套餐”)或包年包月“非预留计算资源”,请您详细阅读本文。

347 0
|
SQL 数据采集 分布式计算
|

MaxCompute中如何处理异常字符

在处理数据时,当业务数据同步至MaxCompute后,会产生一些含异常字符的脏数据,比如字段中包含了一个不可见字符,在DataWorks中显示不出来,但在BI界面又会显示成其他字符,影响整体观感。这种情况,通常我们的解法是,将异常的字符洗掉,下面来介绍几种常见的处理异常字符的方法。

701 0
|
存储 XML JSON
|

如何选择离线数据集成方案-全量&增量

如何选择数据离线集成方式,哪些表适合全量集成,哪些表适合增量集成

625 0
|
SQL 存储 运维
|

如何选择数据集成方式-离线&实时

如何在项目交付过程中合理经济的选择数据集成方案

950 1
|
SQL 分布式计算 关系型数据库
|

来自DBMS大牛分享 - MapReduce: 一个巨大的倒退

前言 2011年历史的大数据&数据库论 databasecolumn 的数据库大牛们(其中包括PostgreSQL的最初伯克利领导:Michael Stonebraker)最近写了一篇评论当前如日中天的MapReduce 技术的文章,引发剧烈的讨论。我抽空在这儿翻译一些,一起学习。 译者注:这种 Tanenbaum vs. Linus 式的讨论自然会导致非常热烈的争辩。但是老实说,从 Tanenbaum vs. Linus 的辩论历史发展来看,Linux是越来越多地学习并以不同方式应用了 Tanenbaum 等 OS 研究者的经验(而不是背弃); 所以 MapReduce vs. DBMS

311 0
|
DataWorks
|

维度建模实践一例 (一) 维度还是事实

成本和单价是产品的维度还是事实表中的事实?来看看我对这个问题的思考与分享吧。

445 0
|
存储 机器学习/深度学习 人工智能
|

2022 世界互联网大会:阿里云 ODPS 入选世界互联网领先科技成果

ODPS(Open Data Platform and Service)是阿里云自研的一体化大数据计算平台和数据仓库产品,10 余年来持续迭代,提供了实时离线一体、流批一体、湖仓一体、大数据 AI 一体的多场景能力,是业界少有的完全自主研发,支持 10 万级服务器并行计算、百万级 CPU 可扩展大数据智能计算平台

316 0
|
SQL 存储 分布式计算
|

ODPS是什么/阿里云一体化大数据平台ODPS的前世今生

ODPS(Open Data Processing Service),原是阿里云从 09年开始自研的大规模批量计算引擎,2016 年更名为MaxCompute。2022云栖大会上,阿里云ODPS全新升级为一体化大数据平台,存储、调度、元数据一体化融合 ,从 Processing 升级为 Platform,即 Open Data Platform and Service。提供了离线计算、实时交互式分析、机器学习等可扩展的智能计算引擎,满足用户多元化数据计算需求。

1412 0
|
SQL 分布式计算 数据挖掘
|

阿里云 MaxCompute 2022-12月刊

本刊为您带来 2022年12月 MaxCompute 产品最新动态。

872 0
|
存储 机器学习/深度学习 SQL
|

大数据&AI产品11月刊

大数据&AI产品技术月刊(2022年11月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

692 6
|
存储 SQL 分布式计算
|

阿里云 MaxCompute 2022-10月11月刊

本刊为您带来 2022年10月、11月 MaxCompute 产品最新动态。

786 0
|
存储 机器学习/深度学习 人工智能
|

大数据&AI产品10月刊

大数据&AI产品技术月刊(2022年10月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

627 0
|
SQL 弹性计算 运维
|

从共建到引领,阿里云开源大数据产品矩阵再升级

一体化大数据智能峰会上,回顾了阿里巴巴开源大数据技术十三载发展历程,从使用回馈到共建引领,兼容并蓄,持续创新。以及对开源大数据产品矩阵再次升级的分享。

846 0
|
存储 SQL 人工智能
|

贾扬清演讲实录:阿里云一体化大数据智能平台的演进丨2022云栖一体化大数据智能峰会

贾扬清在一体化大数据智能峰会论坛上分享立足于数据这个领域,数据和智能之间创新的火花。

1418 35
|
运维 Kubernetes Cloud Native
|

《SREWorks 云原生数智运维工程实践》电子书重磅来袭!

本书将分为三个主题,共11章节,适合正在向云原生转型的技术老兵,也适合刚入行正在熟悉 k8s 的小白。推荐阅读完本书后配合 SREWorks 进行实践,效果更佳。让我们共同实践,共同努力,推动云原生时代早日到来。

542 0
|
分布式计算 Hadoop 数据挖掘
|

阿里云 MaxCompute 2022-9月刊

本刊为您带来 2022年9月 MaxCompute 产品最新动态

1327 0
|
分布式计算 DataWorks Cloud Native
|

六大能力,助力企业构建全托管的现代化数仓!阿里云云原生一体化数仓新能力解读训练营来袭!

简介: 离线实时一体、分析服务一体、湖仓一体、数据安全、数据建模、数据治理,六大热门主题,六位大数据专家,带你了解当前炙手可热的云数仓产品最新演进趋势。本期训练营带你走进阿里云云原生一体化数仓新能力!

1352 0
|
分布式计算 算法 MaxCompute
|

阿里云 MaxCompute 2022-8月刊

本刊为您带来 2022年8月 MaxCompute 产品最新动态。

1065 0
|
数据采集 运维 安全
|

构建数据中台的组织架构

著名管理大师钱德勒总结过一个黄金定律:战略决定组织,而组织决定成败。

6394 10
|
Oracle 数据挖掘 关系型数据库
|

浅谈数据仓库架构设计

简单的比较了一下数据中台架构与数据仓库、BI、DSS之间的关系,并对比了一下Bill Inmon和Ralph Kimball架构的差异。

2146 3
|
人工智能 分布式计算 Cloud Native
|

IDC:阿里云稳居中国大数据平台公有云市场第一位

8月4日消息,日前国际权威研究机构IDC发布了《中国大数据平台公有云服务市场份额概况,2021》,报告显示,阿里云稳居中国大数据平台公有云服务市场第一位,营收达14.9亿元。

1835 1
|
分布式计算 Cloud Native 数据挖掘
|

阿里云 MaxCompute 2022-7月刊

本刊为您带来 2022年7月 MaxCompute 产品最新动态及精彩活动回顾。

968 0
|
SQL 机器学习/深度学习 分布式计算
|

阿里云 MaxCompute 2022-6月刊

2022年6月,MaxCompute包年包月规格支持查询加速、独占Quota、以及对单作业设置CU并发上限;同时MaxCompute支持在DataWorks公共表中查看外部数据源的元数据信息。

1337 0
|
数据采集 人工智能 分布式计算
|

大数据&AI产品月刊【2022年6月】

大数据&AI产品技术月刊(2022年6月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

1797 0
|
存储 消息中间件 缓存
|

SREWorks v1.2 版本发布 | 运维市场能力发布

在v1.1版本发布之后,SREWorks团队开始了常态化的功能版本迭代,v1.1提供了组件插拔能力,v1.2更进一步,将会发布规划已久的运维市场,助力团队构筑运维生态,也会发布诸多企业用户关注的纯内网源码构建方案。

717 0
|
SQL 存储 分布式计算
|

MaxCompute-UNION数据类型对齐的方法

怎么对齐两段union脚本的数据类型

954 0
|
弹性计算 分布式计算 资源调度
|

模拟IDC spark读写MaxCompute实践

现有湖仓一体架构是以 MaxCompute 为中心读写 Hadoop 集群数据,有些线下 IDC 场景,客户不愿意对公网暴露集群内部信息,需要从 Hadoop 集群发起访问云上的数据。本文以 EMR (云上 Hadoop)方式模拟本地 Hadoop 集群访问 MaxCompute数据。

662 0
|
存储 分布式计算 DataWorks
|

如何正确的做增量加工

回到十多年前,增量加工这个方法并不是一种需要特别需要提出的方法,因为关系数据库的存储与计算性能十分有限(即便是MPP数据库平台也不是全都是做全量加工),增量加工是最普遍的方式。本文讲述了如何在MaxCompute上用与关系数据库的不同的方式做增量数据的加工。

1126 3
|
分布式计算 DataWorks Cloud Native
|

2022阿里云大数据公开课第一季 — 云原生一体化数仓产品新能力解读

为培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台,阿里云整合自研大数据产品MaxCompute、DataWorks、Hologres,提出云原生一体化数仓,为企业提供一站式大数据处理平台。

665 0
|
机器学习/深度学习 人工智能 运维
|

大数据&AI产品月刊5月刊

大数据&AI产品技术月刊(2022年5月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

1934 11
|
机器学习/深度学习 分布式计算 Cloud Native
|

阿里云 MaxCompute 2022-4-5月刊合集

MaxCompute 按外表类型对外表计算独立计费;MaxCompute 湖仓一体法兰克福region商业化发布

925 0
|
分布式计算 DataWorks Cloud Native
|

阿里云云原生一体化数仓入选 2022数博会“十佳大数据案例”

2022年5月26日,中国国际大数据产业博览会(以下简称“数博会”)在贵阳召开,数博会“十佳大数据案例”揭晓,阿里云云原生一体化数仓入选。阿里云云原生一体化数仓可以解决企业在建设大数据平台中对时效性、准确性、性价比、非结构化数据处理,通过精简的架构,支撑分析决策、异构大数据平台之上的全域数据分析需求。

1049 0
|
存储 SQL 分布式计算
|

MaxCompute 公共云多租户设计的技术要点详解及产品实现特色

公共云大数据平台在多租户的设计和实现方式上有所差异。本文主要介绍在公共云大数据平台的多租实现方案中需要考虑的问题和挑战,重点介绍了MaxCompute在计算和存储多租实现上的特点。期望通过这些介绍来让大家了解大数据云平台多租方案需要关注的技术点和MaxCompute在多租实现上的产品特色。

1104 1
|
机器学习/深度学习 人工智能 自然语言处理
|

大数据&AI产品月刊【2022年4月】

大数据&AI产品技术月刊(2022年4月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

2142 1
|
SQL 数据采集 分布式计算
|

【转载】大数据在线离线一体化解决方案最佳实践

本文重点介绍大数据产品集通用解决方案,即大数据在线计算+离线计算一体化解决方案,并通过真实案例模拟来说明此通用解决方案在具体项目中是如何落地的。

16292 0
|
SQL 存储 人工智能
|

[GCP]BigQuery大数据产品系列分析介绍

介绍GCP大数据相关产品能力系列介绍

1827 1
|
数据采集 分布式计算 Oracle
|

数据仓库的分层架构与演进

分层架构很容易在各种书籍和文档中去理解,但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来,我会从数据研发与建模的角度,演进一下分层架构的设计原因与层次的意义。

16107 3
|
存储 分布式计算 DataWorks
|

某智能终端厂商流量商业化项目的云原生大数据平台实践

随着流量获取,移动互联网业务成为集团三大战略之一,启动流量商业化项目,包括类似阿里妈妈的流量联盟、帮助广告主更好买量的数字化营销平台以及用户体系等,其中广告检索和广告大数据平台成为支撑整个流量商业化项目的技术基础。

3247 0
|
机器学习/深度学习 人工智能 分布式计算
|

大数据&AI产品月刊【2022年3月】

大数据&AI产品技术月刊(2022年3月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

352 0
|
SQL 分布式计算 数据处理
|

阿里云 MaxCompute 2022-3月刊合集

2022年3月,MaxCompute 全新支持 Spark 3.1 版本;物化视图改写能力进一步增强,更多产品动态详情请查看本次月刊。

1250 0
|
数据采集 机器学习/深度学习 算法
|

数据治理之参考数据与主数据管理

最近凑巧参与了一次某行业的业务共创会议,期间讨论到了主数据系统,还有我们该如何参与主数据系统建设的话题。说实话,我一直以为我不会有机会参与到主数据与参考数据系统的话题中去,所以,又去把DAMA的书籍翻了翻。顺便也重新思考了一下主数据与参考数据这个数据治理的课题。

2545 1

数据治理之分类分级-(1)

2022年的一月和二月,我花了大量时间来学习研究分类与分级这个课题,但是并未找到答案。我把分类与分级的问题,定义为一个社会知识的问题。因为分类的问题相当广泛,而且也相当复杂,即便是一个科学家也只能对自己小范围内的数据进行有限的分类。而我们做数据中台数据治理项目交付,面对的数据是非常广泛的,全社会的各种各样的数据都可能是我们要分类的目标。要想把类分好,就要对需要分类的数据及其业务含义、适用场景等都有深入的了解。而我,每次即便是看到某一小类数据都非常的头痛,因为我对这个世界的认知太单薄。用一个成语“蚍蜉撼树”来形容我现在想做的事情,再恰当不过了。

1312 1
|
分布式计算 安全 MaxCompute
|

阿里云MaxCompute权限管理和安全配置文档问卷调研

为了提升MaxCompute权限管理和安全配置文档的质量,确保文档能更好地为您服务,本次问卷调研重点收集您对这两个模块文档的意见或建议,问卷填写大概需要花费您5-10分钟。您的反馈对文档改进尤为重要,期待收到您的反馈~

234 0
|
分布式计算 DataWorks Cloud Native
|

阿里云 MaxCompute 2022-1月2月刊合集

云原生一体化数仓重磅发布;MaxCompute支持表结构变更邀测版本发布。

1050 1
|
机器学习/深度学习 存储 人工智能
|

大数据&AI产品月刊【2022年2月】

大数据&AI产品技术月刊(2022年1月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

482 0
|
存储 SQL 运维
|

开源大数据OLAP引擎最佳实践

本篇内容分享了开源大数据OLAP引擎最佳实践。 分享人:范振 阿里云高级技术专家

15956 0
|
分布式计算 DataWorks Cloud Native
|

阿里云云原生一体化数仓正式发布  助力企业数据驱动业务创新

云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台。核心是3个一体化和全链路数据治理能力,包括离线实时一体、湖仓一体、分析服务一体、全链路数据治理。

2169 6
|
分布式计算 Oracle 数据挖掘
|

阿里云 MaxCompute 2021-12 月刊

2021年12月,MaxCompute 发布物化视图增强功能和支持渐进式计算。详情请阅读本月刊。

962 0
|
存储 SQL 弹性计算
|

Snowflake vs Redshift RA3 产品对比

原文出自: https://levelup.gitconnected.com/snowflake-vs-redshift-ra3-the-need-for-more-than-just-speed-52e954242715

1374 0
|
分布式计算 安全 大数据
|

阿里云MaxCompute为坚韧性系统 — 中国信通院完成首个面向大数据技术产品的混沌测试

随着 2021 年《关键信息基础设施安全保护条例》出台,稳定性已成为各领域客户在功能、性能之外,对大数据技术产品能力评价的重要指标。阿里云MaxCompute大数据平台在13轮不同程度的破坏性测试中,性能水平并未明显下降,被证明为韧性型系统。

933 0
我要发布