开发者社区> 大数据与机器学习> 大数据计算 MaxCompute

大数据计算 MaxCompute

关注

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

0
今日
8268
内容
12
活动
348207
关注
|
11月前
|
人工智能 分布式计算 大数据
|
置顶

云栖实录 | MaxCompute 迈向下一代的智能云数仓

2024年云栖大会上,阿里云核心自研云原生智能数据仓库产品MaxCompute,在经过一年的深度打磨后,推出了其迈向下一代智能云数据仓的系列主题分享。此次产品发布,充分展示MaxCompute产品领先行业的云数据产品发展理念与核心优势。

1373 2
|
存储 分布式计算 运维
|
置顶

【2023云栖】刘一鸣:Data+AI时代大数据平台建设的思考与发布

本文根据2023云栖大会演讲实录整理而成,演讲信息如下: 演讲人:刘一鸣 | 阿里云自研大数据产品负责人 演讲主题:Data+AI时代大数据平台应该如何建设

102679 16
|
存储 人工智能 分布式计算
|
置顶

【云栖2023】张治国:MaxCompute架构升级及开放性解读

本文根据2023云栖大会演讲实录整理而成,演讲信息如下 演讲人:张治国|阿里云智能计算平台研究员、阿里云MaxCompute负责人 演讲主题:MaxCompute架构升级及开放性解读 活动:2023云栖大会

61393 17
|
SQL 分布式计算 大数据
|
置顶

MaxCompute元数据使用实践 -- 数据下载审计

通过MaxCompute租户级别Information Schema的“TUNNELS_HISTORY”视图可以统计查看通过Tunnel通道进行数据上传下载的相关详细信息,方便您进行数据流转的审计排查。

984 0
|
SQL 存储 分布式计算
|
置顶

MaxCompute元数据使用实践--项目信息统计

MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息,您可以一次性拉取您同一个元数据中心下所有Project的某类元数据,从而进行各类元数据的统计分析。

1137 1
|
分布式计算 运维 大数据
|
置顶

MaxCompute资源管理——使用成本优化功能实现包年包月计算资源降本增效

MaxCompute提供成本优化(计算资源优化推荐)功能,可基于实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,帮助进一步提升计算资源利用率,优化计算成本。本文我们一起通过典型场景案例来看看如何通过成本优化(计算资源优化推荐)功能提供降本增效的参考建议。

844 1
|
存储 SQL 分布式计算
|
置顶

MaxCompute发布按量付费闲时版,计算成本最高节省66.66%!

在大数据不断在追求计算效率和成本优化的背景下,阿里云云原生大数据计算服务 MaxCompute宣布推出按量付费闲时版,用户可选择用此版本完成时间不敏感的作业,从而降低计算成本,同等作业类型的计算费用与按量付费标准版相比,最高可实现66.66%的计算成本优化。

583 1
|
人工智能 分布式计算 Cloud Native
|
置顶

《阿里云云原生一体化数仓新能力解读》电子书重磅来袭!六大能力,助力企业构建全托管的现代化数仓!

离线实时一体、分析服务一体、湖仓一体、数据安全、数据建模、数据治理,六大热门主题,六位大数据专家,带你了解当前炙手可热的云数仓产品最新演进趋势。

1944 0
|
人工智能 分布式计算 Cloud Native
|
置顶

IDC:阿里云稳居中国大数据平台公有云市场第一位

8月4日消息,日前国际权威研究机构IDC发布了《中国大数据平台公有云服务市场份额概况,2021》,报告显示,阿里云稳居中国大数据平台公有云服务市场第一位,营收达14.9亿元。

2379 1
|
存储 分布式计算 DataWorks
|
置顶

阿里云云原生一体化数仓 — 数据治理新能力解读

本文介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展,包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读,以及围绕降本增效的成本治理最佳实践。

3557 0
|
存储 SQL 分布式计算
|
置顶

阿里云云原生一体化数仓 — 湖仓一体新能力解读

本文主要介绍如何通过湖仓一体,打通 MaxCompute 与 Hadoop、DLF/OSS 数据湖,以及 Hologres、MySQL 等数据平台,并通过 DataWorks 做统一数据开发和治理。

3192 1
|
存储 SQL 自然语言处理
|
置顶

阿里云云原生一体化数仓 — 数据建模新能力解读

本文主要介绍DataWorks智能数据建模的核心产品能力。

1667 0
|
存储 SQL JSON
|
置顶

阿里云云原生一体化数仓 — 分析服务一体化新能力解读

本文主要介绍如何通过Hologres在分析和服务场景下的新功能,包括资源隔离,数据湖(Delta、Hudi)的支持、JSON优化支持等。

1190 0
|
存储 人工智能 分布式计算
|
置顶

阿里云云原生一体化数仓 — 离线实时一体化新能力解读

介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案,通过用实时的引擎做预处理,实现离线实时数据入仓后做更加实时的服务化BI分析实践。

2702 1
|
分布式计算 DataWorks Cloud Native
|
置顶

阿里云云原生一体化数仓入选 2022数博会“十佳大数据案例”

2022年5月26日,中国国际大数据产业博览会(以下简称“数博会”)在贵阳召开,数博会“十佳大数据案例”揭晓,阿里云云原生一体化数仓入选。阿里云云原生一体化数仓可以解决企业在建设大数据平台中对时效性、准确性、性价比、非结构化数据处理,通过精简的架构,支撑分析决策、异构大数据平台之上的全域数据分析需求。

1389 0
|
人工智能 Cloud Native 大数据
|
置顶

“后红海”时代, 阿里资深技术专家揭秘当下大数据体系

任何一种技术都会经历从阳春白雪到下里巴人的过程,就像我们对计算机的理解从 “戴着鞋套才能进的机房”变成了随处可见的智能手机。在前面 20 年中,大数据技术也经 历了这样的过程,从曾经高高在上的 “火箭科技(rocket science)”,成为了人人普惠 的技术。

17995 0
|
存储 人工智能 分布式计算
|
置顶

《SaaS模式云原生数据仓库应用场景实践》电子书重磅来袭! 激活数据生产力,让分析产生价值!

在数据成为生产要素的今天,拥有充沛的算力是全面发掘和释放数据价值的先决条件。

30345 0
|
机器学习/深度学习 存储 分布式计算
|
置顶

离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进

阿里云智能研究员 林伟 :阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考,使得湖的灵活性、数据种类丰富与仓的可成长性和企业级管理得到有机融合,这是阿里巴巴最佳实践的宝贵资产,是大数据的新一代架构。

3847 0
|
分布式计算 安全 大数据
|
置顶

阿里云MaxCompute为坚韧性系统 — 中国信通院完成首个面向大数据技术产品的混沌测试

随着 2021 年《关键信息基础设施安全保护条例》出台,稳定性已成为各领域客户在功能、性能之外,对大数据技术产品能力评价的重要指标。阿里云MaxCompute大数据平台在13轮不同程度的破坏性测试中,性能水平并未明显下降,被证明为韧性型系统。

1320 0
|
分布式计算 DataWorks Cloud Native
|
置顶

阿里云云原生一体化数仓正式发布  助力企业数据驱动业务创新

云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台。核心是3个一体化和全链路数据治理能力,包括离线实时一体、湖仓一体、分析服务一体、全链路数据治理。

2651 6
|
存储 运维 分布式计算
|
置顶

云原生离线实时一体化数仓建设与实践

本篇内容分享了云原生离线实时一体化数仓建设与实践。 分享人:刘一鸣 Hologres 产品经理

1931 1
|
存储 机器学习/深度学习 SQL
|
置顶

MaxCompute湖仓一体介绍

本篇内容分享了MaxCompute湖仓一体介绍。 分享人:孟硕 阿里云 MaxCompute产品专家

1919 0
|
数据采集 分布式计算 DataWorks
|
置顶

阿里云云原生一体化数仓发布

高雪峰 阿里云计算平台产品与解决方案总经理

1946 0
|
SQL 分布式计算 资源调度
|
置顶

外部工具连接SaaS模式云数仓MaxCompute 实战—— 数据库管理工具篇

本次直播将主要分享MaxCompute查询加速功能、数据库管理工具DBeaver、DataGrip、SQL Workbench/J的部分连接演示。

1561 0
|
SQL 分布式计算 数据可视化
|
置顶

外部工具连接SaaS模式云数据仓库MaxCompute实战——BI分析工具篇

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,帮助企业和大数据开发者经济并高效的分析处理海量数据。

1937 1
|
SQL 资源调度 分布式计算
|
置顶

MaxCompute中如何通过logview诊断慢作业

MaxCompute致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务,在MaxCompute执行sql任务的时候有时候作业会很慢,本文通过查看logview排查具体任务慢的原因

5063 0
|
SQL 分布式计算 Java
|
置顶

UDF精简使用大全

在MaxCompute开发过程中,开发同学遇到的的一些复杂逻辑该如何处理,如何在MaxCompute开发不同场景下的UDF函数?带着这个问题,本文针对UDF的各方面内容做出介绍,其中涉及UDF对应不同语言的类型映射关系、以及对应UDF在重载、访问网络、引用表与资源、以及第三方包的使用为大家做出展示。

6353 0
|
存储 SQL 分布式计算
|
置顶

如何基于MaxCompute快速打通数据仓库和数据湖的湖仓一体实践

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析,将数据高效转换为业务洞察。

1999 0
|
SQL 分布式计算 运维
|
置顶

MaxCompute作业日常监控与运维实践

MaxCompute作业日常监控与运维实践

1871 0
|
SQL 存储 分布式计算
|
置顶

MaxCompute产品消费相关文章合集

MaxCompute (原odps)是面向分析的企业级SaaS模式云数据仓库,以Serverless架构提供全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入。MaxCompute支持多种经典计算模型(批处理、机器学习、交互式分析等)和完善的企业管理功能,借助MaxCompute,用户可轻松集成和管理企业数据资产,简化数据平台架构,加速价值实现。

875 0
|
分布式计算 DataWorks 网络协议
|
置顶

MaxCompute中实现IPv4和IPv6地址归属地转换

大数据平台的成熟使得更多种类的非结构化、半结构化的数据分析成为可能。其中把IP地址转换为归属地又是极为常见的一种场景。本文将介绍在MaxCompute如何根据IPv4和IPv6地址实现归属地转换。

3979 0
|
机器学习/深度学习 人工智能 分布式计算
|
置顶

开放下载!《SaaS模式云数据仓库实践手册》

本书的制作目的在于让MaxCompute帮助企业构建全托管的现代化数仓,简化数据洞察、加速价值实现。

44196 0
|
存储 机器学习/深度学习 分布式计算
|
置顶

持续定义Saas模式云数据仓库+实时搜索

本文由阿里云计算平台事业部 MaxCompute 产品经理孟硕为大家带来《持续定义Saas模式云数据仓库+实时搜索》的相关分享。以下是视频内容精华整理,主要包括以下三个部分:1.Why:概述与价值;2.What:应用场景;3.How:最佳实践。

20642 0
|
机器学习/深度学习 SQL 人工智能
|
置顶

持续定义SaaS模式云数据仓库+AI

本文由阿里云计算平台事业部 MaxCompute 产品经理孟硕为大家带来《持续定义SaaS模式云数据仓库+AI》的相关分享。

11761 0
|
存储 机器学习/深度学习 分布式计算
|
置顶

持续定义SaaS模式云数据仓库+Serverless

本文将为您介绍现代云数据仓库的业务场景与资源使用需求,不同资源交付模式的差异化分析。并结合MaxCompute Serverless的特点及价值来讲解使用MaxCompute Serverless的最佳实践。

11136 0
|
存储 数据采集 分布式计算
|
置顶

持续定义SaaS模式云数据仓库+数据银行

本文将介绍SaaS模式云数据仓库MaxCompute,如何助力数据银行SaaS模式云战略和一体化数据开放场景介绍。

10200 0
|
新零售 分布式计算 DataWorks
|
置顶

持续定义Saas模式云数据仓库+BI

简介:阿里云技术专家海清为大家带来持续定义Saas模式云数据仓库+BI的介绍。内容包括云数据仓库概述,BI使用场景与趋势,基于MaxCompute云数仓+BI的特性,以及实践案例。

7198 0
|
分布式计算 监控 算法
|
置顶

MaxCompute资源管理—— 包年包月资源组隔离

使用基于MaxCompute云数据仓库的企业,由于业务的差异,会创建多project进行数据隔离。同时也因为业务的差异,每个project需要跑的任务量、业务紧急程度等也有差异,因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。

1803 0
|
存储 分布式计算 安全
|
置顶

SaaS 模式云数据仓库 MaxCompute 数据安全最佳实践

MaxCompute作为企业级SaaS模式云数据仓库,正在为客户业务及其数据提供持续的安全保护。 MaxCompute 近期对产品的安全能力进行了全面升级,本文将针对数据误用、数据滥用、数据泄露、数据丢失等典型数据风险场景,结合数据生命周期,为您介绍基 于MaxCompute 和 DataWorks 原生集成安全能力的最佳实践。

1258 0
|
分布式计算 DataWorks 调度
|
置顶

MaxCompute资源管理—— 包年包月资源分时

2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。

2017 0
|
13小时前
|
人工智能 物联网 BI
|

诊断设备企业必看!垂直医疗行业的CRM软件有哪些?

2025年,诊断设备企业竞争核心转向精细化服务。传统CRM难堪重任,垂直医疗CRM成破局关键。本文深度解析八骏医疗云等五大解决方案,揭秘如何通过设备全周期管理、代理商管控、智能耗材预警与私有化部署,构建以客户为中心的服务体系,抢占增长制高点。

12 0
|
20小时前
|
存储 SQL 分布式计算
|

MaxCompute 聚簇优化推荐原理

基于历史查询智能推荐Clustered表,显著降低计算成本,提升数仓性能。

28 4
|
14天前
|
SQL 缓存 分布式计算
|

【跨国数仓迁移最佳实践5】MaxCompute近线查询解决方案助力物流电商等实时场景实现高效查询

本系列文章将围绕东南亚头部科技集团的真实迁移历程展开,逐步拆解 BigQuery 迁移至 MaxCompute 过程中的关键挑战与技术创新。本篇为第5篇,解析跨国数仓迁移背后的性能优化技术。 注:客户背景为东南亚头部科技集团,文中用 GoTerra 表示。

49 8
|
18天前
|
存储 分布式计算 资源调度
|

【赵渝强老师】阿里云大数据MaxCompute的体系架构

阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。

64 1
|
30天前
|
存储 分布式计算 大数据
|

MaxCompute聚簇优化推荐功能发布,单日节省2PB Shuffle、7000+CU!

MaxCompute全新推出了聚簇优化推荐功能。该功能基于 31 天历史运行数据,每日自动输出全局最优 Hash Cluster Key,对于10 GB以上的大型Shuffle场景,这一功能将直接带来显著的成本优化。

108 3
|
1月前
|
SQL 分布式计算 运维
|

【跨国数仓迁移最佳实践3】资源消耗减少50%!解析跨国数仓迁移至MaxCompute背后的性能优化技术

本系列文章将围绕东南亚头部科技集团的真实迁移历程展开,逐步拆解 BigQuery 迁移至 MaxCompute 过程中的关键挑战与技术创新。本篇为第3篇,解析跨国数仓迁移背后的性能优化技术。 注:客户背景为东南亚头部科技集团,文中用 GoTerra 表示。

81 0
|
1月前
|
人工智能 自然语言处理 前端开发
|

《10分钟开发电商页!CodeBuddy自然语言转代码实测:程序员效率革命》

CodeBuddy AI编程助手,实现自然语言到代码全流程生成,支持React开发、Figma转代码,提升效率,限时抽奖送体验码!

99 0
|
1月前
|
分布式计算 MaxCompute
|

DBeaver连接MaxCompute权限问题

66 1
|
1月前
|
算法 搜索推荐
|

阿里云算法能力评估....如何。。。

45 1
我要发布