开发者社区> 大数据与机器学习> 大数据计算 MaxCompute

大数据计算 MaxCompute

关注

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

0
今日
8196
内容
9
活动
348164
关注
|
2月前
|
人工智能 分布式计算 大数据
|
置顶

云栖实录 | MaxCompute 迈向下一代的智能云数仓

2024年云栖大会上,阿里云核心自研云原生智能数据仓库产品MaxCompute,在经过一年的深度打磨后,推出了其迈向下一代智能云数据仓的系列主题分享。此次产品发布,充分展示MaxCompute产品领先行业的云数据产品发展理念与核心优势。

356 0
|
存储 分布式计算 运维
|
置顶

【2023云栖】刘一鸣:Data+AI时代大数据平台建设的思考与发布

本文根据2023云栖大会演讲实录整理而成,演讲信息如下: 演讲人:刘一鸣 | 阿里云自研大数据产品负责人 演讲主题:Data+AI时代大数据平台应该如何建设

102264 15
|
存储 人工智能 分布式计算
|
置顶

【云栖2023】张治国:MaxCompute架构升级及开放性解读

本文根据2023云栖大会演讲实录整理而成,演讲信息如下 演讲人:张治国|阿里云智能计算平台研究员、阿里云MaxCompute负责人 演讲主题:MaxCompute架构升级及开放性解读 活动:2023云栖大会

60982 16
|
SQL 分布式计算 大数据
|
置顶

MaxCompute元数据使用实践 -- 数据下载审计

通过MaxCompute租户级别Information Schema的“TUNNELS_HISTORY”视图可以统计查看通过Tunnel通道进行数据上传下载的相关详细信息,方便您进行数据流转的审计排查。

799 0
|
SQL 存储 分布式计算
|
置顶

MaxCompute元数据使用实践--项目信息统计

MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息,您可以一次性拉取您同一个元数据中心下所有Project的某类元数据,从而进行各类元数据的统计分析。

862 0
|
分布式计算 运维 大数据
|
置顶

MaxCompute资源管理——使用成本优化功能实现包年包月计算资源降本增效

MaxCompute提供成本优化(计算资源优化推荐)功能,可基于实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,帮助进一步提升计算资源利用率,优化计算成本。本文我们一起通过典型场景案例来看看如何通过成本优化(计算资源优化推荐)功能提供降本增效的参考建议。

644 0
|
存储 SQL 分布式计算
|
置顶

MaxCompute发布按量付费闲时版,计算成本最高节省66.66%!

在大数据不断在追求计算效率和成本优化的背景下,阿里云云原生大数据计算服务 MaxCompute宣布推出按量付费闲时版,用户可选择用此版本完成时间不敏感的作业,从而降低计算成本,同等作业类型的计算费用与按量付费标准版相比,最高可实现66.66%的计算成本优化。

409 1
|
人工智能 分布式计算 Cloud Native
|
置顶

《阿里云云原生一体化数仓新能力解读》电子书重磅来袭!六大能力,助力企业构建全托管的现代化数仓!

离线实时一体、分析服务一体、湖仓一体、数据安全、数据建模、数据治理,六大热门主题,六位大数据专家,带你了解当前炙手可热的云数仓产品最新演进趋势。

1739 0
|
人工智能 分布式计算 Cloud Native
|
置顶

IDC:阿里云稳居中国大数据平台公有云市场第一位

8月4日消息,日前国际权威研究机构IDC发布了《中国大数据平台公有云服务市场份额概况,2021》,报告显示,阿里云稳居中国大数据平台公有云服务市场第一位,营收达14.9亿元。

2149 1
|
存储 分布式计算 DataWorks
|
置顶

阿里云云原生一体化数仓 — 数据治理新能力解读

本文介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展,包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读,以及围绕降本增效的成本治理最佳实践。

3334 0
|
存储 SQL 分布式计算
|
置顶

阿里云云原生一体化数仓 — 湖仓一体新能力解读

本文主要介绍如何通过湖仓一体,打通 MaxCompute 与 Hadoop、DLF/OSS 数据湖,以及 Hologres、MySQL 等数据平台,并通过 DataWorks 做统一数据开发和治理。

3001 1
|
存储 SQL 自然语言处理
|
置顶

阿里云云原生一体化数仓 — 数据建模新能力解读

本文主要介绍DataWorks智能数据建模的核心产品能力。

1503 0
|
存储 SQL JSON
|
置顶

阿里云云原生一体化数仓 — 分析服务一体化新能力解读

本文主要介绍如何通过Hologres在分析和服务场景下的新功能,包括资源隔离,数据湖(Delta、Hudi)的支持、JSON优化支持等。

1100 0
|
存储 人工智能 分布式计算
|
置顶

阿里云云原生一体化数仓 — 离线实时一体化新能力解读

介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案,通过用实时的引擎做预处理,实现离线实时数据入仓后做更加实时的服务化BI分析实践。

2481 1
|
分布式计算 DataWorks Cloud Native
|
置顶

阿里云云原生一体化数仓入选 2022数博会“十佳大数据案例”

2022年5月26日,中国国际大数据产业博览会(以下简称“数博会”)在贵阳召开,数博会“十佳大数据案例”揭晓,阿里云云原生一体化数仓入选。阿里云云原生一体化数仓可以解决企业在建设大数据平台中对时效性、准确性、性价比、非结构化数据处理,通过精简的架构,支撑分析决策、异构大数据平台之上的全域数据分析需求。

1206 0
|
人工智能 Cloud Native 大数据
|
置顶

“后红海”时代, 阿里资深技术专家揭秘当下大数据体系

任何一种技术都会经历从阳春白雪到下里巴人的过程,就像我们对计算机的理解从 “戴着鞋套才能进的机房”变成了随处可见的智能手机。在前面 20 年中,大数据技术也经 历了这样的过程,从曾经高高在上的 “火箭科技(rocket science)”,成为了人人普惠 的技术。

17884 0
|
存储 人工智能 分布式计算
|
置顶

《SaaS模式云原生数据仓库应用场景实践》电子书重磅来袭! 激活数据生产力,让分析产生价值!

在数据成为生产要素的今天,拥有充沛的算力是全面发掘和释放数据价值的先决条件。

30257 0
|
机器学习/深度学习 存储 分布式计算
|
置顶

离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进

阿里云智能研究员 林伟 :阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考,使得湖的灵活性、数据种类丰富与仓的可成长性和企业级管理得到有机融合,这是阿里巴巴最佳实践的宝贵资产,是大数据的新一代架构。

3547 0
|
分布式计算 安全 大数据
|
置顶

阿里云MaxCompute为坚韧性系统 — 中国信通院完成首个面向大数据技术产品的混沌测试

随着 2021 年《关键信息基础设施安全保护条例》出台,稳定性已成为各领域客户在功能、性能之外,对大数据技术产品能力评价的重要指标。阿里云MaxCompute大数据平台在13轮不同程度的破坏性测试中,性能水平并未明显下降,被证明为韧性型系统。

1167 0
|
分布式计算 DataWorks Cloud Native
|
置顶

阿里云云原生一体化数仓正式发布  助力企业数据驱动业务创新

云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台。核心是3个一体化和全链路数据治理能力,包括离线实时一体、湖仓一体、分析服务一体、全链路数据治理。

2423 6
|
存储 运维 分布式计算
|
置顶

云原生离线实时一体化数仓建设与实践

本篇内容分享了云原生离线实时一体化数仓建设与实践。 分享人:刘一鸣 Hologres 产品经理

1738 1
|
存储 机器学习/深度学习 SQL
|
置顶

MaxCompute湖仓一体介绍

本篇内容分享了MaxCompute湖仓一体介绍。 分享人:孟硕 阿里云 MaxCompute产品专家

1747 0
|
数据采集 分布式计算 DataWorks
|
置顶

阿里云云原生一体化数仓发布

高雪峰 阿里云计算平台产品与解决方案总经理

1791 0
|
SQL 分布式计算 资源调度
|
置顶

外部工具连接SaaS模式云数仓MaxCompute 实战—— 数据库管理工具篇

本次直播将主要分享MaxCompute查询加速功能、数据库管理工具DBeaver、DataGrip、SQL Workbench/J的部分连接演示。

1377 0
|
SQL 分布式计算 数据可视化
|
置顶

外部工具连接SaaS模式云数据仓库MaxCompute实战——BI分析工具篇

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,帮助企业和大数据开发者经济并高效的分析处理海量数据。

1802 1
|
SQL 资源调度 分布式计算
|
置顶

MaxCompute中如何通过logview诊断慢作业

MaxCompute致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务,在MaxCompute执行sql任务的时候有时候作业会很慢,本文通过查看logview排查具体任务慢的原因

4818 0
|
SQL 分布式计算 Java
|
置顶

UDF精简使用大全

在MaxCompute开发过程中,开发同学遇到的的一些复杂逻辑该如何处理,如何在MaxCompute开发不同场景下的UDF函数?带着这个问题,本文针对UDF的各方面内容做出介绍,其中涉及UDF对应不同语言的类型映射关系、以及对应UDF在重载、访问网络、引用表与资源、以及第三方包的使用为大家做出展示。

6146 0
|
存储 SQL 分布式计算
|
置顶

如何基于MaxCompute快速打通数据仓库和数据湖的湖仓一体实践

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析,将数据高效转换为业务洞察。

1856 0
|
SQL 分布式计算 运维
|
置顶

MaxCompute作业日常监控与运维实践

MaxCompute作业日常监控与运维实践

1732 0
|
SQL 存储 分布式计算
|
置顶

MaxCompute产品消费相关文章合集

MaxCompute (原odps)是面向分析的企业级SaaS模式云数据仓库,以Serverless架构提供全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入。MaxCompute支持多种经典计算模型(批处理、机器学习、交互式分析等)和完善的企业管理功能,借助MaxCompute,用户可轻松集成和管理企业数据资产,简化数据平台架构,加速价值实现。

797 0
|
分布式计算 DataWorks 网络协议
|
置顶

MaxCompute中实现IPv4和IPv6地址归属地转换

大数据平台的成熟使得更多种类的非结构化、半结构化的数据分析成为可能。其中把IP地址转换为归属地又是极为常见的一种场景。本文将介绍在MaxCompute如何根据IPv4和IPv6地址实现归属地转换。

3835 0
|
机器学习/深度学习 人工智能 分布式计算
|
置顶

开放下载!《SaaS模式云数据仓库实践手册》

本书的制作目的在于让MaxCompute帮助企业构建全托管的现代化数仓,简化数据洞察、加速价值实现。

44052 0
|
存储 机器学习/深度学习 分布式计算
|
置顶

持续定义Saas模式云数据仓库+实时搜索

本文由阿里云计算平台事业部 MaxCompute 产品经理孟硕为大家带来《持续定义Saas模式云数据仓库+实时搜索》的相关分享。以下是视频内容精华整理,主要包括以下三个部分:1.Why:概述与价值;2.What:应用场景;3.How:最佳实践。

20444 0
|
机器学习/深度学习 SQL 人工智能
|
置顶

持续定义SaaS模式云数据仓库+AI

本文由阿里云计算平台事业部 MaxCompute 产品经理孟硕为大家带来《持续定义SaaS模式云数据仓库+AI》的相关分享。

11637 0
|
存储 机器学习/深度学习 分布式计算
|
置顶

持续定义SaaS模式云数据仓库+Serverless

本文将为您介绍现代云数据仓库的业务场景与资源使用需求,不同资源交付模式的差异化分析。并结合MaxCompute Serverless的特点及价值来讲解使用MaxCompute Serverless的最佳实践。

11005 0
|
存储 数据采集 分布式计算
|
置顶

持续定义SaaS模式云数据仓库+数据银行

本文将介绍SaaS模式云数据仓库MaxCompute,如何助力数据银行SaaS模式云战略和一体化数据开放场景介绍。

9979 0
|
新零售 分布式计算 DataWorks
|
置顶

持续定义Saas模式云数据仓库+BI

简介:阿里云技术专家海清为大家带来持续定义Saas模式云数据仓库+BI的介绍。内容包括云数据仓库概述,BI使用场景与趋势,基于MaxCompute云数仓+BI的特性,以及实践案例。

7064 0
|
分布式计算 监控 算法
|
置顶

MaxCompute资源管理—— 包年包月资源组隔离

使用基于MaxCompute云数据仓库的企业,由于业务的差异,会创建多project进行数据隔离。同时也因为业务的差异,每个project需要跑的任务量、业务紧急程度等也有差异,因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。

1701 0
|
存储 分布式计算 安全
|
置顶

SaaS 模式云数据仓库 MaxCompute 数据安全最佳实践

MaxCompute作为企业级SaaS模式云数据仓库,正在为客户业务及其数据提供持续的安全保护。 MaxCompute 近期对产品的安全能力进行了全面升级,本文将针对数据误用、数据滥用、数据泄露、数据丢失等典型数据风险场景,结合数据生命周期,为您介绍基 于MaxCompute 和 DataWorks 原生集成安全能力的最佳实践。

1164 0
|
分布式计算 DataWorks 调度
|
置顶

MaxCompute资源管理—— 包年包月资源分时

2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。

1877 0
|
2天前
|

免费HTTP代理IP对业务稳定性的影响关键因素分析

随着互联网发展,使用代理IP的需求增加。免费代理IP虽便捷,但对业务稳定性有负面影响:1. 网络连接不稳定,易中断;2. 频繁更换IP影响业务连续性;3. 性能差,速度慢、响应延迟高;4. 服务质量低,缺乏技术支持且存在不受控的限制。因此,选择代理服务时需谨慎评估其对业务的影响。

30 13
|
3天前
|
缓存 负载均衡 监控
|

HTTP代理服务器在网络安全中的重要性

随着科技和互联网的发展,HTTP代理IP中的代理服务器在企业业务中扮演重要角色。其主要作用包括:保护用户信息、访问控制、缓存内容、负载均衡、日志记录和协议转换,从而在网络管理、性能优化和安全性方面发挥关键作用。

17 2
|
3天前
|
安全 网络协议 网络安全
|

网络不稳定导致HTTP代理频繁掉线的分析

随着数字化时代的加速发展,网络安全、隐私保护及内容访问自由成为用户核心需求。HTTP代理服务器因其独特技术优势受到青睐,但其掉线问题频发。本文分析了HTTP代理服务器不稳定导致掉线的主要原因,包括网络问题、服务器质量、用户配置错误及IP资源问题等方面。

18 0
|
3天前
|
存储 分布式计算 安全
|

MaxCompute Bloomfilter index 在蚂蚁安全溯源场景大规模点查询的最佳实践

MaxCompute 在11月最新版本中全新上线了 Bloomfilter index 能力,针对大规模数据点查场景,支持更细粒度的数据裁剪,减少查询过程中不必要的数据扫描,从而提高整体的查询效率和性能。

23 3
|
4天前
|
数据采集 监控 定位技术
|

探讨代理IP使用中用户体验差异的原因

在信息化时代,互联网已成为生活的重要部分。使用HTTP代理IP的应用日益增多,但不同用户的代理IP有效率却各不相同。本文介绍了影响代理IP有效率的几个方面,包括代理服务器的性能与稳定性、IP资源质量、目标网站的防护策略和负载情况,以及用户使用时的并发请求控制和网络环境稳定性。通过选择高质量代理、使用就近服务器、定期轮换IP和监控代理池,可以提高代理IP的使用效率。

25 10
|
5天前
|
网络安全 数据安全/隐私保护 UED
|

HTTP代理稳定性大作战长效和短效的实力较量

随着数字化时代的发展,网络安全和隐私保护成为核心需求。本文对比了长效和短效HTTP代理在连接稳定性、服务可用性、出错率及网络延迟稳定性方面的表现,帮助用户更好地选择适合的代理类型。

32 9
|
5天前
|
负载均衡 监控 定位技术
|

HTTP代理网速变慢的原因及优化策略

随着互联网技术的发展,使用HTTP动态代理IP的人越来越多。本文介绍了HTTP代理网速变慢的六个常见原因及解决方法,包括代理服务器的地理位置、带宽、服务器负载、网络拥塞、配置问题和数据加密解密时间。通过识别和解决这些问题,可以有效提升HTTP代理的网速。

28 10
|
6天前
|
数据采集 安全 定位技术
|

使用代理IP爬虫时数据不完整的原因探讨

在信息化时代,互联网成为生活的重要部分。使用HTTP代理爬取数据时,可能会遇到失败情况,如代理IP失效、速度慢、目标网站策略、请求频率过高、地理位置不当、网络连接问题、代理配置错误和目标网站内容变化等。解决方法包括更换代理IP、调整请求频率、检查配置及目标网站变化。

35 11
|
9天前
|
定位技术 数据安全/隐私保护
|

如何评估HTTP代理IP的性能?

随着互联网技术的发展,使用代理IP的人越来越多。选择HTTP代理IP时,需注意速度和稳定性、用户信息保护、地域性、带宽上限、支持的协议、客户支持、用户评价和信誉、价格和性价比等方面。希望这些建议能帮助大家做出合适的选择。

28 1
我要发布