大数据计算 MaxCompute

PyODPS，拥有对于Python用户传统的数据分析和机器学习愉快的体验，包括了DataFrame框架和机器学习模块，它们类似于pandas+scikit-learn，能用它们进行数据分析、绘图、机器学习等等。

Serverless 架构旨在将应用开发者从底层基础设施的运维中解放出来，更加专注于业务价值的实现上,这种思想对于大数据应用尤其适用,数据科学家更需要投入到数据价值的探索和挖掘上。本文讲述了数据平台如何利用Serverless 的架构来降低大数据应用的门槛，真正的实现普惠大数据。

觉得裸用MaxCompute（原ODPS）门槛较高？想做数据开发，却苦于没有好的管理工具？想体验Data IDE觉得前期准备工作太长，欢迎进入大数据体验馆，快速开启体验：https://data.aliyun.com/experience

想了解如何搭建一个好的数据仓库？来听听阿里云高级技术专家-李金波 有何建议？精彩不容错过哦！

PyOdps 0.4版本，DataFrame API支持使用pandas进行本地计算，用户因此能join ODPS和本地数据，也能进行本地debug，另外还有MapReduce API等新特性

无需注册云账号，零成本立即体验 MaxCompute 大数据分析，访问 http://notebook.odps.online

PyOdps正式发布DataFrame框架（此处应掌声经久不息），DTer的福音！有了它，就像卷福有了花生，比翼双飞，哦不，如虎添翼。 快过年了，大家一定没心情看长篇大论的分析文章。作为介绍PyOdps DataFrame的开篇文章，我只说说其用起来爽的地方。其余的部分，从使用、问题到实现原理，我

在处理数组去重问题时，使用 `Set` 和 `Object` 哈希表是高效的解决方案。它们基于哈希表实现，插入和查找操作的时间复杂度为 `O(1)`，相比传统嵌套循环的 `O(n²)` 方法性能优势显著。`Set` 能保持元素插入顺序，适用于需要顺序的场景；`Object` 则通过键的唯一性实现去重，适合无需顺序的场景。两者均能在大规模数据中实现高效的去重操作，是数组去重最优选择。

本系列文章将围绕东南亚头部科技集团的真实迁移历程展开，逐步拆解 BigQuery 迁移至 MaxCompute 过程中的关键挑战与技术创新。本篇为第一篇，跨国数仓迁移背后 MaxCompute 的统一存储格式创新。 注：客户背景为东南亚头部科技集团，文中用 GoTerra 表示。

MaxCompute 在11月最新版本中全新上线了 Bloomfilter index 能力，针对大规模数据点查场景，支持更细粒度的数据裁剪，减少查询过程中不必要的数据扫描，从而提高整体的查询效率和性能。

本文主要介绍了在MaxCompute JDBC 2.0 beta 之后就易用性方面对配置相关变更的说明

本手册为云栖大会Workshop之《在线用户行为分析：基于流式计算的数据处理及应用》场的《流数据处理：通过StreamSQL分析用户行为》篇所需。主要帮助现场学员熟悉并掌握阿里云流计算StreamCompute的操作和使用。

本文主要针对于在使用MaxCompute开发过程中，对MaxCompute账号授权、外部表操作及元数据查询等相关问题做一个简单的介绍。