# 云原生大数据计算服务 MaxCompute #
0
关注
37995内容
Parquet 文件格式详解与实战 | AI应用开发
Parquet 是一种列式存储文件格式，专为大规模数据处理设计，广泛应用于 Hadoop 生态系统及其他大数据平台。本文介绍 Parquet 的特点和作用，并演示如何在 Python 中使用 Pandas 库生成和读取 Parquet 文件，包括环境准备、生成和读取文件的具体步骤。【10月更文挑战第13天】
大数据中数据清洗 (Data Cleaning)
【10月更文挑战第17天】
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容，旨在帮助读者全面了解并应对相关技术挑战。
大数据中数据存储 (Data Storage)
【10月更文挑战第17天】
C#与Java
在动态且不断发展的软件开发世界中，Java 和 C# 是两个巨头，每个都有自己独特的优势、理念和生态系统。本文深入比较了 Java 和 C#，探讨了它们的历史背景、语言特性、性能指标、跨平台功能等。
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。这种模式涉及对象（如用户、账户、商品等）及其相关的事件记录，通过这些事件数据可以进行各种统计分析，如漏斗分析、交易次数统计等。然而，SQL 在处理这类任务时表现不佳，特别是在有序计算方面。SPL 作为一种强化离散性和有序集合的语言，能够高效地处理这类计算，避免了大表 JOIN 和大结果集 GROUP BY 的性能瓶颈。通过按 ID 排序和分步计算，SPL 能够显著提高计算效率，并支持实时数据处理。
Java EasyExcel 导出报内存溢出如何解决
大家好，我是V哥。使用EasyExcel进行大数据量导出时容易导致内存溢出，特别是在导出百万级别的数据时。以下是V哥整理的解决该问题的一些常见方法，包括分批写入、设置合适的JVM内存、减少数据对象的复杂性、关闭自动列宽设置、使用Stream导出以及选择合适的数据导出工具。此外，还介绍了使用Apache POI的SXSSFWorkbook实现百万级别数据量的导出案例，帮助大家更好地应对大数据导出的挑战。欢迎一起讨论！
免费试用