# 开源大数据平台 E-MapReduce #
0
关注
1512内容
Delta Lake，让你从复杂的Lambda架构中解放出来
Linux 基金会的 Delta Lake（Delta.io）是一个给数据湖提供可靠性的开源存储层软件。在 QCon 全球软件开发大会（上海站）2019 的演讲中，Databricks 公司的 Engineering Manager 李潇带我们了解了 Delta Lake 在实际生产中的应用与实践以及未来项目规划，本文便整理自此次演讲。
自适应查询执行AQE：在运行时加速SparkSQL
SPARK+AI SUMMIT 2020中文精华版线上峰会将会带领大家一起回顾2020年的SPARK又产生了怎样的最佳实践，技术上取得了哪些突破，以及周边的生态发展。本文是阿里巴巴云智能平台事业部王道远关于Spark3.0中自适应查询执行（AQE）的相关介绍。以下由Spark+AI Summit中文精华版峰会的精彩内容整理。
数据湖揭秘—Delta Lake
Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark，Flink，Hive，PrestoDB，Trino 等查询/计算引擎。作为一个开放格式的存储层，它在提供了批流一体的同时，为湖仓架构提供可靠的，安全的，高性能的保证。
DB-GPT v0.6.0 版本更新，发布六大核心新特性！
DB-GPT v0.6.0 版本已发布，这是一个开源的AI原生数据应用开发框架，带来了多项新特性，包括AWEL协议升级至2.0，支持复杂编排；改进的数据应用创建与生命周期管理，支持多模式构建；GraphRAG增强图社区摘要与混合检索，图索引成本降低50%；丰富的Agent Memory类型；支持Text2NLU与Text2GQL微调；GPT-Vis前端可视化升级。这些更新助力企业快速构建智能数据应用，推动数字化转型。
不是吧？这么好用的开源标注工具，竟然还有人不知道…
LabelU是一款专为AI项目设计的强大多模态数据标注工具，支持图像、视频、音频等多样化数据类型。它提供灵活的标注工具与自定义配置选项，让用户根据需求定制高效标注流程。特色功能包括一键载入预标注结果以简化修正工作，以及支持JSON、COCO等多种格式的导出选项。LabelU既可本地部署确保数据安全，也提供在线版本方便快速上手。此外，OpenDataLab还开源了Label-LLM对话标注工具和MinerU文档处理工具，进一步丰富了数据准备的工作流。欢迎访问[LabelU](https://github.com/opendatalab/labelU)了解更多详情，并为这些优秀工具点赞支持！
阿里云 EMR StarRocks VS 开源版本功能差异介绍
阿里云 E-MapReduce Serverless StarRocks 版是阿里云提供的 Serverless StarRocks 全托管服务，提供高性能、全场景、极速统一的数据分析体验，具备开箱即用、弹性扩展、监控管理、慢 SQL 诊断分析等全生命周期能力。内核 100% 兼容 StarRocks，性能比传统 OLAP 引擎提升 3-5 倍，助力企业高效构建大数据应用。本篇文章重点介绍阿里云 EMR StarRocks 与开源 StarRocks 的对比与客户案例。
数据湖架构及概念简介
本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。
EMR Serverless StarRocks 5000CU*时免费试用——体验极致性能和全面 OLAP 分析
EMR Serverless StarRocks 5000CU*H 计算资源，48000GB*H存储资源免费试用进行中，提供极致的性能和丰富的 OLAP 场景模型，包括 OLAP 多维分析、数据湖分析、高并发查询以及实时数据分析，快来体验吧！
SparkSQL与Hive metastore Parquet转换
Spark SQL为了更好的性能，在读写Hive metastore parquet格式的表时，会默认使用自己的Parquet SerDe，而不是采用Hive的SerDe进行序列化和反序列化
使用Databricks+Mlflow进行机器学习模型的训练和部署【Databricks 数据洞察公开课】
介绍如何使用Databricks和MLflow搭建机器学习生命周期管理平台，实现从数据准备、模型训练、参数和性能指标追踪、以及模型部署的全流程。
免费试用