# 开源大数据平台 E-MapReduce #
0
关注
1511内容
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
阿里云OpenLake解决方案建立在开放可控的OpenLake湖仓之上，提供大数据搜索与AI一体化服务。通过元数据管理平台DLF管理结构化、半结构化和非结构化数据，提供湖仓数据表和文件的安全访问及IO加速，并支持大数据、搜索和AI多引擎对接。本文为您介绍以Flink作为Openlake方案的核心计算引擎，通过流式数据湖仓Paimon（使用DLF 2.0存储）和EMR StarRocks搭建流式湖仓。
大数据& AI 产品月刊【2024年11月】
大数据& AI 产品技术月刊【2024年11月】，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据& AI 方面最新动态。
Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析
定性上讲，三者均为 Data Lake 的数据存储中间层，其数据管理的功能均是基于一系列的 meta 文件。meta 文件的角色类似于数据库的 catalog/wal，起到 schema 管理、事务管理和数据管理的功能。
大数据&AI产品月刊【2024年9月】
大数据& AI 产品技术月刊【2024年9月】，涵盖本月技术速递、2024云栖大会实录、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据& AI 方面最新动态。
降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本，该版本不仅基于开源 StarRocks 进行了全面优化，实现了存储与计算解耦架构，还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。
阿里巴巴的通义千问大模型
阿里巴巴通义千问是基于Transformer的大型语言模型，预训练于多样化数据集，支持18亿至720亿参数规模。在多模态英文任务中表现出色，且具备多语言对话及图片文本识别能力。可应用于搜索引擎、问答系统和对话交互，提供智能体验。然而，模型在逻辑题和指令理解上存在不足，需在特定领域进行优化。
拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。用户上传图片后，系统能快速匹配相似商品，提供精准搜索结果，并根据用户历史推荐个性化商品，简化购物流程。开发者需注册账号并获取API Key，授权权限后调用接口，返回商品详细信息如ID、标题、价格等。使用时需遵守频率限制，确保图片质量，保障数据安全。
Delta Lake，让你从复杂的Lambda架构中解放出来
Linux 基金会的 Delta Lake（Delta.io）是一个给数据湖提供可靠性的开源存储层软件。在 QCon 全球软件开发大会（上海站）2019 的演讲中，Databricks 公司的 Engineering Manager 李潇带我们了解了 Delta Lake 在实际生产中的应用与实践以及未来项目规划，本文便整理自此次演讲。
Paimon 与 Spark 的集成（二）：查询优化
通过一系列优化，我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%，已基本和 Parquet x Spark 持平，本文对其中的关键优化点进行了详细介绍。
云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
阿里云 OpenLake 解决方案重磅发布，构建大数据、搜索、AI 一体化的能力体系，实现多模态数据统一纳管、多种计算引擎平权计算、大数据 AI 一体化开发，助力企业基于数据资产构筑竞争力。
免费试用