AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

基于DLF构建实时数据湖

2026-02-14 158
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： DLF

DLF产品的核心价值


  1. 管理和优化：
  • 湖表管理和优化
  • 统一元数据，引擎平权访问
  • 存储数据冷热分层


  1. 企业级安全：
  • 细粒度权限管控、列级权限、多引擎复用统一权限
  • 数据跨主账号共享
  • 访问日志、审计日志等


  1. 低成本：
  • 高效湖表优化降低计算成本
  • IO吞吐优化降低IO成本
  • 智能存储优化降低存储成本和Paimon上手成本


  1. 多模态：
  • 文本，图像，视频，音频，多模态数据
  • 支持Table视图和File视图




文章标签：
开源大数据平台 E-MapReduce
存储
安全
墨祤
目录
相关文章
墨祤
|
4月前
|
存储 人工智能 分布式计算
阿里云DLF 3.0：面向AI时代的智能全模态湖仓管理平台
在2025年云栖大会，阿里云发布DLF 3.0，升级为面向AI时代的智能全模态湖仓管理平台。支持结构化与非结构化数据统一管理，实现秒级实时处理、智能存储优化与细粒度安全控制，助力企业高效构建Data+AI基础设施。
墨祤
1684 3
云计算小作者一枚
|
16天前
|
弹性计算 云计算 对象存储
阿里云轻量应用服务器38元一年抢购地址，云服务器性能、适用场景与抢购规则
阿里云2026年特价活动中，轻量应用服务器以38元/年的价格成为个人开发者、初创企业及学生群体的理想选择。该服务器配置为2核2G 200M带宽，具备极速部署、预置丰富环境、管理便捷及成本极致优势，适用于个人博客、企业展示官网、电商独立站等场景。用户需定时抢购，并遵循相关购买与续费规则，整体上，这是一款高性价比的入门级云服务器产品。
云计算小作者一枚
334 7
扬流
|
关系型数据库 MySQL BI
用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享
本文从用友畅捷通公司介绍及业务背景；数据仓库技术选型、实际案例及未来规划等方面，分享了用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓的实战经验。
扬流
1838 0
用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享
游客ia4quza4dsxys
|
17天前
|
SQL 人工智能 安全
从企业微信“养龙虾”说起：个人开发者的AI工具选型思考
“龙虾”（OpenClaw）是2026年爆火的开源AI智能体，主打“真能干活”，支持跨应用自动化操作；但其通用性带来稳定性与工程适配短板。相较之下，飞算JavaAI专业版聚焦IDE内垂直提效，提供高采纳率代码生成、老项目理解、安全修复等10大工具，9.9元/月起，更适配Java开发者真实生产力需求。（239字）
游客ia4quza4dsxys
192 3
灵杰开发者
|
5月前
|
存储 分布式计算 运维
云栖实录｜驰骋在数据洪流上：Flink+Hologres驱动零跑科技实时计算的应用与实践
零跑科技基于Flink构建一体化实时计算平台，应对智能网联汽车海量数据挑战。从车机信号实时分析到故障诊断，实现分钟级向秒级跃迁，提升性能3-5倍，降低存储成本。通过Flink+Hologres+MaxCompute技术栈，打造高效、稳定、可扩展的实时数仓，支撑100万台量产车背后的数据驱动决策，并迈向流批一体与AI融合的未来架构。
灵杰开发者
410 3
云栖实录｜驰骋在数据洪流上：Flink+Hologres驱动零跑科技实时计算的应用与实践
墨祤
|
1月前
|
存储 分布式计算 OLAP
数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
人力家资深数据工程师石玉阳（Thorne），Flink-CDC Contributor，分享其公司湖仓一体实践：以Paimon为数据基座、StarRocks为OLAP引擎、Flink+Fluss实现湖流融合，打通离线/实时/增量计算，支持多模态与DATA+AI演进，构建开放、统一、可持续的大数据架构。（239字）
墨祤
178 2
墨祤
|
1月前
|
存储 运维 分布式计算
诗悦游戏基于DLF与EMR StarRocks降本38%
诗悦网络（2014年成立）是千人规模的研运一体手游公司，代表作有《长安幻想》《永夜降临》等。为支撑PB级开放世界新游《望月》，其原半托管StarRocks数据平台面临高成本、难运维、稳定性差等痛点。阿里云以Serverless StarRocks+DLF Paimon数据湖方案实现存算分离、多租户隔离与全托管运维，总成本降38%，查询性能提升40%+，RPO=0，全面赋能实时/近实时/离线场景。
墨祤
172 3
墨祤
|
DataWorks 数据挖掘 Serverless
阿里云EMR Serverless StarRocks 内容合集
阿里云 EMR StarRocks 提供存算分离架构，支持实时湖仓分析，适用于多种 OLAP 场景。结合 Paimon 与 Flink，助力企业高效处理海量数据，广泛应用于游戏、教育、生活服务等领域，显著提升数据分析效率与业务响应速度。
墨祤
510 0
灵杰开发者
|
SQL OLAP API
微财基于 Flink 构造实时变量池
本文整理自微财资深数据开发工程师穆建魁老师在 Flink Forward Asia 2024 行业解决方案（一）专场中的分享。主要涵盖三部分内容：1) 基于 Flink 构建实时变量池，解决传统方案中数据库耦合度高、QPS 上限低等问题；2) 选择 Flink 进行流式计算的架构选型（Kappa 架构）及开发效率提升策略，通过数据分层优化开发流程；3) 实时变量池架构与多流关联优化实践，确保高效处理和存储实时变量，并应用于公司多个业务领域。
灵杰开发者
794 4
微财基于 Flink 构造实时变量池
灵杰开发者
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享，主要涵盖四个方面：鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖，解决了Hudi入湖的痛点，并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外，还探讨了湖仓一体平台的落地效果及未来技术发展方向，包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
灵杰开发者
1653 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    现代流式计算的基石：Google DataFlow
  • 4
    如何使用Kafka Connect实现同步RDS binlog数据
  • 5
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 6
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 7
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 8
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 9
    HIVE MapJoin异常问题处理总结
  • 10
    首次揭秘|为6.4亿人次出行提供无线网络的技术架构
  • 1
    诗悦游戏基于DLF与EMR StarRocks降本38%
    172
  • 2
    基于DLF构建实时数据湖
    158
  • 3
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    178
  • 4
    淘宝闪购基于阿里云 EMR Serverless Spark&Paimon的湖仓实践：超大规模下的特征生产&多维分析双提效
    297
  • 5
    有奖实践：EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
    509
  • 6
    大模型RAG实战：从零搭建专属知识库问答助手
    795
  • 7
    大模型微调技术入门：从核心概念到实战落地全攻略
    582
  • 8
    活动报名 | Apache Spark Meetup · 上海站，助力企业构建高效数据平台
    273
  • 9
    0 基础建站？PageAdmin CMS 10 分钟搞定，源码免费拿！
    538
  • 10
    EMR AI助手开启公测：用AI重塑大数据运维，更简单、更智能
    351

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    狂揽7.5k星！这款开源API网关彻底解放开发者：一键聚合GPT-4、Suno、Midjourney，还能在线充值！