AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

基于DLF构建实时数据湖

2026-02-14 394
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： DLF

DLF产品的核心价值


  1. 管理和优化：
  • 湖表管理和优化
  • 统一元数据，引擎平权访问
  • 存储数据冷热分层


  1. 企业级安全：
  • 细粒度权限管控、列级权限、多引擎复用统一权限
  • 数据跨主账号共享
  • 访问日志、审计日志等


  1. 低成本：
  • 高效湖表优化降低计算成本
  • IO吞吐优化降低IO成本
  • 智能存储优化降低存储成本和Paimon上手成本


  1. 多模态：
  • 文本，图像，视频，音频，多模态数据
  • 支持Table视图和File视图




文章标签：
开源大数据平台 E-MapReduce
存储
安全
墨祤
目录
相关文章
墨祤
|
8月前
|
存储 分布式计算 OLAP
数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
人力家资深数据工程师石玉阳（Thorne），Flink-CDC Contributor，分享其公司湖仓一体实践：以Paimon为数据基座、StarRocks为OLAP引擎、Flink+Fluss实现湖流融合，打通离线/实时/增量计算，支持多模态与DATA+AI演进，构建开放、统一、可持续的大数据架构。（239字）
墨祤
569 2
墨祤
|
8月前
|
存储 运维 分布式计算
诗悦游戏基于DLF与EMR StarRocks降本38%
诗悦网络（2014年成立）是千人规模的研运一体手游公司，代表作有《长安幻想》《永夜降临》等。为支撑PB级开放世界新游《望月》，其原半托管StarRocks数据平台面临高成本、难运维、稳定性差等痛点。阿里云以Serverless StarRocks+DLF Paimon数据湖方案实现存算分离、多租户隔离与全托管运维，总成本降38%，查询性能提升40%+，RPO=0，全面赋能实时/近实时/离线场景。
墨祤
557 3
阿里云大数据
|
9月前
|
分布式计算 Serverless 测试技术
有奖实践：EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
免费试用 EMR Serverless StarRocks 与 EMR Serverless Spark，体验“实时分析冠军”与“批处理之神”的极致性能表现！
阿里云大数据
922 2
有奖实践：EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
阿里云大数据
|
8月前
|
存储 分布式计算 数据建模
淘宝闪购基于阿里云 EMR Serverless Spark&Paimon的湖仓实践：超大规模下的特征生产&多维分析双提效
本文介绍阿里云 Serverless Spark + Paimon 在淘宝闪购大数据湖仓场景的应用。
阿里云大数据
1020 2
墨祤
|
11月前
|
存储 人工智能 分布式计算
阿里云DLF 3.0：面向AI时代的智能全模态湖仓管理平台
在2025年云栖大会，阿里云发布DLF 3.0，升级为面向AI时代的智能全模态湖仓管理平台。支持结构化与非结构化数据统一管理，实现秒级实时处理、智能存储优化与细粒度安全控制，助力企业高效构建Data+AI基础设施。
墨祤
2801 3
阿里云大数据
|
6月前
|
存储 分布式计算 运维
迅雷基于阿里云 EMR Serverless Spark 实现数仓资源效率与业务提升
迅雷基于阿里云 EMR Serverless Spark 实现数仓资源效率与业务提升，在迁移到 EMR Serverless Spark 之后，TCO 明显下降，平台按作业生命周期弹性拉起与回收，只为实际消耗付费；同时，托管化带来了稳定性与调度效率提升；更关键的是交付确定性提升，大作业整体可提速约 1 小时，报表链路从长尾波动变成更可控的出数节奏。
阿里云大数据
512 4
灵杰开发者
|
存储 Rust Go
介绍一下这只小水獭 —— Fluss Logo 背后的故事
Fluss是一款开源流存储项目，致力于为Lakehouse架构提供高效的实时数据层。其全新Logo以一只踏浪前行的小水獭为核心形象，象征流动性、适应性和友好性。水獭灵感源于“Fluss”德语中“河流”的含义，传递灵活与亲和力。经过30多版设计迭代，最终呈现动态活力的视觉效果。Fluss计划捐赠给Apache软件基金会，目前已开启孵化提案。社区还推出了系列周边礼品，欢迎加入钉钉群109135004351参与交流！
灵杰开发者
1248 3
介绍一下这只小水獭 —— Fluss Logo 背后的故事
墨祤
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集：万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台，致力于通过埋点、采集、计算构建流量数据闭环，助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战，平台采用Flink+Paimon+StarRocks技术方案，实现高吞吐写入与秒级查询，优化存储成本与扩展性，提升日志分析效率。
墨祤
1664 1
实时数仓Hologres团队
|
存储 消息中间件 分布式计算
Hologres实时数仓在B站游戏的建设与实践
本文介绍了B站游戏业务中实时数据仓库的构建与优化过程。为满足日益增长的数据实时性需求，采用了Hologres作为核心组件优化传统Lambda架构，实现了存储层面的流批一体化及离线-实时数据的无缝衔接。文章详细描述了架构选型、分层设计（ODS、DWD、DIM、ADS）及关键技术挑战的解决方法，如高QPS点查、数据乱序重写等。目前，该实时数仓已广泛应用于运营分析、广告投放等多个场景，并计划进一步完善实时指标体系、扩展明细层应用及研发数据实时解析能力。
实时数仓Hologres团队
1150 0
Hologres实时数仓在B站游戏的建设与实践
灵杰开发者
|
11月前
|
存储 SQL 缓存
Delta Join：为超大规模流处理实现计算与历史数据解耦
Delta Join（FLIP-486）是Flink流式Join的范式革新，通过将历史数据存储与计算解耦，实现按需查询外部存储（如Fluss、Paimon），避免状态无限增长。它解决了传统Join在高基数场景下的状态爆炸问题，显著降低资源消耗：状态减少50TB，成本降10倍，Checkpoint从小时级缩短至秒级，恢复速度提升87%。兼容标准SQL，自动优化转换，适用于海量数据实时关联场景，推动流处理迈向高效、稳定、可扩展的新阶段。
灵杰开发者
993 1
Delta Join：为超大规模流处理实现计算与历史数据解耦
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    如何使用Kafka Connect实现同步RDS binlog数据
  • 4
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 5
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 6
    HIVE MapJoin异常问题处理总结
  • 7
    漫谈分布式计算框架
  • 8
    阿里封神-大数据处理技术漫谈
  • 9
    5W1H(六何分析法)全景洞察大数据
  • 10
    玩转阿里云EMR三部曲-中级篇 集成自有服务
  • 1
    EMR Serverless Daft 算子市场免费公测｜10分钟极速实战（附视频教程）
    185
  • 2
    EMR Serverless StarRocks AI Function构建智能驾驶训练数据管理平台
    211
  • 3
    淘天集团基于 Fluss、Paimon 与 StarRocks 构建湖流一体数据链路
    247
  • 4
    EMR Serverless Spark AI Function 的双维降本实践
    205
  • 5
    【直播】StarRocks Stella 2.0 发布｜具身行业训练数据圈选实战
    234
  • 6
    活动报名 | Agentic Lakehouse Meetup · 北京站，从开源技术创新到多模态数据智能化
    414
  • 7
    基于 StarRocks提效多模态工单标注与舆情研判的实践
    250
  • 8
    EMR Serverless Spark PB级文本语义去重4倍加速的技术方案解读
    324
  • 9
    分链路差异化设计的DSP准实时数仓｜钛动科技基于阿里云实时计算 Flink 版 + DLF Paimon + EMR Serverless StarRocks 的实践
    268
  • 10
    阿里云 EMR Serverless StarRocks（Stella 2.2.0）发布：多模态处理与分析闭环，内表与湖表统一检索
    523

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！