AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

基于DLF构建实时数据湖

2026-02-14 116
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： DLF

DLF产品的核心价值


  1. 管理和优化：
  • 湖表管理和优化
  • 统一元数据，引擎平权访问
  • 存储数据冷热分层


  1. 企业级安全：
  • 细粒度权限管控、列级权限、多引擎复用统一权限
  • 数据跨主账号共享
  • 访问日志、审计日志等


  1. 低成本：
  • 高效湖表优化降低计算成本
  • IO吞吐优化降低IO成本
  • 智能存储优化降低存储成本和Paimon上手成本


  1. 多模态：
  • 文本，图像，视频，音频，多模态数据
  • 支持Table视图和File视图




文章标签：
开源大数据平台 E-MapReduce
存储
安全
墨祤
目录
相关文章
墨祤
|
4月前
|
存储 人工智能 分布式计算
阿里云DLF 3.0：面向AI时代的智能全模态湖仓管理平台
在2025年云栖大会，阿里云发布DLF 3.0，升级为面向AI时代的智能全模态湖仓管理平台。支持结构化与非结构化数据统一管理，实现秒级实时处理、智能存储优化与细粒度安全控制，助力企业高效构建Data+AI基础设施。
墨祤
1489 3
modelscope
|
23天前
|
数据采集 人工智能 达摩院
达摩院开源RynnBrain：首个支持移动操作的具身大脑基础模型
达摩院发布首个可移动操作的具身基础模型RynnBrain，首创时空记忆与物理空间推理能力，支持视频/图像/文本多模态输入及区域、轨迹等具身输出。开源MOE架构RynnBrain-30B-A3B（仅3B激活参数），在16项基准全面SOTA，并推出全新评测集RynnBrain-Bench。
modelscope
244 8
扬流
|
关系型数据库 MySQL BI
用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享
本文从用友畅捷通公司介绍及业务背景；数据仓库技术选型、实际案例及未来规划等方面，分享了用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓的实战经验。
扬流
1806 0
用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享
大模型玩家七七
|
19天前
|
安全 C++
关系记忆不是越完整越好：chunk size 的隐性代价
本文揭示关系型RAG（如祝福/道歉生成）中一个反直觉真相：关系信息并非越完整越好。大chunk会将“可引用的触发点”异化为“需总结的材料”，诱使模型转向安全、抽象、概括性表达，丧失走心感。核心原则是——切分重在“可被直接引用”，而非“逻辑完整”。
大模型玩家七七
320 11
YUNYEYE
|
23天前
|
人工智能 弹性计算 运维
小白也能上手！阿里云推出 OpenClaw 极速简易部署方案
阿里云OpenClaw是开源本地优先AI智能体平台，支持邮件处理、周报生成、资料查询、代码编写等任务，数据全留本地，保障隐私。技术小白也能通过阿里云轻量服务器“一键部署”，几分钟即可拥有专属AI数字员工。
YUNYEYE
218 15
Serverless小助手
|
23天前
|
人工智能 安全 Serverless
让 AI Agent 安全“跑”在云端：基于函数计算打造 Agent 代码沙箱
阿里云函数计算FC基于轻量级安全沙箱，为AI Agent提供强隔离、可管控、按需计费的代码执行环境。支持MCP/Session亲和/有状态会话等能力，实现毫秒级弹性、冷启动预热与空闲期低成本保活，助力构建高密、安全、经济的Agent运行时。
Serverless小助手
201 4
Echo_Wish
|
26天前
|
运维 Kubernetes 安全
CNI 不是装完就完事：Calico、Cilium、Weave，选错一个，集群网络天天加班
CNI 不是装完就完事：Calico、Cilium、Weave，选错一个，集群网络天天加班
Echo_Wish
165 8
小攻云攻略
|
3天前
|
Serverless
阿里云产品二月刊来啦
千问 Qwen3.5-Plus 重磅登场，百炼 Coding Plan 支持多款开闭源模型，桌面 Agent 工具 CoPaw 开源，函数计算 AgentRun 重磅上线知识库功能｜产品二月刊
小攻云攻略
180 6
modelscope
|
22天前
|
机器学习/深度学习 并行计算 算法
LLaDA2.1 正式开源，可纠错编辑机制让 100B 扩散模型突破 892 TPS 速度极限
蚂蚁研究院发布LLaDA2.1，首创“可纠错编辑（ECE）”机制，突破扩散语言模型（dLLM）速度与质量瓶颈：推理达892 TPS，支持极速/质量双模式，并集成业界首个dLLM强化学习框架EBPO。开源即用，迈向真正可用的下一代大模型。
modelscope
189 6
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    现代流式计算的基石：Google DataFlow
  • 4
    如何使用Kafka Connect实现同步RDS binlog数据
  • 5
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 6
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 7
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 8
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 9
    HIVE MapJoin异常问题处理总结
  • 10
    漫谈分布式计算框架
  • 1
    诗悦游戏基于DLF与EMR StarRocks降本38%
    120
  • 2
    基于DLF构建实时数据湖
    116
  • 3
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    127
  • 4
    淘宝闪购基于阿里云 EMR Serverless Spark&Paimon的湖仓实践：超大规模下的特征生产&多维分析双提效
    210
  • 5
    有奖实践：EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
    386
  • 6
    大模型RAG实战：从零搭建专属知识库问答助手
    581
  • 7
    大模型微调技术入门：从核心概念到实战落地全攻略
    431
  • 8
    活动报名 | Apache Spark Meetup · 上海站，助力企业构建高效数据平台
    258
  • 9
    0 基础建站？PageAdmin CMS 10 分钟搞定，源码免费拿！
    472
  • 10
    EMR AI助手开启公测：用AI重塑大数据运维，更简单、更智能
    321

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    ECS账号安全防护最佳实践