类目筛选
2024-05-15
116
跨节点参数的缘起与今生
Dataphin v3.13引入了跨节点参数功能，允许任务间传递消息。输出节点（如SQL、Shell、Python任务）能输出参数，输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括：金融企业的币种转换，其中汇率任务（输出节点）提供汇率，转换任务（输入节点）使用该汇率；以及产品目录更新检查，通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数，并在运维中进行补数据操作。
116
2024-05-15
118274
DataphinV3.14全新升级：数据研发突破全域覆盖，资产治理更加灵活可控
DataphinV3.14支持传统数据库调用，带来全新高效研发体验，及时全面的数据保护、自定义监控和审批让数据治理更灵活自由。
118,274
2023-02-21
729
FlinkSQL 的行级权限解决方案及源码
FlinkSQL的行级权限解决方案及源码，支持面向用户级别的行级数据访问控制，即特定用户只能访问授权过的行，隐藏未授权的行数据。此方案是实时领域Flink的解决方案，类似离线数仓Hive中Ranger Row-level Filter方案。
729
2024-05-15
86
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
86
2024-05-15
134
开源Flink迁移至实时计算Flink全托管版最佳实践
Flink全托管产品（Flink Serverless）是一款基于Apache Flink构建的全托管产品，为您提供全托管一站式的实时计算服务，具有免运费、高增值、低成本等特性。本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
134
