瓴羊Dataphin_社区达人页

2025年08月

• 08.13 11:10:34
  发表了文章 2025-08-13 11:10:34

  Dataphin功能Tips系列（70）自定义菜单：构建一站式数据管理平台

  Dataphin通过自定义菜单功能，支持嵌入企业其他平台URL，实现统一的数据开发与管理平台，提升团队协作效率。
• 08.13 11:09:08
  发表了文章 2025-08-13 11:09:08

  Dataphin功能Tips系列（69）数据资产如何快捷对接Qucik BI进行分析消费

  QuickBI与Dataphin集成，实现数据权限统一管理，简化用户从权限申请到仪表板创建的流程，提升数据消费效率，保障数据安全，加速数据价值转化。
• 08.07 11:01:12
  发表了文章 2025-08-07 11:01:12

  【产品升级】Dataphin V5.2 全新上线：四大能力升级，数据管理更统一、更智能！

  Dataphin是阿里巴巴推出的数据建设与治理平台，提供全链路数据服务，助力企业构建标准化数据资产体系。V5.2版本新增“数据资产一站式运营平台”，引入X-数据管家、X-ETL等智能应用，提升数据运营效率。开发平台全面升级，支持多云复杂环境，强化API行级权限管控，保障数据安全。新版还适配国际化多时区场景，助力企业高效协同，释放数据价值。

2025年07月

• 07.29 10:07:04
  发表了文章 2025-07-29 10:07:04

  Dataphin功能Tips系列（68）如何配置业务指标关系图

  Dataphin推出“业务指标关系图”功能，通过可视化方式直观展示业务指标拆解关系，帮助技术人员与业务人员快速对齐指标口径，提升开发效率。以GMV为例，用户可在系统中新建指标、添加关联指标并配置关系表达式，系统自动生成多层级关系图，便于理解和协作，实现指标开发透明化与一致性。
• 07.29 10:01:54
  发表了文章 2025-07-29 10:01:54

  Dataphin功能Tips系列（67）如何将BI报表纳入资产管理

  Dataphin通过采集BI报表元数据，实现报表资产的信息完善与上架管理，助力企业构建统一的数据资产门户。以QuickBI为例，介绍如何配置应用系统、创建采集任务，并实现报表资产的统一管理与跳转分析。
• 07.22 13:52:42
  发表了文章 2025-07-22 13:52:42

  Dataphin x Iceberg 开箱即用的数据湖治理解决方案

  Apache Iceberg作为新一代开源数据湖表格式，具备ACID事务、时间旅行和高效Schema演化等能力。Dataphin已完成与Iceberg的深度集成，通过全链路适配与性能优化，为企业提供开箱即用的数据湖治理方案，涵盖数据源支持、离线与实时数据集成、数据研发等核心模块，助力构建现代化数据架构。
• 07.22 13:43:48
  发表了文章 2025-07-22 13:43:48

  分页动态终止+参数自动遍历 = 单任务搞定海量API数据

  在企业级数据集成中，常需循环调用API获取全量数据，如零售企业每日拉取多门店销售流水。传统方案面临分页采集不全、多参数轮询效率低、动态终止条件缺失等问题。本文介绍一种高效方案，支持分页循环与参数遍历循环两种模式，自动处理分页接口与多参数轮询，灵活设置终止条件，提升数据采集完整性与效率，适应数据波动与接口变化，降低运维复杂度。
• 07.22 11:39:21
  发表了文章 2025-07-22 11:39:21

  Dataphin功能Tips系列（66）- 如何配置技术指标关系图

  Dataphin通过可视化技术指标关系图，帮助业务人员快速理解指标加工逻辑。
• 07.22 11:35:00
  发表了文章 2025-07-22 11:35:00

  Dataphin功能Tips系列（65）-如何实现StarRocks外表到目标库的血缘链路可视化

  客户需将StarRocks外部Catalog数据写入内部Default Catalog目标库，并希望在Dataphin中查看内表上游血缘信息以实现全链路追踪。由于Dataphin目前不支持直接采集StarRocks外部Catalog元数据，可通过以下方式实现：在Dataphin中创建StarRocks数据源并配置采集任务，开发时使用三段式表引用格式，在SQL任务中自动解析血缘信息，最终在资产清单中查看血缘关系。
• 07.22 11:26:09
  发表了文章 2025-07-22 11:26:09

  Dataphin功能Tips系列（64）-API资产编目及上架

  在企业数据部门中，因API命名不规范、分类不清、信息不全等问题，导致业务开发人员查找困难、重复咨询、误用接口等，影响效率。Dataphin提供API资产编目与上架功能，通过目录规划、属性管理、手动/自动上架等方式，实现API的系统化管理与精准检索，提升业务响应效率。
• 07.15 20:02:01
  发表了文章 2025-07-15 20:02:01

  Dataphin JDBC：助您实现数据权限的集中管理

  Dataphin JDBC提供了统一访问Dataphin中数据的功能，助您实现数据权限的集中式管理。
• 07.15 19:22:53
  发表了文章 2025-07-15 19:22:53

  Dataphin智能化重磅升级！编码难题一扫光，开发运维更高效！

  Dataphin重磅推出三大核心智能化能力：智能代码助手提升SQL开发效率；智能运维助手实现移动化任务管理；智能分析通过自然语言生成SQL，助力数据价值释放。未来将持续开放智能ETL、安全助手等能力，助力企业构建高效、稳定的数据资产体系。
• 07.10 15:57:41
  发表了文章 2025-07-10 15:57:41

  Dataphin数据服务API行级权限管控解决方案 ——构建企业级数据安全的精细化管控体系

  Dataphin数据服务推出行级权限管控功能，解决传统权限管理中用户权限分散、管控复杂等问题。支持直连与代理双模式访问，实现API与SQL权限统一管理，满足金融、零售、医疗等行业对数据访问的精细化控制需求。通过动态权限决策引擎和自动化继承体系，确保数据安全且提升应用开发效率。
• 07.02 10:53:19
  发表了文章 2025-07-02 10:53:19

  Dataphin功能Tips系列（63）-自定义属性+使用说明：让数据资产不再沉睡

  在企业数据管理中，常因信息缺失或描述模糊导致数据资产难以定位，造成重复建设与低效协作。Dataphin提供资产属性管理功能，支持自定义属性与图文详解说明，提升资产可见性与使用效率，助力快速定位与理解数据资产。
• 07.02 10:51:56
  发表了文章 2025-07-02 10:51:56

  Dataphin功能Tips系列（62）-如何修改实例优先级

  在数据生产过程中，为应对市场活动突发或紧急修复需求，Dataphin支持临时调整周期实例和补数据实例的优先级。通过运维中心可快速设置未运行或等待调度实例为最高优先级，确保任务及时执行；对于运行中或失败实例，可通过调高优先级并重跑使其下一次运行时生效。
• 07.02 10:49:55
  发表了文章 2025-07-02 10:49:55

  Dataphin功能Tips系列（61） -空间名称变量：代码零改动实现开发与生产隔离

  在数据开发中，为避免测试任务影响生产数据，开发者常通过“_dev”后缀区分环境，但发布时需手动修改代码。使用“空间名称变量”功能，可自动根据运行环境替换项目名，无需手动调整，实现开发与生产的无缝切换，提升效率与准确性。
• 07.02 10:48:00
  发表了文章 2025-07-02 10:48:00

  Dataphin功能Tips系列（60）-如何轻松实现跨项目表访问

  在数据开发中，企业常需跨项目访问数据，例如CDM层项目需访问ODS层表。本文介绍如何在Dataphin中通过批量授权实现高效跨项目权限管理，包括选择生产账号、授权范围及填写原因等步骤，帮助用户快速完成权限配置，提升数据开发效率。
• 07.02 10:45:22
  发表了文章 2025-07-02 10:45:22

  Dataphin功能Tips系列（59）-如何快速精准定位上游节点

  在使用Dataphin进行数据开发时，面对多个相同名称的节点，可通过任务ID精准定位上游节点。本文介绍如何通过搜索、筛选及查看任务属性等方式快速找到任务ID，完成依赖配置，并提供数据血缘追踪与命名建议，助你高效管理任务节点。
• 07.02 10:43:19
  发表了文章 2025-07-02 10:43:19

  Dataphin功能Tips系列（58）- 支持OAuth2.0认证方式的API数据源

  在数据集成过程中，Dataphin需通过API从外部系统获取数据，而这些系统常采用动态令牌鉴权机制。本文介绍如何在Dataphin中配置支持OAuth 2.0认证的API数据源，实现自动获取和刷新访问令牌，确保安全高效地进行数据请求与集成。

2025年06月

• 06.12 16:23:28
  发表了文章 2025-06-12 16:23:28

  【产品升级】Dataphin V5.1版本发布：跨云数据集成、指标管理、平台运维带来重大更新！

  V5.1版本新增多项功能：对接AWS生态（支持Amazon EMR、Redshift等），强化研发技术支撑（如API认证升级、全量任务隔离），完善运营消费链路（新增业务指标管理、指标关系图），提升平台综合能力（自定义菜单、缩短升级停机时间）。这些功能助力企业实现高效数据治理与分析，未来还将拓展智能化与国际化支持。
• 06.02 16:23:59
  发表了文章 2025-06-02 16:23:59

  数据标准码表的3种创建方式

  码表（Lookup表）由可枚举数据组成，用于存储名称与编码的映射关系，适用于属性值约束和质量监控。本文介绍在Dataphin创建码表的三种方式：1) 引用内置模板库，如行政区划、度量单位等标准码表；2) 从已有维表逆向生成码表，实现数据资产复用；3) 自定义创建，支持在线编辑或本地导入。通过这些方式，用户可高效管理码表，提升数据标准化水平，并将其应用于数据标准和质量规则中，确保数据一致性和合规性。

2025年05月

• 05.28 21:00:26
  发表了文章 2025-05-28 21:00:26

  指标透明化+管理敏捷化：Dataphin指标关系图与业务指标管理

  通过Dataphin的业务指标定义和管理功能，业务人员能够以标准化方式快速创建业务指标并详细说明其详情，从而实现与技术人员的高效沟通，促进相关技术指标的快速开发。此外，业务人员还可以利用Dataphin的指标关系图功能，直观地理解指标的加工逻辑，并迅速定位异常数据根因，从而显著提高问题解决的效率。
• 05.27 20:36:01
  发表了文章 2025-05-27 20:36:01

  Dataphin 5.1：API数据源及管道组件升级，适配多样化认证的API

  为提升API数据交互安全性，Dataphin 5.1推出两种新认证方式：基于OAuth 2.0的动态授权与请求签名认证。前者通过短期Access Token确保安全，后者对关键参数加密签名保障数据完整性。功能支持API数据源OAuth 2.0认证和自定义签名配置，未来还将拓展更灵活的认证方式以满足多样化需求。
• 05.27 19:27:20
  发表了文章 2025-05-27 19:27:20

  Dataphin V5.0：增全量一体实时集成

  数据集成中，离线与实时方式各有优劣。为解决传统“全量+增量”双轨模式运维复杂的问题，Dataphin 5.0推出“全量+增量一体化实时同步”功能。用户仅需创建一个实时任务，即可完成整库或多表的数据迁移，系统自动协调全量与增量同步，简化管理并降低运维成本。该功能支持灵活配置启动范围与方式，提供实时监控及操作能力，大幅提升数据同步效率与稳定性。
• 05.23 16:42:02
  发表了文章 2025-05-23 16:42:02

  Dataphin MCP：让数据查询 “轻而易举”

  Dataphin推出MCP服务，助力Agent高效获取数据，释放企业数据价值。
• 05.21 16:17:34
  发表了文章 2025-05-21 16:17:34

  Dataphin V5.0：调度资源支持弹性伸缩，有效提升资源利用率

  Dataphin在5.0版本新增“调度资源弹性伸缩”功能，通过设置资源组的Min（保障资源）和Max（上限资源），优化资源共享逻辑，提升集群资源利用率。方案涵盖三种资源分配场景，并支持查看实时使用量。
• 05.21 14:08:44
  发表了文章 2025-05-21 14:08:44

  星河中的数据旅程：从普通字段到核心指标 -- 基于Dataphin的数据源资产全链路管理

  在数据星河中，Starrocks星球的字段居民渴望登上资产管理平台，贡献数据力量。通过元数据采集、标准稽核与质量监控，字段们获得新身份“核心业务指标”。借助Dataphin平台功能，如自定义属性和QuickBI对接，它们最终参与经营分析报表，助力决策。Dataphin V4.4提升了全链路管理能力，新增大数据存储元数据采集、自定义指标等功能，释放数据潜力。加入Dataphin，探索数据无限可能！
• 05.21 13:38:41
  发表了文章 2025-05-21 13:38:41

  数据治理起步难？Dataphin内置模板来帮你

  数据治理冷启动常因沟通协调多、流程长且配置繁琐而受阻。Dataphin 提供多种内置模板，涵盖数据标准码表（如行政区划、度量单位等）、安全分类分级（如金融、能源行业规范）、数据质量规则（40+常用规则）及识别特征（如手机号、身份证号），助力企业快速构建治理框架，提升效率，加速数据战略实施。
• 05.21 13:29:39
  发表了文章 2025-05-21 13:29:39

  Dataphin V4.5：批量导入导出目录及资产信息配置，提升资产盘点效率

  数据资产运营常需跨部门协作，使用在线文档梳理信息并快速录入系统至关重要。Dataphin 支持通过 Excel 模板批量导入专题、目录及资产配置，大幅提升效率。场景包括：1) 专题目录初始化配置，快速完成多层级目录定义；2) 批量修改专题目录，适配组织结构调整；3) 批量修改资产信息，实现线上协同编辑与更新。系统还提供异常预检与高亮提示，确保导入准确性，助力高效资产盘点与运营。
• 05.21 13:27:16
  发表了文章 2025-05-21 13:27:16

  DataphinV4.5：资产详情丰富：血缘、质量评分、变更记录助力确信资产可用性

  DataphinV4.5版本通过展示血缘关系图、质量概况和元数据变更记录，助力解决这些问题。血缘关系帮助厘清数据依赖链路，质量概况提供数据可靠性评估依据，元数据变更记录便于追踪数据变动影响。这些功能丰富了资产信息，有助于提升数据分析与开发的效率，减少沟通成本。
• 05.16 18:47:00
  发表了文章 2025-05-16 18:47:00

  Dataphin V5.0：支持创建异步调用API，实现慢 SQL 复杂计算的直连消费

  本文介绍了数据服务产品中异步调用的应用场景与优势，包括大数据引擎查询、复杂SQL及大规模数据下载等场景，解决了同步调用可能导致的资源浪费和性能问题。通过创建异步API、测试发布以及权限申请等功能，实现高效稳定的服务提供。以电商订单查询为例，展示了如何利用异步调用提升系统性能与用户体验。
• 05.07 09:57:22
  发表了文章 2025-05-07 09:57:22

  Dataphin功能Tips系列（57）「预览」vs「运行」：离线集成的神奇按钮

  在数据开发过程中，使用Dataphin处理离线集成任务时，可能遇到数据过滤和字段计算组件配置正确性的验证问题。通过「预览」功能，可快速验证处理逻辑而不影响目标表；对于需要调度的任务，担心资源占用和耗时超出预期时，可使用「运行」功能进行全流程测试，评估实际耗时与资源消耗。「预览」适合逻辑验证，「运行」用于真实环境模拟，两者结合助力高效开发与调试。
• 05.07 09:54:38
  发表了文章 2025-05-07 09:54:38

  Dataphin功能Tips系列（56）如何实现质量规则的批量修改

  本文介绍了在Dataphin中针对Dataphin表和全域数据表的自定义SQL规则的批量修改的方法。
• 05.07 09:51:51
  发表了文章 2025-05-07 09:51:51

  Dataphin功能Tips系列（55）如何通过规则排序实现不同的自动上架效果

  本文介绍了如何在Dataphin中配置自动上架规则以高效管理数据。
• 05.07 09:49:59
  发表了文章 2025-05-07 09:49:59

  Dataphin功能Tips系列（54）如何将资产自动变更为暂不上架

  在资产运营管理中，为避免某些表（如贴源表、中间表等）被自动上架，Dataphin 提供了“暂不上架”规则配置功能。通过创建规则组和规则，可精细化管理资产对象。
• 05.07 09:46:30
  发表了文章 2025-05-07 09:46:30

  Dataphin功能Tips系列（53)-离线集成任务如何合理配置JVM资源

  本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
• 05.07 09:34:51
  发表了文章 2025-05-07 09:34:51

  Dataphin功能Tips系列（52)-调度资源组弹性伸缩

  Dataphin支持通过自定义资源组实现弹性资源调配：设置资源上下限，允许资源组间相互“借用”空闲资源。当开发环境任务暂停时，其未使用的资源可被生产环境借用，确保资源高效利用，同时保障各环境资源需求。配置时只需明确开发与生产环境的资源上下限，并关联对应项目任务即可实现动态调整。
• 05.07 09:29:52
  发表了文章 2025-05-07 09:29:52

  Dataphin功能Tips系列（51）-支持增全量一体实时集成

  本文介绍了基于增全量一体实时集成的库存管理与分析解决方案。通过将业务中台的库存表同步至MaxCompute Delta表，实现离线与实时分析的统一支持。相比传统方案，该方法确保数据一致性，优化存储成本，降低维护复杂度，并大幅提升实时性，满足高效库存管理需求。

2025年04月

• 04.10 20:01:50
  发表了文章 2025-04-10 20:01:50

  如何基于Dataphin智能研发开发“留存率”指标

  用户留存率是指在互联网行业中，某段时间内新增用户中，在后续特定时间点或时间段内继续使用应用的用户比例。它是衡量应用质量和用户保留能力的重要指标。 本文为您介绍如何基于Dataphin规范建模结合SQL加工能力进行留存率指标开发。

2025年03月

• 03.18 21:16:43
  发表了文章 2025-03-18 21:16:43

  告别数据混乱：瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期

  AI技术的快速发展促使企业重新审视数据治理的重要性。当前，企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出，以数据标准为核心贯穿数据全生命周期，可有效解决治理难题。

  
• 03.18 21:12:41
  发表了文章 2025-03-18 21:12:41

  大模型+BI：一场关乎企业未来生死的数据智能卡位战 | 【瓴羊数据荟】数据MeetUp第四期

  随着大模型技术突破，全球企业迎来数据智能革命。Gartner预测，到2027年，中国80%的企业将采用多模型生成式AI策略。然而，数据孤岛与高门槛仍阻碍价值释放。

  
• 03.13 17:58:37
  发表了文章 2025-03-13 17:58:37

  Dataphin功能Tips系列（50）-离线集成输入端支持mysql数据源分库分表

  离线集成输入端支持mysql数据源分库分表
• 03.13 17:57:34
  发表了文章 2025-03-13 17:57:34

  Dataphin功能Tips系列（49)-审计日志导出

  审计日志导出
• 03.13 17:56:07
  发表了文章 2025-03-13 17:56:07

  Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列

  如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
• 03.13 17:54:35
  发表了文章 2025-03-13 17:54:35

  Dataphin功能Tips系列（47）-支持通过Spark本地客户端提交Spark Batch任务

  支持通过Spark本地客户端提交Spark Batch任务
• 03.13 17:50:44
  发表了文章 2025-03-13 17:50:44

  Dataphin功能Tips系列（46）-实时研发任务在session调试和运行 时资源分配上的区别

  实时研发任务在session调试和运行 时资源分配上的区别
• 03.13 17:48:52
  发表了文章 2025-03-13 17:48:52

  Dataphin功能Tips系列（45）-session集群调试优化

  session集群调试优化
• 03.13 17:47:20
  发表了文章 2025-03-13 17:47:20

  Dataphin功能Tips系列（44）-实时任务调优

  实时任务调优
• 03.13 17:45:59
  发表了文章 2025-03-13 17:45:59

  Dataphin功能Tips系列（43）-实时任务调试-session集群

  实时任务调试-session集群