瓴羊Dataphin_社区达人页

2025年06月

• 06.12 16:23:28
  发表了文章 2025-06-12 16:23:28

  【产品升级】Dataphin V5.1版本发布：跨云数据集成、指标管理、平台运维带来重大更新！

  V5.1版本新增多项功能：对接AWS生态（支持Amazon EMR、Redshift等），强化研发技术支撑（如API认证升级、全量任务隔离），完善运营消费链路（新增业务指标管理、指标关系图），提升平台综合能力（自定义菜单、缩短升级停机时间）。这些功能助力企业实现高效数据治理与分析，未来还将拓展智能化与国际化支持。
• 06.02 16:23:59
  发表了文章 2025-06-02 16:23:59

  数据标准码表的3种创建方式

  码表（Lookup表）由可枚举数据组成，用于存储名称与编码的映射关系，适用于属性值约束和质量监控。本文介绍在Dataphin创建码表的三种方式：1) 引用内置模板库，如行政区划、度量单位等标准码表；2) 从已有维表逆向生成码表，实现数据资产复用；3) 自定义创建，支持在线编辑或本地导入。通过这些方式，用户可高效管理码表，提升数据标准化水平，并将其应用于数据标准和质量规则中，确保数据一致性和合规性。

2025年05月

• 05.28 21:00:26
  发表了文章 2025-05-28 21:00:26

  指标透明化+管理敏捷化：Dataphin指标关系图与业务指标管理

  通过Dataphin的业务指标定义和管理功能，业务人员能够以标准化方式快速创建业务指标并详细说明其详情，从而实现与技术人员的高效沟通，促进相关技术指标的快速开发。此外，业务人员还可以利用Dataphin的指标关系图功能，直观地理解指标的加工逻辑，并迅速定位异常数据根因，从而显著提高问题解决的效率。
• 05.27 20:36:01
  发表了文章 2025-05-27 20:36:01

  Dataphin 5.1：API数据源及管道组件升级，适配多样化认证的API

  为提升API数据交互安全性，Dataphin 5.1推出两种新认证方式：基于OAuth 2.0的动态授权与请求签名认证。前者通过短期Access Token确保安全，后者对关键参数加密签名保障数据完整性。功能支持API数据源OAuth 2.0认证和自定义签名配置，未来还将拓展更灵活的认证方式以满足多样化需求。
• 05.27 19:27:20
  发表了文章 2025-05-27 19:27:20

  Dataphin V5.0：增全量一体实时集成

  数据集成中，离线与实时方式各有优劣。为解决传统“全量+增量”双轨模式运维复杂的问题，Dataphin 5.0推出“全量+增量一体化实时同步”功能。用户仅需创建一个实时任务，即可完成整库或多表的数据迁移，系统自动协调全量与增量同步，简化管理并降低运维成本。该功能支持灵活配置启动范围与方式，提供实时监控及操作能力，大幅提升数据同步效率与稳定性。
• 05.23 16:42:02
  发表了文章 2025-05-23 16:42:02

  Dataphin MCP：让数据查询 “轻而易举”

  Dataphin推出MCP服务，助力Agent高效获取数据，释放企业数据价值。
• 05.21 16:17:34
  发表了文章 2025-05-21 16:17:34

  Dataphin V5.0：调度资源支持弹性伸缩，有效提升资源利用率

  Dataphin在5.0版本新增“调度资源弹性伸缩”功能，通过设置资源组的Min（保障资源）和Max（上限资源），优化资源共享逻辑，提升集群资源利用率。方案涵盖三种资源分配场景，并支持查看实时使用量。
• 05.21 14:08:44
  发表了文章 2025-05-21 14:08:44

  星河中的数据旅程：从普通字段到核心指标 -- 基于Dataphin的数据源资产全链路管理

  在数据星河中，Starrocks星球的字段居民渴望登上资产管理平台，贡献数据力量。通过元数据采集、标准稽核与质量监控，字段们获得新身份“核心业务指标”。借助Dataphin平台功能，如自定义属性和QuickBI对接，它们最终参与经营分析报表，助力决策。Dataphin V4.4提升了全链路管理能力，新增大数据存储元数据采集、自定义指标等功能，释放数据潜力。加入Dataphin，探索数据无限可能！
• 05.21 13:38:41
  发表了文章 2025-05-21 13:38:41

  数据治理起步难？Dataphin内置模板来帮你

  数据治理冷启动常因沟通协调多、流程长且配置繁琐而受阻。Dataphin 提供多种内置模板，涵盖数据标准码表（如行政区划、度量单位等）、安全分类分级（如金融、能源行业规范）、数据质量规则（40+常用规则）及识别特征（如手机号、身份证号），助力企业快速构建治理框架，提升效率，加速数据战略实施。
• 05.21 13:29:39
  发表了文章 2025-05-21 13:29:39

  Dataphin V4.5：批量导入导出目录及资产信息配置，提升资产盘点效率

  数据资产运营常需跨部门协作，使用在线文档梳理信息并快速录入系统至关重要。Dataphin 支持通过 Excel 模板批量导入专题、目录及资产配置，大幅提升效率。场景包括：1) 专题目录初始化配置，快速完成多层级目录定义；2) 批量修改专题目录，适配组织结构调整；3) 批量修改资产信息，实现线上协同编辑与更新。系统还提供异常预检与高亮提示，确保导入准确性，助力高效资产盘点与运营。
• 05.21 13:27:16
  发表了文章 2025-05-21 13:27:16

  DataphinV4.5：资产详情丰富：血缘、质量评分、变更记录助力确信资产可用性

  DataphinV4.5版本通过展示血缘关系图、质量概况和元数据变更记录，助力解决这些问题。血缘关系帮助厘清数据依赖链路，质量概况提供数据可靠性评估依据，元数据变更记录便于追踪数据变动影响。这些功能丰富了资产信息，有助于提升数据分析与开发的效率，减少沟通成本。
• 05.16 18:47:00
  发表了文章 2025-05-16 18:47:00

  Dataphin V5.0：支持创建异步调用API，实现慢 SQL 复杂计算的直连消费

  本文介绍了数据服务产品中异步调用的应用场景与优势，包括大数据引擎查询、复杂SQL及大规模数据下载等场景，解决了同步调用可能导致的资源浪费和性能问题。通过创建异步API、测试发布以及权限申请等功能，实现高效稳定的服务提供。以电商订单查询为例，展示了如何利用异步调用提升系统性能与用户体验。
• 05.07 09:57:22
  发表了文章 2025-05-07 09:57:22

  Dataphin功能Tips系列（57）「预览」vs「运行」：离线集成的神奇按钮

  在数据开发过程中，使用Dataphin处理离线集成任务时，可能遇到数据过滤和字段计算组件配置正确性的验证问题。通过「预览」功能，可快速验证处理逻辑而不影响目标表；对于需要调度的任务，担心资源占用和耗时超出预期时，可使用「运行」功能进行全流程测试，评估实际耗时与资源消耗。「预览」适合逻辑验证，「运行」用于真实环境模拟，两者结合助力高效开发与调试。
• 05.07 09:54:38
  发表了文章 2025-05-07 09:54:38

  Dataphin功能Tips系列（56）如何实现质量规则的批量修改

  本文介绍了在Dataphin中针对Dataphin表和全域数据表的自定义SQL规则的批量修改的方法。
• 05.07 09:51:51
  发表了文章 2025-05-07 09:51:51

  Dataphin功能Tips系列（55）如何通过规则排序实现不同的自动上架效果

  本文介绍了如何在Dataphin中配置自动上架规则以高效管理数据。
• 05.07 09:49:59
  发表了文章 2025-05-07 09:49:59

  Dataphin功能Tips系列（54）如何将资产自动变更为暂不上架

  在资产运营管理中，为避免某些表（如贴源表、中间表等）被自动上架，Dataphin 提供了“暂不上架”规则配置功能。通过创建规则组和规则，可精细化管理资产对象。
• 05.07 09:46:30
  发表了文章 2025-05-07 09:46:30

  Dataphin功能Tips系列（53)-离线集成任务如何合理配置JVM资源

  本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
• 05.07 09:34:51
  发表了文章 2025-05-07 09:34:51

  Dataphin功能Tips系列（52)-调度资源组弹性伸缩

  Dataphin支持通过自定义资源组实现弹性资源调配：设置资源上下限，允许资源组间相互“借用”空闲资源。当开发环境任务暂停时，其未使用的资源可被生产环境借用，确保资源高效利用，同时保障各环境资源需求。配置时只需明确开发与生产环境的资源上下限，并关联对应项目任务即可实现动态调整。
• 05.07 09:29:52
  发表了文章 2025-05-07 09:29:52

  Dataphin功能Tips系列（51）-支持增全量一体实时集成

  本文介绍了基于增全量一体实时集成的库存管理与分析解决方案。通过将业务中台的库存表同步至MaxCompute Delta表，实现离线与实时分析的统一支持。相比传统方案，该方法确保数据一致性，优化存储成本，降低维护复杂度，并大幅提升实时性，满足高效库存管理需求。

2025年04月

• 04.10 20:01:50
  发表了文章 2025-04-10 20:01:50

  如何基于Dataphin智能研发开发“留存率”指标

  用户留存率是指在互联网行业中，某段时间内新增用户中，在后续特定时间点或时间段内继续使用应用的用户比例。它是衡量应用质量和用户保留能力的重要指标。 本文为您介绍如何基于Dataphin规范建模结合SQL加工能力进行留存率指标开发。

2025年03月

• 03.18 21:16:43
  发表了文章 2025-03-18 21:16:43

  告别数据混乱：瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期

  AI技术的快速发展促使企业重新审视数据治理的重要性。当前，企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出，以数据标准为核心贯穿数据全生命周期，可有效解决治理难题。

  
• 03.18 21:12:41
  发表了文章 2025-03-18 21:12:41

  大模型+BI：一场关乎企业未来生死的数据智能卡位战 | 【瓴羊数据荟】数据MeetUp第四期

  随着大模型技术突破，全球企业迎来数据智能革命。Gartner预测，到2027年，中国80%的企业将采用多模型生成式AI策略。然而，数据孤岛与高门槛仍阻碍价值释放。

  
• 03.13 17:58:37
  发表了文章 2025-03-13 17:58:37

  Dataphin功能Tips系列（50）-离线集成输入端支持mysql数据源分库分表

  离线集成输入端支持mysql数据源分库分表
• 03.13 17:57:34
  发表了文章 2025-03-13 17:57:34

  Dataphin功能Tips系列（49)-审计日志导出

  审计日志导出
• 03.13 17:56:07
  发表了文章 2025-03-13 17:56:07

  Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列

  如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
• 03.13 17:54:35
  发表了文章 2025-03-13 17:54:35

  Dataphin功能Tips系列（47）-支持通过Spark本地客户端提交Spark Batch任务

  支持通过Spark本地客户端提交Spark Batch任务
• 03.13 17:50:44
  发表了文章 2025-03-13 17:50:44

  Dataphin功能Tips系列（46）-实时研发任务在session调试和运行 时资源分配上的区别

  实时研发任务在session调试和运行 时资源分配上的区别
• 03.13 17:48:52
  发表了文章 2025-03-13 17:48:52

  Dataphin功能Tips系列（45）-session集群调试优化

  session集群调试优化
• 03.13 17:47:20
  发表了文章 2025-03-13 17:47:20

  Dataphin功能Tips系列（44）-实时任务调优

  实时任务调优
• 03.13 17:45:59
  发表了文章 2025-03-13 17:45:59

  Dataphin功能Tips系列（43）-实时任务调试-session集群

  实时任务调试-session集群
• 03.13 17:39:13
  发表了文章 2025-03-13 17:39:13

  Dataphin功能Tips系列（42）-实时研发-基于Flink on k8s

  实时研发-基于Flink on k8s
• 03.13 17:30:41
  发表了文章 2025-03-13 17:30:41

  Dataphin功能Tips系列（41）-Hadoop集群管理

  Hadoop集群管理
• 03.13 17:29:18
  发表了文章 2025-03-13 17:29:18

  Dataphin功能Tips系列（40）-发布顺序中的必选依赖、可选依赖

  发布顺序中的必选依赖、可选依赖
• 03.13 17:24:59
  发表了文章 2025-03-13 17:24:59

  Dataphin功能Tips系列（39）-API的非必填参数(2)-未传参时指定默认值

  API的非必填参数(2)-未传参时指定默认值
• 03.13 17:23:42
  发表了文章 2025-03-13 17:23:42

  Dataphin功能Tips系列（38）-API的非必填参数(1)

  API的非必填参数(1)
• 03.13 17:22:14
  发表了文章 2025-03-13 17:22:14

  Dataphin功能Tips系列（37）-识别特征（2）-识别字段的分类分级

  识别特征（2）-识别字段的分类分级
• 03.13 17:20:33
  发表了文章 2025-03-13 17:20:33

  Dataphin功能Tips系列（36）-识别特征（1）-为资产对象智能推荐标准

  识别特征（1）-为资产对象智能推荐标准

  
• 03.13 17:19:09
  发表了文章 2025-03-13 17:19:09

  Dataphin功能Tips系列（35）-通过Python脚本连接数据库

  通过Python脚本连接数据库
• 03.13 17:17:43
  发表了文章 2025-03-13 17:17:43

  Dataphin功能Tips系列（34）-借助词根进行字段命名

  借助词根进行字段命名
• 03.13 17:15:52
  发表了文章 2025-03-13 17:15:52

  Dataphin功能Tips系列（33）-补数据任务

  补数据任务

  
• 03.13 17:13:15
  发表了文章 2025-03-13 17:13:15

  Dataphin功能Tips系列（32）-离线集成之增量追加

  离线集成之增量追加
• 03.13 17:11:38
  发表了文章 2025-03-13 17:11:38

  Dataphin功能Tips系列（31）-自定义资源组

  自定义资源组
• 03.13 17:08:50
  发表了文章 2025-03-13 17:08:50

  Dataphin功能Tips系列（30）-限流配置

  限流配置
• 03.13 17:07:30
  发表了文章 2025-03-13 17:07:30

  Dataphin功能Tips系列（29）-计算任务版本对比/版本回滚

  计算任务版本对比/版本回滚
• 03.13 17:05:58
  发表了文章 2025-03-13 17:05:58

  Dataphin功能Tips系列（28）-跨节点参数

  跨节点参数
• 03.13 17:03:41
  发表了文章 2025-03-13 17:03:41

  Dataphin功能Tips系列（27）-排他编辑锁

  排他编辑锁
• 03.13 17:01:57
  发表了文章 2025-03-13 17:01:57

  Dataphin功能Tips系列（26）-事实逻辑表配置数据延迟

  事实逻辑表配置数据延迟

2025年02月

• 02.19 19:14:50
  发表了文章 2025-02-19 19:14:50

  【瓴羊数据荟】 共话AI×Data的企业应用进化，瓴羊「数据荟」MeetUp城市行上海场顺利收官！

  瓴羊「数据荟」Meet Up城市行系列活动第四期活动将于3月7日在上海举办，由中国信息通信研究院与阿里巴巴瓴羊专家联袂呈现，共同探讨AI时代的数据应用实践与企业智能DNA的革命性重构。

  
• 02.17 19:40:08
  发表了文章 2025-02-17 19:40:08

  Dataphin离线数据开发规范

  目前，用户在Dataphin上进行数据开发时，风格各异，缺乏一致性。为此，我们整理了一份开发规范文档，旨在帮助所有用户实现更高效和一致的开发流程。

2025年01月

• 01.17 23:18:17
  发表了文章 2025-01-17 23:18:17

  开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期

  Dataphin的技术架构与实践路径，涵盖多引擎兼容、混合云架构、统一资产消费等方面，Dataphin通过持续升级，帮助企业实现全生命周期的数据资产管理，助力企业在大模型时代更好地“建好数据”、“用好数据”。