瓴羊Dataphin_社区达人页

2025年05月

• 05.07 09:57:22
  发表了文章 2025-05-07 09:57:22

  Dataphin功能Tips系列（57）「预览」vs「运行」：离线集成的神奇按钮

  在数据开发过程中，使用Dataphin处理离线集成任务时，可能遇到数据过滤和字段计算组件配置正确性的验证问题。通过「预览」功能，可快速验证处理逻辑而不影响目标表；对于需要调度的任务，担心资源占用和耗时超出预期时，可使用「运行」功能进行全流程测试，评估实际耗时与资源消耗。「预览」适合逻辑验证，「运行」用于真实环境模拟，两者结合助力高效开发与调试。
• 05.07 09:54:38
  发表了文章 2025-05-07 09:54:38

  Dataphin功能Tips系列（56）如何实现质量规则的批量修改

  本文介绍了在Dataphin中针对Dataphin表和全域数据表的自定义SQL规则的批量修改的方法。
• 05.07 09:51:51
  发表了文章 2025-05-07 09:51:51

  Dataphin功能Tips系列（55）如何通过规则排序实现不同的自动上架效果

  本文介绍了如何在Dataphin中配置自动上架规则以高效管理数据。
• 05.07 09:49:59
  发表了文章 2025-05-07 09:49:59

  Dataphin功能Tips系列（54）如何将资产自动变更为暂不上架

  在资产运营管理中，为避免某些表（如贴源表、中间表等）被自动上架，Dataphin 提供了“暂不上架”规则配置功能。通过创建规则组和规则，可精细化管理资产对象。
• 05.07 09:46:30
  发表了文章 2025-05-07 09:46:30

  Dataphin功能Tips系列（53)-离线集成任务如何合理配置JVM资源

  本文探讨了将MySQL数据同步至Hive时出现OOM问题的解决方案。
• 05.07 09:34:51
  发表了文章 2025-05-07 09:34:51

  Dataphin功能Tips系列（52)-调度资源组弹性伸缩

  Dataphin支持通过自定义资源组实现弹性资源调配：设置资源上下限，允许资源组间相互“借用”空闲资源。当开发环境任务暂停时，其未使用的资源可被生产环境借用，确保资源高效利用，同时保障各环境资源需求。配置时只需明确开发与生产环境的资源上下限，并关联对应项目任务即可实现动态调整。
• 05.07 09:29:52
  发表了文章 2025-05-07 09:29:52

  Dataphin功能Tips系列（51）-支持增全量一体实时集成

  本文介绍了基于增全量一体实时集成的库存管理与分析解决方案。通过将业务中台的库存表同步至MaxCompute Delta表，实现离线与实时分析的统一支持。相比传统方案，该方法确保数据一致性，优化存储成本，降低维护复杂度，并大幅提升实时性，满足高效库存管理需求。

2025年04月

• 04.10 20:01:50
  发表了文章 2025-04-10 20:01:50

  如何基于Dataphin智能研发开发“留存率”指标

  用户留存率是指在互联网行业中，某段时间内新增用户中，在后续特定时间点或时间段内继续使用应用的用户比例。它是衡量应用质量和用户保留能力的重要指标。 本文为您介绍如何基于Dataphin规范建模结合SQL加工能力进行留存率指标开发。

2025年03月

• 03.18 21:16:43
  发表了文章 2025-03-18 21:16:43

  告别数据混乱：瓴羊Dataphin 通过AI+标准让企业数据“活”起来 | 【瓴羊数据荟】数据MeetUp第四期

  AI技术的快速发展促使企业重新审视数据治理的重要性。当前，企业在数据治理中常因指标口径不统一、数据血缘不透明等问题陷入困境。阿里云智能集团瓴羊高级技术专家周鑫提出，以数据标准为核心贯穿数据全生命周期，可有效解决治理难题。

  
• 03.18 21:12:41
  发表了文章 2025-03-18 21:12:41

  大模型+BI：一场关乎企业未来生死的数据智能卡位战 | 【瓴羊数据荟】数据MeetUp第四期

  随着大模型技术突破，全球企业迎来数据智能革命。Gartner预测，到2027年，中国80%的企业将采用多模型生成式AI策略。然而，数据孤岛与高门槛仍阻碍价值释放。

  
• 03.13 17:58:37
  发表了文章 2025-03-13 17:58:37

  Dataphin功能Tips系列（50）-离线集成输入端支持mysql数据源分库分表

  离线集成输入端支持mysql数据源分库分表
• 03.13 17:57:34
  发表了文章 2025-03-13 17:57:34

  Dataphin功能Tips系列（49)-审计日志导出

  审计日志导出
• 03.13 17:56:07
  发表了文章 2025-03-13 17:56:07

  Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列

  如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
• 03.13 17:54:35
  发表了文章 2025-03-13 17:54:35

  Dataphin功能Tips系列（47）-支持通过Spark本地客户端提交Spark Batch任务

  支持通过Spark本地客户端提交Spark Batch任务
• 03.13 17:50:44
  发表了文章 2025-03-13 17:50:44

  Dataphin功能Tips系列（46）-实时研发任务在session调试和运行 时资源分配上的区别

  实时研发任务在session调试和运行 时资源分配上的区别
• 03.13 17:48:52
  发表了文章 2025-03-13 17:48:52

  Dataphin功能Tips系列（45）-session集群调试优化

  session集群调试优化
• 03.13 17:47:20
  发表了文章 2025-03-13 17:47:20

  Dataphin功能Tips系列（44）-实时任务调优

  实时任务调优
• 03.13 17:45:59
  发表了文章 2025-03-13 17:45:59

  Dataphin功能Tips系列（43）-实时任务调试-session集群

  实时任务调试-session集群
• 03.13 17:39:13
  发表了文章 2025-03-13 17:39:13

  Dataphin功能Tips系列（42）-实时研发-基于Flink on k8s

  实时研发-基于Flink on k8s
• 03.13 17:30:41
  发表了文章 2025-03-13 17:30:41

  Dataphin功能Tips系列（41）-Hadoop集群管理

  Hadoop集群管理
• 03.13 17:29:18
  发表了文章 2025-03-13 17:29:18

  Dataphin功能Tips系列（40）-发布顺序中的必选依赖、可选依赖

  发布顺序中的必选依赖、可选依赖
• 03.13 17:24:59
  发表了文章 2025-03-13 17:24:59

  Dataphin功能Tips系列（39）-API的非必填参数(2)-未传参时指定默认值

  API的非必填参数(2)-未传参时指定默认值
• 03.13 17:23:42
  发表了文章 2025-03-13 17:23:42

  Dataphin功能Tips系列（38）-API的非必填参数(1)

  API的非必填参数(1)
• 03.13 17:22:14
  发表了文章 2025-03-13 17:22:14

  Dataphin功能Tips系列（37）-识别特征（2）-识别字段的分类分级

  识别特征（2）-识别字段的分类分级
• 03.13 17:20:33
  发表了文章 2025-03-13 17:20:33

  Dataphin功能Tips系列（36）-识别特征（1）-为资产对象智能推荐标准

  识别特征（1）-为资产对象智能推荐标准

  
• 03.13 17:19:09
  发表了文章 2025-03-13 17:19:09

  Dataphin功能Tips系列（35）-通过Python脚本连接数据库

  通过Python脚本连接数据库
• 03.13 17:17:43
  发表了文章 2025-03-13 17:17:43

  Dataphin功能Tips系列（34）-借助词根进行字段命名

  借助词根进行字段命名
• 03.13 17:15:52
  发表了文章 2025-03-13 17:15:52

  Dataphin功能Tips系列（33）-补数据任务

  补数据任务

  
• 03.13 17:13:15
  发表了文章 2025-03-13 17:13:15

  Dataphin功能Tips系列（32）-离线集成之增量追加

  离线集成之增量追加
• 03.13 17:11:38
  发表了文章 2025-03-13 17:11:38

  Dataphin功能Tips系列（31）-自定义资源组

  自定义资源组
• 03.13 17:08:50
  发表了文章 2025-03-13 17:08:50

  Dataphin功能Tips系列（30）-限流配置

  限流配置
• 03.13 17:07:30
  发表了文章 2025-03-13 17:07:30

  Dataphin功能Tips系列（29）-计算任务版本对比/版本回滚

  计算任务版本对比/版本回滚
• 03.13 17:05:58
  发表了文章 2025-03-13 17:05:58

  Dataphin功能Tips系列（28）-跨节点参数

  跨节点参数
• 03.13 17:03:41
  发表了文章 2025-03-13 17:03:41

  Dataphin功能Tips系列（27）-排他编辑锁

  排他编辑锁
• 03.13 17:01:57
  发表了文章 2025-03-13 17:01:57

  Dataphin功能Tips系列（26）-事实逻辑表配置数据延迟

  事实逻辑表配置数据延迟

2025年02月

• 02.19 19:14:50
  发表了文章 2025-02-19 19:14:50

  【瓴羊数据荟】 共话AI×Data的企业应用进化，瓴羊「数据荟」MeetUp城市行上海场顺利收官！

  瓴羊「数据荟」Meet Up城市行系列活动第四期活动将于3月7日在上海举办，由中国信息通信研究院与阿里巴巴瓴羊专家联袂呈现，共同探讨AI时代的数据应用实践与企业智能DNA的革命性重构。

  
• 02.17 19:40:08
  发表了文章 2025-02-17 19:40:08

  Dataphin离线数据开发规范

  目前，用户在Dataphin上进行数据开发时，风格各异，缺乏一致性。为此，我们整理了一份开发规范文档，旨在帮助所有用户实现更高效和一致的开发流程。

2025年01月

• 01.17 23:18:17
  发表了文章 2025-01-17 23:18:17

  开放、兼容的数据建设与治理平台——瓴羊Dataphin“进化论” |【瓴羊数据荟】数据MeetUp第三期

  Dataphin的技术架构与实践路径，涵盖多引擎兼容、混合云架构、统一资产消费等方面，Dataphin通过持续升级，帮助企业实现全生命周期的数据资产管理，助力企业在大模型时代更好地“建好数据”、“用好数据”。

  
• 01.17 23:13:22
  发表了文章 2025-01-17 23:13:22

  瓴羊Dataphin：AI驱动的数据治理——千里之行，始于标准 |【瓴羊数据荟】数据MeetUp第三期

  数据标准是数据治理的核心抓手，通过梳理数据标准可以有效提升数据质量。瓴羊Dataphin平台利用AI技术简化数据治理流程，实现自动化的数据标准建立、质量规则构建和特征识别，助力企业在大模型时代高效治理数据，推动数据真正为业务服务。

  
• 01.09 20:46:15
  提交了问题 2025-01-09 20:46:15

  AI时代，聊聊如何从海量数据中挖掘金矿？

• 01.03 22:58:40
  发表了文章 2025-01-03 22:58:40

  Dataphin免费试用指南

  为您提供Dataphin快速上手操作指南，一起轻松构建数据

2024年12月

• 12.28 01:07:27
  发表了文章 2024-12-28 01:07:27

  央国企“严选”的瓴羊，如何让数据“供得出、流得动、用得好”？|【瓴羊Dataphin在信通院2024数据资产管理大会】

  在产业变革新浪潮下，数据资产管理步入“繁花时代”，瓴羊高级解决方案专家黄彦之出席2024数据资产管理大会并分享了瓴羊基于12年阿里最佳数据实践，通过Dataphin等产品助力央国企数智化转型的路径与方法。大会发布《数据治理产业图谱3.0》，瓴羊Dataphin入选BUCM板块代表产品，彰显其领先经验。
• 12.28 01:03:07
  发表了文章 2024-12-28 01:03:07

  “点数成金”时代，如何应用全域数据资产治理释放企业数据价值？【瓴羊Dataphin在信通院2024数据资产管理大会】

  在“点数成金”时代，企业数据成为宝贵资产。12月18-19日，信通院“2024数据资产管理大会”在京举办，瓴羊政企金融事业部总监徐宁分享了Dataphin在数据治理领域的创新方法论与实践经验，强调数据资产双循环和元数据管理的重要性。瓴羊副总裁王赛获颁数据资产管理专家证书。
• 12.26 19:54:42
  发表了文章 2024-12-26 19:54:42

  【瓴羊数据荟】 Data x AI ：大模型时代的数据治理创新实践 | 瓴羊数据Meet Up城市行第三期

  第三期瓴羊数据Meetup 将于2025年1月3日在线上与大家见面，共同探讨AI时代的数据治理实践。

  
• 12.13 13:21:56
  回答了问题 2024-12-13 13:21:56

  dataphin的合作企业有哪些？

  赞458 踩0 评论0
• 12.13 13:18:28
  回答了问题 2024-12-13 13:18:28

  最近产品的版本发布的功能有哪些？

  赞470 踩0 评论0
• 12.13 12:58:34
  发表了文章 2024-12-13 12:58:34

  【产品升级】Dataphin V4.4重磅发布：开发运维提效、指标全生命周期管理、智能元数据生成再升级

  Dataphin V4.4版本引入了多项核心升级，包括级联发布、元数据采集扩展、数据源指标上架、自定义属性管理等功能，大幅提升数据处理与资产管理效率。此外，还支持Hadoop集群管理、跨Schema数据读取、实时集成目标端支持Hudi及MaxCompute delta等技术，进一步优化用户体验。

  

2024年11月

• 11.29 09:52:25
  发表了文章 2024-11-29 09:52:25

  针对MaxCompute经典网络域名下线，Dataphin应对策略的公告

  针对MaxCompute经典网络域名下线，Dataphin应对策略的公告
• 11.20 13:43:31
  发表了文章 2024-11-20 13:43:31

  Dataphin的数据共享的应用场景和方案

  不同的业务场景对数据访问和使用有着各自独特的需求，从简单的数据下载到复杂的跨系统集成，选择合适的数据共享与访问方式至关重要。本文旨在探讨几种常见的Dataphin上的数据共享与访问机制——包括数据复制、数据下载、视图创建、行级及列级权限控制、API数据服务以及JDBC连接等，并分析它们各自的适用场景、优势及限制，以帮助企业更好地根据自身需求做出合理的选择。