瓴羊Dataphin_社区达人页

2024年07月

• 07.16 20:39:17
  发表了文章 2024-07-16 20:39:17

  基于Dataphin+Flink构建期货交易监察实时应用

  新一代证券交易监察系统利用大数据和实时计算技术强化风险控制、交易数据处理、识别异常交易等能力。通过Dataphin与Flink结合，构建期货交易监察实时数据应用；借助QuickBI用于打造实时看板和预警体系，实现期货交易监察的实时可视化分析和自动化预警。

2024年06月

• 06.27 09:50:34
  发表了文章 2024-06-27 09:50:34

  Dataphin实时研发任务资源预估与资源配置

  在企业用户使用Dataphin的实时研发模块时，有两个基本问题是必须考虑的： 1. 短期上线一个实时业务，需要准备多少资源？企业在未来一年中，需要提前准备多少服务器/云资源？ 2. 上线实时任务时，怎么配置需要的资源？ 本文对这两个问题做简单介绍，期望企业用户能够快速理解资源预估原理和资源配置方法。
• 06.21 14:40:31
  发表了文章 2024-06-21 14:40:31

  Dataphin中如何使用Hologres外表查询MaxCompute

  Hologres支持通过创建外部表来加速MaxCompute数据的查询，此方法用户直接在Hologres环境中访问和分析存储在MaxCompute中的数据，从而提高查询效率并简化数据处理流程。本文将介绍在 Dataphin 产品中如何实现这一操作。
• 06.21 14:02:27
  发表了文章 2024-06-21 14:02:27

  Dataphin中重跑与强制重跑的区别

  本文主要解析了Dataphin产品中重跑与强制重跑的区别及运行原理，推荐用户根据不同的场景选择适合的操作。
• 06.17 17:02:44
  发表了文章 2024-06-17 17:02:44

  行级权限登场，向繁琐的视图授权说拜拜

  为了解决视图授权和维护繁琐的问题，Dataphin V4.1 推出行级权限功能，支持灵活控制不同账号对计算引擎表的可见范围，帮助统一构建数据基座的企业，实现各子公司、大区、业务部之间的数据隔离。
• 06.17 16:30:40
  发表了文章 2024-06-17 16:30:40

  一文入门Dataphin实时集成

  Dataphin实时集成的读取和写入原理是什么？Dataphin实时集成和实时研发的区别是什么？Dataphin实时集成有哪些优势？本文一次讲清
• 06.13 16:26:39
  发表了文章 2024-06-13 16:26:39

  妙用Dataphin的Python三方包管理

  Dataphin 中的 Python 计算任务不随意增加内置 module 是为了避免安装包过大和升级时间延长。用户可通过执行 "pip list" 或 "pip3 list" 查看内置 module 列表。 Dataphin 的 Python 环境在镜像中固定，无法用户直接修改，但 v3.14 版本起支持在线安装或上传安装三方包，预安装后在任务中显式引入。对于依赖操作系统库的 module，用户需上传包含相应程序的自定义安装包进行预安装。此外，此功能也可扩展用于管理 shell 任务所需的系统程序。
• 06.05 15:52:33
  发表了文章 2024-06-05 15:52:33

  【企业实践】台州银行携手瓴羊Dataphin共建数据平台，打造小微金融治理新标杆

  台州银行数据治理项目携手瓴羊Dataphin，荣获中国信息通信研究院评为“2023年铸基计划高质量数字化转型典型优秀案例”、数字化研究机构沙丘社区选为“2024中国数据资产管理最佳实践案例”双重认可。

  
• 06.05 14:42:42
  发表了文章 2024-06-05 14:42:42

  DataphinV4.1大升级： 支持Lindorm开启高性价比数据治理，迎来“公共云半托管”云上自助新模式

  Dataphin 是阿里巴巴旗下的一个智能数据建设与治理平台，旨在帮助企业构建高效、可靠、安全的数据资产。在V4.1版本升级中，Dataphin 引入了Lindorm等多项新功能，并开启公共云半托管模式，优化代码搜索，为用户提供更加高效、灵活、安全的数据管理和运营环境，提升用户体验，促进企业数据资产的建设和价值挖掘。

  

2024年05月

• 05.31 14:24:11
  发表了文章 2024-05-31 14:24:11

  为API设置默认排序规则结果数据的正确性

  Dataphin数据服务支持API调用时通过OrderByList自定义排序，确保数据返回符合业务需求。默认排序在API设计时至关重要，因为它影响用户体验、数据一致性及查询正确性。新版本 Dataphin 提供了排序优先级设置，允许在SQL脚本或OrderByList中指定排序，以适应不同场景。
• 05.17 17:25:31
  发表了文章 2024-05-17 17:25:31

  公共日历调度及数据筛选：更符合业务场景的数据产出方式！

  在证券行业，数据处理和分析是核心任务之一，对于提供决策支持和市场分析至关重要。由于股市的特殊性，不同的市场（如沪深、港股等）拥有各自的交易日历，这意味着在非交易日，如周末或特定节假日，市场是关闭的，不产生任何交易数据。因此，证券行业的数据处理任务需紧密跟随这些交易日历的规律进行调度，以确保数据的准确性和实时性。

  
• 05.17 17:14:45
  发表了文章 2024-05-17 17:14:45

  灵活标签导出：一键满足多样化下游数据需求！

  Dataphin标签平台支持导出标签时同步导出代码名称，解决了业务人员理解代码值的难题。用户可选择导出标签值、代码名称或两者，支持多数据源一键建表，实现与业务系统无缝对接。

  
• 05.17 16:55:04
  发表了文章 2024-05-17 16:55:04

  行为关系支持配置码表：让标签加工与理解更直观！

  该功能解决了在行为分析和标签处理中，编码字段理解困难的问题。它允许标签开发人员在配置行为关系时直接关联码表，便于识别字段含义，同时，也让业务人员在查看标签时能直接看到真实含义，提高工作效率。此更新简化了工作流程，提升了标签资产的理解度。

  
• 05.16 20:32:33
  发表了文章 2024-05-16 20:32:33

  订阅数据标准变更，随时掌握标准动态，保障您的开发质量！

  小王是一名ETL工程师，面临数据标准频繁变化对规范开发带来的挑战。为帮助小王等开发者解决此类问题，DataphinV4.3版本新增“标准变更订阅”功能，支持便捷高效的配置、多种变更通知项、多渠道通知并提供了清晰可循的推送记录。这个新功能让小王在遵循数据标准的同时也能保证开发响应效率和数据质量，相关业务方和技术负责人都十分满意。
• 05.16 20:05:21
  发表了文章 2024-05-16 20:05:21

  再见手动编码，标准自动化编码规则来帮忙！

  标准管理员小S面临数据标准编码管理的挑战：编码格式不统一、编码值不可读活相关性差，手动管理耗时易出错。Dataphin新推出“标准编码规则”功能，可以实现一次配置批量生成编码，并通过自增序列、固定字符串和所属标准集编码的组合，保证编码相关性和灵活性，同时提供了编码规则变更后的批量订正功能，大大简化管理工作。小S对此表示高度满意。
• 05.08 15:08:04
  发表了文章 2024-05-08 15:08:04

  跨节点参数的缘起与今生

  Dataphin v3.13引入了跨节点参数功能，允许任务间传递消息。输出节点（如SQL、Shell、Python任务）能输出参数，输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括：金融企业的币种转换，其中汇率任务（输出节点）提供汇率，转换任务（输入节点）使用该汇率；以及产品目录更新检查，通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数，并在运维中进行补数据操作。

  
• 04.12 11:17:13
  发表了文章 2024-04-12 11:17:13

  Dataphin功能Tips系列（10）-质量分计算口径

  质量分大盘中的质量分计算口径是什么？

  
• 04.12 11:16:27
  发表了文章 2024-04-12 11:16:27

  Dataphin功能Tips系列（9）-Dataphin中安全的使用账号密码（2）

  在Dataphin中, 经常遇到需要连接外部服务来实现一些特定的功能, 如连接外部FTP检测FTP服务的连通性. 实现此类功能, 一般是使用shell或者Python代码任务. 由于外部服务大多都有访问鉴权, 就需要在shell/Python代码中向服务端发送账号密码(密钥)，如何在shell或者Python任务中安全的使用账号密码？

  
• 04.03 15:27:30
  发表了文章 2024-04-03 15:27:30

  DataphinV4.0来啦：自定义全局角色 ，实时研发覆盖全部署场景，个性化企业配置看本期

  本次V4.0版本升级，Dataphin支持自定义全局角色、自定义逻辑表命名规范、Flink on K8s的部署模式，提升企业级适配能力，灵活匹配企业特色；将集成任务快速从组件模式切换为脚本模式、支持外部触发类型节点等，提升研发平台易用性，助力高效开发便捷运维。
• 03.29 10:23:56
  发表了文章 2024-03-29 10:23:56

  Dataphin功能Tips系列（8）-Dataphin中安全的使用账号密码（1）

  在Dataphin中, 经常遇到需要连接外部服务来实现一些特定的功能, 如连接外部FTP检测FTP服务的连通性. 实现此类功能, 一般是使用shell或者Python代码任务. 由于外部服务大多都有访问鉴权, 就需要在shell/Python代码中向服务端发送账号密码(密钥)，如何在shell或者Python任务中安全的使用账号密码？

  
• 03.29 10:23:14
  发表了文章 2024-03-29 10:23:14

  Dataphin功能Tips系列（7）-维表版本策略

  在创建普通维度逻辑表和事实逻辑表关联维度时，如何配置维表版本策略？

  
• 03.29 10:21:26
  发表了文章 2024-03-29 10:21:26

  Dataphin功能Tips系列（6）-月调度周期任务补数据的业务日期选择

  一个销售额结算的周期任务的调度周期是月调度---每月1号进行调度，但是有一天调整了计算口径后希望重新计算过去几个月的销售额，此时补数据任务的业务日期应该如何选择？

  
• 03.22 11:32:40
  发表了文章 2024-03-22 11:32:40

  Dataphin 内置pyhive使用说明

  Dataphin内置pyhive使用说明
• 03.21 11:38:29
  发表了文章 2024-03-21 11:38:29

  Dataphin实时集成Oracle CDC相关问题排查

  本文档提供了Dataphin平台Oracle CDC实时集成相关问题排查指南，覆盖了权限等常见问题，旨在帮助快速定位和解决Oracle数据库变更数据捕获（CDC）集成过程中所可能遇到的技术难题，确保数据的实时、准确同步。
• 03.20 19:10:09
  发表了文章 2024-03-20 19:10:09

  有了 Dataphin v4.0，跨系统调度依赖再也不是难题

  Dataphin v4.0引入了新的触发式节点，用于解决多数据平台间的调度问题。当上游系统（如Unix的crontab）完成数据采集后，可通过触发式节点通知Dataphin开始拉取数据，避免传统轮询方式的效率低和资源占用。触发式节点需满足Dataphin OpenAPI开通和网络连通条件，并通过SDK进行外部触发。示例展示了如何创建和使用触发式节点，以及使用Java SDK模拟触发请求。
• 03.20 15:02:54
  发表了文章 2024-03-20 15:02:54

  Dataphin补数据又双叒叕升级了，支持筛选节点类型，支持输入或粘贴节点名称批量补数据

  Dataphin 4.0版本针对补数据操作进行了升级，旨在提升用户体验。在面对数据缺失问题时，如某企业因上游系统故障需紧急回刷历史数据，Dataphin提供了按节点类型筛选下游节点的功能，减少了手动操作的错误和时间消耗。对于大规模任务管理，如银行数据中心的历史数据补充，Dataphin支持按照节点名称批量补数据，提高了效率和准确性。此外，还优化了逻辑表补数据的性能，并允许配置超时任务自动重跑，以应对调度高峰。
• 03.19 20:26:33
  发表了文章 2024-03-19 20:26:33

  自定义全局角色，实现按岗赋权

  Dataphin作为企业级数据建设和治理平台，提供了丰富的产品功能，在日常使用的过程中，如何分配权限是管理员一直关心的问题。Dataphin V4.0版本支持自定义全局角色功能，帮助管理员实现按岗赋权，使管理员能够自由配置每个角色在Dataphin中的菜单和功能权限，确保平台的权限安全。
• 03.19 18:02:01
  发表了文章 2024-03-19 18:02:01

  智能推荐映射关系，加速数据标准落地进程

  在V4.0版本中，Dataphin推出了智能推荐映射关系功能，用户可以基于内置特征或创建自定义特征，对数据内容进行表示，并将其与数据标准关联，进而智能映射映射关系，尤其在字段分布广泛和命名多变的情况下，可以提高映射的准确性和效率，加速了数据标准实施。
• 03.19 17:51:49
  发表了文章 2024-03-19 17:51:49

  即席查询结果交互体验大升级，好用到爆

  Dataphin v4.0提升了即席查询体验，新增支持多条SQL语句同时执行并查看独立日志，允许用户移动或隐藏列，以及全屏查看结果。此外，为增强数据安全，引入了禁止数据复制的功能。新版本还优化了细节，如单行详细信息查看和更灵活的列管理，旨在提高数据分析效率并保障数据安全。
• 03.19 17:02:20
  发表了文章 2024-03-19 17:02:20

  偏好类标签支持自定义统计方式，标签场景覆盖更广

  在个性化营销场景，零售商必须理解顾客的行为才能更准确的预测客户需求，优化库存管理、制定营销策略，并提供个性化的购物体验，然而偏好类标签的加工不仅仅是简单的属性出现频次或最大值的统计，Dataphin V4.0版本新增了自定义统计的方式加工偏好标签，通过简单的配置即可完成复杂的标签加工场景。
• 03.19 16:57:30
  发表了文章 2024-03-19 16:57:30

  治理工作台升级，可手动录入质量问题，实现反馈有渠道、整改可跟踪

  Dataphin V4.0版本升级治理工作台，支持手动录入数据质量问题，新增对“标签”对象的问题管理，并且可对问题进行分类。问题清单和整改流程也进行了优化，手动录入的问题和自动识别的问题可统一整改追踪，并提供操作记录，以增强数据质量管理的响应速度和效率。
• 03.19 14:15:04
  发表了文章 2024-03-19 14:15:04

  质量规则支持自定义属性，规则管理更便捷

  随着企业数据治理开展到一定阶段，对质量监控规则的精细化管理诉求进一步提升，需要为质量规则配置更多属性信息以支持后续的统计的分析。Dataphin V4.0版本新增了自定义质量规则属性的能力，通过简单的配置即可实现灵活、高效的规则管理，满足多样化诉求。
• 03.06 10:09:20
  发表了文章 2024-03-06 10:09:20

  Dataphin功能Tips系列（5）-手工表上传及长期维护

  有些业务数据是手工excel维护的，这时我们要如何将数据上传至dataphin并进行维护？

  
• 03.01 09:41:55
  发表了文章 2024-03-01 09:41:55

  Dataphin功能Tips系列（4）-告警推送失败排查

  告警推送失败排查

  
• 03.01 09:40:51
  发表了文章 2024-03-01 09:40:51

  Dataphin功能Tips系列（3）-利用公共日历进行条件调度

  利用公共日历进行条件调度

  
• 03.01 09:39:52
  发表了文章 2024-03-01 09:39:52

  Dataphin功能Tips系列（2）-关联逻辑表主题式查询

  关联逻辑表主题式查询

  
• 03.01 09:37:32
  发表了文章 2024-03-01 09:37:32

  Dataphin功能Tips系列（1）-研发任务列表

  研发任务列表

  
• 02.23 11:52:01
  发表了文章 2024-02-23 11:52:01

  【一周快讯】数据治理洞察快讯2024.02.27

  第一时间了解数据治理领域的最新动态

  
• 02.04 22:11:47
  发表了文章 2024-02-04 22:11:47

  DataphinV3.14全新升级：数据研发突破全域覆盖，资产治理更加灵活可控

  DataphinV3.14支持传统数据库调用，带来全新高效研发体验，及时全面的数据保护、自定义监控和审批让数据治理更灵活自由。
• 02.04 14:30:11
  发表了文章 2024-02-04 14:30:11

  Dataphin公共云多租户数据源上云网络方案

  通过Dataphin公共云多租户的方式，可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。Dataphin部署在阿里云上，已有的数据源部署在本地机房，因此数据上云第一步，首先要打通网络。本文将介绍本地IDC机房的数据源网络打通的不同方案。
• 02.04 12:44:16
  发表了文章 2024-02-04 12:44:16

  Dataphin数据服务API开启IP白名单调用鉴权

  Dataphin数据服务API提供便捷的API开发及运维、应用调用权限管理等功能，为数据业务化提供了坚实的支撑。在应用调用API的时候，Dataphin可支持通过AcessKey方式的调用鉴权。而在企业内部网络中，也可以使用IP白名单方式简化调用。本文将为您介绍如何开启IP白名单的调用鉴权。
• 02.04 11:33:38
  发表了文章 2024-02-04 11:33:38

  Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL

  当前大数据时代背景下，企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景，但在将处理后的数据进一步同步至在线数据库系统，如ADB MySQL 3.0（阿里云自研的新一代云原生关系型数据库MySQL版）以支持实时查询、业务决策等需求时，可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度，实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中，显著提升数据迁移的速度和效率。
• 01.30 16:51:59
  发表了文章 2024-01-30 16:51:59

  Dataphin V3.14 版本升级｜研发平台更易用，治理能力更完备，企业级适配更灵活

  Dataphin V3.14 重磅升级，平台支持企业级适配，适配企业特色；研发体验易用性提升，数据研发更高效、任务运维更便捷；数据治理能力更完备，支持多对象批量操作，规则级告警配置、分级分类自动继承继承！

2024年03月

• 03.01 09:42:42
  发表了文章 2024-03-01 09:42:42

  “Dataphin功能tips”系列

  hello，大家好： 为了更好地引导广大用户深入探索和高效利用Dataphin全方位的数据智能能力，我们特别推出“Dataphin功能小Tips”系列，旨在通过生动直观的场景描述与对应的功能应用方案，以简洁明快的语言呈现，力求让每一位用户都能轻松解锁Dataphin中的每一个实用功能点。 这一系列内容专为提升您的使用体验而设计，期待能为大家解决实际问题、优化数据管理工作带来切实的帮助，在此，我们也诚挚邀请所有用户积极参与互动，随时分享您宝贵的使用心得与建议。您的反馈将是我们不断迭代优化的重要动力！