瓴羊Dataphin_个人页

2024年04月

• 04.12 11:17:13
  发表了文章 2024-04-12 11:17:13

  Dataphin功能Tips系列（10）-质量分计算口径

  质量分大盘中的质量分计算口径是什么？
• 04.12 11:16:27
  发表了文章 2024-04-12 11:16:27

  Dataphin功能Tips系列（9）-Dataphin中安全的使用账号密码（2）

  在Dataphin中, 经常遇到需要连接外部服务来实现一些特定的功能, 如连接外部FTP检测FTP服务的连通性. 实现此类功能, 一般是使用shell或者Python代码任务. 由于外部服务大多都有访问鉴权, 就需要在shell/Python代码中向服务端发送账号密码(密钥)，如何在shell或者Python任务中安全的使用账号密码？
• 04.03 15:27:30
  发表了文章 2024-04-03 15:27:30

  DataphinV4.0来啦：自定义全局角色 ，实时研发覆盖全部署场景，个性化企业配置看本期

  本次V4.0版本升级，Dataphin支持自定义全局角色、自定义逻辑表命名规范、Flink on K8s的部署模式，提升企业级适配能力，灵活匹配企业特色；将集成任务快速从组件模式切换为脚本模式、支持外部触发类型节点等，提升研发平台易用性，助力高效开发便捷运维。

2024年03月

• 03.29 10:23:56
  发表了文章 2024-03-29 10:23:56

  Dataphin功能Tips系列（8）-Dataphin中安全的使用账号密码（1）

  在Dataphin中, 经常遇到需要连接外部服务来实现一些特定的功能, 如连接外部FTP检测FTP服务的连通性. 实现此类功能, 一般是使用shell或者Python代码任务. 由于外部服务大多都有访问鉴权, 就需要在shell/Python代码中向服务端发送账号密码(密钥)，如何在shell或者Python任务中安全的使用账号密码？
• 03.29 10:23:14
  发表了文章 2024-03-29 10:23:14

  Dataphin功能Tips系列（7）-维表版本策略

  在创建普通维度逻辑表和事实逻辑表关联维度时，如何配置维表版本策略？
• 03.29 10:21:26
  发表了文章 2024-03-29 10:21:26

  Dataphin功能Tips系列（6）-月调度周期任务补数据的业务日期选择

  一个销售额结算的周期任务的调度周期是月调度---每月1号进行调度，但是有一天调整了计算口径后希望重新计算过去几个月的销售额，此时补数据任务的业务日期应该如何选择？
• 03.22 11:32:40
  发表了文章 2024-03-22 11:32:40

  Dataphin 内置pyhive使用说明

  Dataphin内置pyhive使用说明
• 03.21 11:38:29
  发表了文章 2024-03-21 11:38:29

  Dataphin实时集成Oracle CDC相关问题排查

  本文档提供了Dataphin平台Oracle CDC实时集成相关问题排查指南，覆盖了权限等常见问题，旨在帮助快速定位和解决Oracle数据库变更数据捕获（CDC）集成过程中所可能遇到的技术难题，确保数据的实时、准确同步。
• 03.20 19:10:09
  发表了文章 2024-03-20 19:10:09

  有了它，跨系统调度依赖再也不是难题

  Dataphin v4.0引入了新的触发式节点，用于解决多数据平台间的调度问题。当上游系统（如Unix的crontab）完成数据采集后，可通过触发式节点通知Dataphin开始拉取数据，避免传统轮询方式的效率低和资源占用。触发式节点需满足Dataphin OpenAPI开通和网络连通条件，并通过SDK进行外部触发。示例展示了如何创建和使用触发式节点，以及使用Java SDK模拟触发请求。
• 03.20 15:02:54
  发表了文章 2024-03-20 15:02:54

  Dataphin补数据又双叒叕升级了，支持筛选节点类型，支持输入或粘贴节点名称批量补数据

  Dataphin 4.0版本针对补数据操作进行了升级，旨在提升用户体验。在面对数据缺失问题时，如某企业因上游系统故障需紧急回刷历史数据，Dataphin提供了按节点类型筛选下游节点的功能，减少了手动操作的错误和时间消耗。对于大规模任务管理，如银行数据中心的历史数据补充，Dataphin支持按照节点名称批量补数据，提高了效率和准确性。此外，还优化了逻辑表补数据的性能，并允许配置超时任务自动重跑，以应对调度高峰。
• 03.19 20:26:33
  发表了文章 2024-03-19 20:26:33

  自定义全局角色，实现按岗赋权

  Dataphin作为企业级数据建设和治理平台，提供了丰富的产品功能，在日常使用的过程中，如何分配权限是管理员一直关心的问题。Dataphin V4.0版本支持自定义全局角色功能，帮助管理员实现按岗赋权，使管理员能够自由配置每个角色在Dataphin中的菜单和功能权限，确保平台的权限安全。
• 03.19 18:02:01
  发表了文章 2024-03-19 18:02:01

  智能推荐映射关系，加速数据标准落地进程

  在V4.0版本中，Dataphin推出了智能推荐映射关系功能，用户可以基于内置特征或创建自定义特征，对数据内容进行表示，并将其与数据标准关联，进而智能映射映射关系，尤其在字段分布广泛和命名多变的情况下，可以提高映射的准确性和效率，加速了数据标准实施。
• 03.19 17:51:49
  发表了文章 2024-03-19 17:51:49

  即席查询结果交互体验大升级，好用到爆

  Dataphin v4.0提升了即席查询体验，新增支持多条SQL语句同时执行并查看独立日志，允许用户移动或隐藏列，以及全屏查看结果。此外，为增强数据安全，引入了禁止数据复制的功能。新版本还优化了细节，如单行详细信息查看和更灵活的列管理，旨在提高数据分析效率并保障数据安全。
• 03.19 17:02:20
  发表了文章 2024-03-19 17:02:20

  偏好类标签支持自定义统计方式，标签场景覆盖更广

  在个性化营销场景，零售商必须理解顾客的行为才能更准确的预测客户需求，优化库存管理、制定营销策略，并提供个性化的购物体验，然而偏好类标签的加工不仅仅是简单的属性出现频次或最大值的统计，Dataphin V4.0版本新增了自定义统计的方式加工偏好标签，通过简单的配置即可完成复杂的标签加工场景。
• 03.19 16:57:30
  发表了文章 2024-03-19 16:57:30

  治理工作台升级，可手动录入质量问题，实现反馈有渠道、整改可跟踪

  Dataphin V4.0版本升级治理工作台，支持手动录入数据质量问题，新增对“标签”对象的问题管理，并且可对问题进行分类。问题清单和整改流程也进行了优化，手动录入的问题和自动识别的问题可统一整改追踪，并提供操作记录，以增强数据质量管理的响应速度和效率。
• 03.19 14:15:04
  发表了文章 2024-03-19 14:15:04

  质量规则支持自定义属性，规则管理更便捷

  随着企业数据治理开展到一定阶段，对质量监控规则的精细化管理诉求进一步提升，需要为质量规则配置更多属性信息以支持后续的统计的分析。Dataphin V4.0版本新增了自定义质量规则属性的能力，通过简单的配置即可实现灵活、高效的规则管理，满足多样化诉求。
• 03.06 10:09:20
  发表了文章 2024-03-06 10:09:20

  Dataphin功能Tips系列（5）-手工表上传及长期维护

  有些业务数据是手工excel维护的，这时我们要如何将数据上传至dataphin并进行维护？
• 03.01 09:42:42
  发表了文章 2024-03-01 09:42:42

  “Dataphin功能tips”系列

  hello，大家好： 为了更好地引导广大用户深入探索和高效利用Dataphin全方位的数据智能能力，我们特别推出“Dataphin功能小Tips”系列，旨在通过生动直观的场景描述与对应的功能应用方案，以简洁明快的语言呈现，力求让每一位用户都能轻松解锁Dataphin中的每一个实用功能点。 这一系列内容专为提升您的使用体验而设计，期待能为大家解决实际问题、优化数据管理工作带来切实的帮助，在此，我们也诚挚邀请所有用户积极参与互动，随时分享您宝贵的使用心得与建议。您的反馈将是我们不断迭代优化的重要动力！
• 03.01 09:41:55
  发表了文章 2024-03-01 09:41:55

  Dataphin功能Tips系列（4）-告警推送失败排查

  告警推送失败排查
• 03.01 09:40:51
  发表了文章 2024-03-01 09:40:51

  Dataphin功能Tips系列（3）-利用公共日历进行条件调度

  利用公共日历进行条件调度
• 03.01 09:39:52
  发表了文章 2024-03-01 09:39:52

  Dataphin功能Tips系列（2）-关联逻辑表主题式查询

  关联逻辑表主题式查询
• 03.01 09:37:32
  发表了文章 2024-03-01 09:37:32

  Dataphin功能Tips系列（1）-研发任务列表

  研发任务列表

2024年02月

• 02.23 11:52:01
  发表了文章 2024-02-23 11:52:01

  【一周快讯】数据治理洞察快讯2024.02.27

  第一时间了解数据治理领域的最新动态

  
• 02.04 22:11:47
  发表了文章 2024-02-04 22:11:47

  DataphinV3.14全新升级：数据研发突破全域覆盖，资产治理更加灵活可控

  DataphinV3.14支持传统数据库调用，带来全新高效研发体验，及时全面的数据保护、自定义监控和审批让数据治理更灵活自由。
• 02.04 14:30:11
  发表了文章 2024-02-04 14:30:11

  Dataphin公共云多租户数据源上云网络方案

  通过Dataphin公共云多租户的方式，可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。Dataphin部署在阿里云上，已有的数据源部署在本地机房，因此数据上云第一步，首先要打通网络。本文将介绍本地IDC机房的数据源网络打通的不同方案。
• 02.04 12:44:16
  发表了文章 2024-02-04 12:44:16

  Dataphin数据服务API开启IP白名单调用鉴权

  Dataphin数据服务API提供便捷的API开发及运维、应用调用权限管理等功能，为数据业务化提供了坚实的支撑。在应用调用API的时候，Dataphin可支持通过AcessKey方式的调用鉴权。而在企业内部网络中，也可以使用IP白名单方式简化调用。本文将为您介绍如何开启IP白名单的调用鉴权。
• 02.04 11:33:38
  发表了文章 2024-02-04 11:33:38

  Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL

  当前大数据时代背景下，企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景，但在将处理后的数据进一步同步至在线数据库系统，如ADB MySQL 3.0（阿里云自研的新一代云原生关系型数据库MySQL版）以支持实时查询、业务决策等需求时，可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度，实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中，显著提升数据迁移的速度和效率。

2024年01月

• 01.30 16:51:59
  发表了文章 2024-01-30 16:51:59

  Dataphin V3.14 版本升级｜研发平台更易用，治理能力更完备，企业级适配更灵活

  Dataphin V3.14 重磅升级，平台支持企业级适配，适配企业特色；研发体验易用性提升，数据研发更高效、任务运维更便捷；数据治理能力更完备，支持多对象批量操作，规则级告警配置、分级分类自动继承继承！
• 01.22 15:59:04
  发表了文章 2024-01-22 15:59:04

  Dataphin集成任务支持自定义FTP标记完成文件内容（V3.14）

  在文件传输的场景中，标记完成文件（有时也被称为标档文件）作为一种重要的确认机制被广泛应用。这一机制通过创建特定的“传输完成标识文件”，用于明确指示数据文件已成功完成全量传输，并达到可以进行下一步业务处理的状态，从而有效防止了基于不完整数据流的错误操作。
• 01.21 20:11:15
  发表了文章 2024-01-21 20:11:15

  标准审批灵活配置助力高效组织流程管理

  Dataphin 在 V3.14 版本中对标准审批设置功能进行了全面升级，支持按照标准集粒度对不同数据标准的审批流程进行配置：上线、下线审批可独立配置，支持免审批；此外，Dataphin 支持设置不同模块的审批流程使用的审批系统（内置或第三方审批系统），从而将标准管理流程和且 OA 流程进行更好的结合，助力提升组织流程的管理效率，推动业务发展。
• 01.17 20:02:06
  发表了文章 2024-01-17 20:02:06

  DataphinV3.14 Flink SQL任务支持基于Session集群调试，模拟生产代码逻辑的调试效果

  实时研发一直以来的都是通过local-debug的方式来调试开发中的Flink SQL任务，该方式有如下不足: 1. 支持的采样数据有限，且非是流式数据的调试。 2. 手动上传构造数据的方式较为繁琐，局限性较大。 为便于Flink SQL任务的调试，DataphinV3.14版本支持Flink SQL任务基于Session集群调试，期望做到像离线即席查询般方便地获取实时任务的输出结果，方便用户对线上的真实数据进行代码逻辑上的调试。

2023年12月

• 12.13 16:31:26
  发表了文章 2023-12-13 16:31:26

  Dataphin V3.13 支持实时计算任务列表，快速批量操作

  在一些场景中，常常需要支持通过筛选指定条件快速定位目标实时任务并进行批量操作，如：为了保证大促期间实时指标及时准确产出，在大促前需要找出一批相关的实时任务进行资源配置的调整，更高效利用可用计算资源，实现资源的动态分配和优化；当系统需要紧急响应某些情况（如故障恢复、资源冲突等）时，批量操作使得快速下线、替换或重启一组任务。 Dataphin V3.13版本中，新增实时计算任务列表，支持快速筛选任务和批量操作任务的功能，可以帮助更加高效地处理大量计算任务。
• 12.08 17:34:39
  发表了文章 2023-12-08 17:34:39

  不想跨集群传输数据？Dataphin自定义集群帮你搞定！

  Dataphin V3.13版本新增自定义注册调度集群功能。通过自定义注册不同集群并指定关联租户，可实现资源隔离管控；通过指定集成任务运行使用的资源组，可减少跨集群数据传输场景，降低流量带宽消耗，提高同步效率。
• 12.06 19:20:22
  发表了文章 2023-12-06 19:20:22

  新增离线集成任务列表，支持快速筛选任务并进行批量操作 【V3.13】

  离线集成任务列表提供了一个展示集成任务详细信息的页面，便于查看集成任务的各类信息。同时还支持根据任务的各类属性进行筛选。还支持根据来源与目标数据源或数据表进行任务的查找与筛选。便于在一些业务变更的时候，能快速筛选到所有任务，进行查看或批量修改的操作，提高开发与运维的效率。
• 11.22 13:23:38
  发表了文章 2023-11-22 13:23:38

  Dataphin（智能数据建设与治理）V3.13版本升级速览

  本次发布的V3.13 版本中，Dataphin 不仅提升了易用性，支持了计算任务批量操作（离线集成&实时计算任务）、运维列表查看及批量操作（实例排序、手动任务批量运行、逻辑表任务修改负责人）等功能；也新增了多个特色功能，如：任务传参及灵活调度（跨节点参数）、治理经验沉淀（质量知识库）、资产治理相关对象的跨租户发布（数据标准、安全）、跨集群资源调度、分析平台手工表等，以满足灵活、多样性的业务诉求。

2023年11月

• 11.13 22:02:56
  发表了文章 2023-11-13 22:02:56

  利用标签平台创建群组并通过API查询群组数据

  Dataphin的标签平台提供了 丰富强大的标签加工能力，支持多种类型标签开发，包括离线、实时等标签可视化加工。基于离线视图、实时视图、行为关系，可通过配置化的方式构建属性类、统计类标签、偏好类标签，以及与已有的标签创建衍生组合标签。通过构建及管理标签，形成良好的标签资产，可供上层的应用及业务系统使用。本文将介绍如何通过Dataphin OpenAPI圈选群组以及群组分页查询服务，让应用系统集成标签平台的标签及群组加工能力，进行群组的圈选、分析及投放。
• 11.09 16:37:08
  发表了文章 2023-11-09 16:37:08

  Dataphin实时研发实践—电商场景下的实时数据大屏构建

  实时数据大屏是实时计算的重要应用场景之一，广泛应用在电商业务中，用于实时监控和分析电商平台的运营情况。通过大屏展示实时的销售额、订单量、用户活跃度、商品热度等数据指标，帮助业务人员随时了解业务的实时状态，快速发现问题和机会。同时，通过数据可视化和趋势分析，大屏也提供了决策支持和优化运营的功能，帮助业务人员做出及时的决策和调整策略，优化电商业务的运营效果。 下面以电商业务为背景，介绍如何构建经典实时数仓，实现实时数据从业务库到ODS层、DWD层、DWS层全链路流转，基于Dataphin和Quick BI实现实时数据大屏。

2023年10月

• 10.10 10:23:11
  发表了文章 2023-10-10 10:23:11

  【Dataphin运维】解放双手，支持补数据任务定时调度和手动运行，轻松实现回刷历史数据

  Datatphin V3.11版本全新上线补数据任务功能，支持将单次补数据保存为补数据任务，保存补数据节点范围及运行规则；支持补数据任务定时调度，自动定期回刷历史数据；支持手动运行补数据任务。满足企业复杂多样的回刷历史数据的需求，减少人工操作成本。

2023年09月

• 09.15 11:15:27
  发表了文章 2023-09-15 11:15:27

  Dataphin（数据建设与治理）V3.12版本升级详情

  本次发布的V3.12 版本中，核心重点能力主要有 支持 StarRocks计算引擎适配；部署去除OSS/Ceph等存储依赖；分析平台支持query任务；质量分，数据标准结构升级支持标准模板，批量导入导出；实时研发支持等Flink SQL支持访问MySQL、Hologres、MaxCompute数据源中的表等 在下一个版本中，将支持自定义消息渠道，支持质量知识库，标准、安全支持跨租户发布，分析平台支持手工表等功能，还有很多其他新增能力与功能升级，敬请期待。
• 09.14 21:02:04
  发表了文章 2023-09-14 21:02:04

  Dataphin数据探查助力快速了解数据概貌，更早识别潜在风险

  在日常数据加工处理工作中，不同角色（运营、开发、数据分析师、业务人员等）尝尝会面临一个共同问题：数据是否可用？在数据量大、数据可信度不高的情况下，常常需要花费大量时间精力对数据进行校验，了解数据概貌并评估数据是否可用，也就是需要进行所谓的“数据探查”工作。因此，Dataphin 特别推出“数据探查”功能，只需要进行简单的配置，就可以周期性地执行探查任务并产出内容丰富、结果准确的可视化探查报告。此外，也可以保留历史的数据探查结果，便于结合历史数据进行对比分析，不仅降低了操作门槛，也能解放人力，提升工作效率。
• 09.07 18:23:54
  发表了文章 2023-09-07 18:23:54

  针对OSS数据集成场景下的功能全面优化【Dataphin V3.12]

  OSS（Object Storage Service）是对象存储服务，适用于存放各种文件类型，Dataphin已经支持连接到OSS进行文件数据的读取与写入。本期版本升级中，Dataphin对于OSS的数据同步场景做了全面的功能升级，包括数据源、输入组件与数据组件，一起来了解一下吧～
• 09.07 11:38:25
  发表了文章 2023-09-07 11:38:25

  Dataphin依赖周期和依赖策略详解

  Dataphin依赖周期和依赖策略详解
• 09.04 20:15:03
  发表了文章 2023-09-04 20:15:03

  数据质量最佳实践（5）：利用质量分和排行榜提升企业数据质量【Dataphin V3.12】

  在数据质量最佳实践（3）：通过质量治理工作台，实现质量问题的跟踪和处理这篇文章中，我们详细的介绍了如何通过治理工作台，对系统出现的一个一个具体质量问题进行治理。 但是对于企业整体的数据质量情况，我们该如何评估呢？以及如何寻找当前企业的数据质量短板，并有针对性的进行改进和提升呢？ 在Dataphin V3.12版本中，质量新增了质量分的能力，可以给数据表和质量规则配置打分权重和打分方式，从而获得全局、数据源、项目、负责人、数据表等维度的质量打分评估，帮助CDO判断企业整体的数据质量情况和数据质量问题的分布，从而有针对性的提升企业整体的数据质量水平。