暂无个人介绍
Dataphin运维中心支持任务调度配置、异常运行诊断、监控告警和重跑等运维操作,为数据有序产出和任务稳定运行保驾护航!
DataphinV3.6版本全新上线智能运维模块,支持基线监控和调度限流功能。基线监控能够快速捕捉导致基线上的任务无法按时完成的异常情况并提前预警,保障复杂依赖场景下重要数据能在预期时间内顺利产出,帮助您降低人工配置成本、提升监控及时性和准确性、避免无效报警,运维人员的好帮手,管理者的福音!
Dataphin V3.5版本上线了自动化的实例运行诊断的能力,从上游依赖、定时时间、限流规则、调度资源及实例执行 5 个阶段分析实例运行过程中可能产生的问题,从此运维人员再也不怕异常分析啦!
作为资产治理的重要一环,Dataphin 数据标准功能为标准的统一管理提供了灵活的产品化能力支持,同时也能减少人工监控成本,为标准的落地执行提供了强有力的保障,以提升企业整体数字能力建设的标准化成熟和资产的健康度。
Dataphin的发布管控功能支持基于用户已经设定好的管控规则及生效策略,在任务发布前执行对应的检查,以判断任务是否符合发布条件。针对校验不通过的任务,根据规则配置详情,会阻断发布流程(强管控)或给出警告提示但不阻塞发布(若管控),以增强平台的稳定性保障。
Dataphin V3.6版本全新上线概念建模、基线运维、全域数据质量监控、数据标准标准落标映射等核心功能,为企业建设贯穿事前、事中、事后的全链路数据治理能力添砖加瓦,助力提升资产价值。
Datatphin V3.4版本全新上线调度限流功能,支持根据业务优先级和资源情况,控制不同时间段内不同任务的下发数量。基于限流能力,不仅可以减少对底层计算引擎和上下游数据源的并发压力,保证高优任务优先分配调度及计算资源,任务能按序产出;同时也能实现故障异常场景下的快速止血,增强整体稳定性。
行为中心由行为元素、行为规则、行为看板组成。 部分标签的生产依赖行为数据。如“基于过去30天的消费行为数据,计算消费者的消费价格带偏好”;或“筛选出过去3个月小程序登录次数小于3次的会员,计算平均消费金额”,为指定相应的营销推广策略做准备。为了更规范化地管理行为数据,将不同来源、不同命名但是具有相似或相同业务含义的行为数据汇集起来,并简化后续标签配置流程,我们引入了行为元素和行为规则的概念。
ID中心主要用于定义实体ID类型以及配置已经开发好的ID映射表(ID映射表的开发目前是人工交付实施,非萃取模块功能)。基于此处定义的ID类型,后续构建行为或者标签时,可以直接选择并指定其在不同的数据来源表中对应的字段,以字段值作为ID值存储,以实现ID数据的规范化聚合。
在正式开始标签研发之前,首先需要对基于业务需求对标签使用场景、需求定义、统计口径、时效性等进行梳理,产出标签体系。标签体系的建设有三个核心要素:ID(用于区分和识别打标对象)、行为(标签计算依赖的来源数据,记录了实体的活动信息)、标签(用于描述实体特性的信息)。为了更好的管理核心要素,我们常常需要通过“分类”的方式对齐进行梳理,萃取的“平台管理”功能就提供了核心要素类目定义的能力。
介绍Dataphin不同类型任务当前支持的调度周期及配置说明
介绍天任务依赖小时任务、小时任务依赖小时任务的依赖关系及运行条件
留存率常用于反映用户粘性,当N取值越大、留存率越高时,用户粘性越高。本文为您介绍如何基于Dataphin智能研发开发留存率指标。