公共日历调度及数据筛选:更符合业务场景的数据产出方式!

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在证券行业,数据处理和分析是核心任务之一,对于提供决策支持和市场分析至关重要。由于股市的特殊性,不同的市场(如沪深、港股等)拥有各自的交易日历,这意味着在非交易日,如周末或特定节假日,市场是关闭的,不产生任何交易数据。因此,证券行业的数据处理任务需紧密跟随这些交易日历的规律进行调度,以确保数据的准确性和实时性。

应用场景

某证券公司的标签开发人员小A,希望基于产品交易数据表来统计上个交易日的累计成交金额、累计成交份额、累计佣金等行为统计标签来分析用户成交的情况。这对于小A来说非常容易,他选择了基于产品交易数据表创建的行为关系,设置了“最近1天”的行为时间数据统计范围,对成交金额、成交份额、以及佣金进行累计求和,大功告成!

这周每天早上小A来到公司都能够看到标签产出的结果,对自己的工作成果非常满意,但第二周周一他来到公司后,发现突然没数据了。明明数据加工任务还是在调度的,为什么没数据呢?几番排查之后,小A恍然大悟:周末是非交易日,本来就没有数据产出。在这个场景下,小A其实需要的是上个交易日的统计数据,在非交易进行调度没有意义,既浪费资源也影响数据产出的准确性。

但是不用担心,Dataphin标签平台最新支持了公共日历调度,看看这个功能如何解决小A的问题。

功能概览

1)首先,小A需要提前Dataphin的规划模块创建好公共日历,比如“沪深交易日”,并给对应日期设置“交易日”标签,配置完成后即可在标签平台使用。


2)其次,小A还需确保该标签来源的行为关系数据仅在交易日进行调度,确保无效的任务执行,保障数据的准确性。在行为关系的运维配置页,可设置调度方式为条件调度,条件则是按照“沪深交易日”日历进行调度,非交易日暂停调度。

设置过后的条件列表如下图所示,系统将按照条件列表顺序进行规则命中,未命中的执行默认调度


3)最后,在行为关系的加工逻辑配置界面,行为时间的选择方式新增“基于日历”方式,小A只要将日历从“普通日历”切换为“沪深交易日”并配置条件为“交易日”即可实现“最近1天”的含义为“上个交易日”。这样,小A每天都能看到上个交易日的数据啦。

写在后面

有了这个功能,小A再也不用担心早上来没有数据了!不仅行为关系可以使用公共日历,离线数据集也可以使用公共日历进行调度以及进行数据筛选,更多功能等着你来发现!

相关文章
|
7月前
|
调度
Dataphin功能Tips系列(6)-月调度周期任务补数据的业务日期选择
一个销售额结算的周期任务的调度周期是月调度---每月1号进行调度,但是有一天调整了计算口径后希望重新计算过去几个月的销售额,此时补数据任务的业务日期应该如何选择?
163 4
Dataphin功能Tips系列(6)-月调度周期任务补数据的业务日期选择
|
2月前
|
数据处理 调度
Dataphin功能Tips系列(26)-事实逻辑表配置数据延迟
零售行业中,订单数据是每天晚上由pos系统同步至数据中台,但门店人员经常会没有及时将订单信息录入pos,也许隔天或是隔几天才录入,这会导致指标的不准确性,数据中台的开发人员往往需要进行批量补历史分区的数据,这时怎么才能减轻开发人员的工作,让系统能够自动补前几天分区中的事实逻辑表中的数据呢?
|
4月前
|
SQL 缓存 数据挖掘
数据平台问题之复合指标生成中维度能力如何处理
数据平台问题之复合指标生成中维度能力如何处理
|
7月前
灵活标签导出:一键满足多样化下游数据需求!
Dataphin标签平台支持导出标签时同步导出代码名称,解决了业务人员理解代码值的难题。用户可选择导出标签值、代码名称或两者,支持多数据源一键建表,实现与业务系统无缝对接。
灵活标签导出:一键满足多样化下游数据需求!
分页最好的作用是做好统计,可以用来基本条件列表的统计,可以用来统计多平台,使之呈现列表,预算统计,以及必要的技术,项目名称,常用链接
分页最好的作用是做好统计,可以用来基本条件列表的统计,可以用来统计多平台,使之呈现列表,预算统计,以及必要的技术,项目名称,常用链接
|
6月前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之如何配置周期任务(如工作流任务或调度任务)依赖于数据质量规则校验结果
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
87 0
|
7月前
|
监控
Dataphin功能Tips系列(10)-质量分计算口径
质量分大盘中的质量分计算口径是什么?
Dataphin功能Tips系列(10)-质量分计算口径
|
7月前
|
调度 SQL
|
7月前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之在DataWorks中,想分析单个数据域内多个业务过程的指标定义原子指标如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
57 0
|
PHP
php清洗数据实战案例(4):按照关联数组相同值名称进行筛选后对不同的指标予以合并计算的解决方案
php清洗数据实战案例(4):按照关联数组相同值名称进行筛选后对不同的指标予以合并计算的解决方案
68 0