公共日历调度及数据筛选:更符合业务场景的数据产出方式!

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在证券行业,数据处理和分析是核心任务之一,对于提供决策支持和市场分析至关重要。由于股市的特殊性,不同的市场(如沪深、港股等)拥有各自的交易日历,这意味着在非交易日,如周末或特定节假日,市场是关闭的,不产生任何交易数据。因此,证券行业的数据处理任务需紧密跟随这些交易日历的规律进行调度,以确保数据的准确性和实时性。

应用场景

某证券公司的标签开发人员小A,希望基于产品交易数据表来统计上个交易日的累计成交金额、累计成交份额、累计佣金等行为统计标签来分析用户成交的情况。这对于小A来说非常容易,他选择了基于产品交易数据表创建的行为关系,设置了“最近1天”的行为时间数据统计范围,对成交金额、成交份额、以及佣金进行累计求和,大功告成!

这周每天早上小A来到公司都能够看到标签产出的结果,对自己的工作成果非常满意,但第二周周一他来到公司后,发现突然没数据了。明明数据加工任务还是在调度的,为什么没数据呢?几番排查之后,小A恍然大悟:周末是非交易日,本来就没有数据产出。在这个场景下,小A其实需要的是上个交易日的统计数据,在非交易进行调度没有意义,既浪费资源也影响数据产出的准确性。

但是不用担心,Dataphin标签平台最新支持了公共日历调度,看看这个功能如何解决小A的问题。

功能概览

1)首先,小A需要提前Dataphin的规划模块创建好公共日历,比如“沪深交易日”,并给对应日期设置“交易日”标签,配置完成后即可在标签平台使用。


2)其次,小A还需确保该标签来源的行为关系数据仅在交易日进行调度,确保无效的任务执行,保障数据的准确性。在行为关系的运维配置页,可设置调度方式为条件调度,条件则是按照“沪深交易日”日历进行调度,非交易日暂停调度。

设置过后的条件列表如下图所示,系统将按照条件列表顺序进行规则命中,未命中的执行默认调度


3)最后,在行为关系的加工逻辑配置界面,行为时间的选择方式新增“基于日历”方式,小A只要将日历从“普通日历”切换为“沪深交易日”并配置条件为“交易日”即可实现“最近1天”的含义为“上个交易日”。这样,小A每天都能看到上个交易日的数据啦。

写在后面

有了这个功能,小A再也不用担心早上来没有数据了!不仅行为关系可以使用公共日历,离线数据集也可以使用公共日历进行调度以及进行数据筛选,更多功能等着你来发现!

相关文章
|
7月前
|
数据挖掘 数据建模 BI
Dataphin常见问题之衍生指标的计算逻辑需要写where和group条件如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
4月前
|
存储 算法 大数据
指标类需求问题之在商品开发和运营过程中,减少指标计算以节省人效要怎么操作
指标类需求问题之在商品开发和运营过程中,减少指标计算以节省人效要怎么操作
|
5月前
三类代码协同模式问题之对账方式主要类型然后解决
三类代码协同模式问题之对账方式主要类型然后解决
|
4月前
|
SQL 缓存 数据挖掘
数据平台问题之复合指标生成中维度能力如何处理
数据平台问题之复合指标生成中维度能力如何处理
|
4月前
|
JavaScript 前端开发 定位技术
云解析地图作业问题之在搭建页面中简化数据筛选的过程如何解决
云解析地图作业问题之在搭建页面中简化数据筛选的过程如何解决
33 0
分页最好的作用是做好统计,可以用来基本条件列表的统计,可以用来统计多平台,使之呈现列表,预算统计,以及必要的技术,项目名称,常用链接
分页最好的作用是做好统计,可以用来基本条件列表的统计,可以用来统计多平台,使之呈现列表,预算统计,以及必要的技术,项目名称,常用链接
|
7月前
|
监控
Dataphin功能Tips系列(10)-质量分计算口径
质量分大盘中的质量分计算口径是什么?
Dataphin功能Tips系列(10)-质量分计算口径
|
7月前
|
调度 SQL
|
7月前
|
人工智能 算法 测试技术
【简历优化平台-03】轻字段信息的合理性及单独算法
【简历优化平台-03】轻字段信息的合理性及单独算法
|
7月前
|
前端开发
【简历优化平台-02】缺失信息和不规范信息的过滤层
【简历优化平台-02】缺失信息和不规范信息的过滤层