公共日历调度及数据筛选:更符合业务场景的数据产出方式!

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 在证券行业,数据处理和分析是核心任务之一,对于提供决策支持和市场分析至关重要。由于股市的特殊性,不同的市场(如沪深、港股等)拥有各自的交易日历,这意味着在非交易日,如周末或特定节假日,市场是关闭的,不产生任何交易数据。因此,证券行业的数据处理任务需紧密跟随这些交易日历的规律进行调度,以确保数据的准确性和实时性。

应用场景

某证券公司的标签开发人员小A,希望基于产品交易数据表来统计上个交易日的累计成交金额、累计成交份额、累计佣金等行为统计标签来分析用户成交的情况。这对于小A来说非常容易,他选择了基于产品交易数据表创建的行为关系,设置了“最近1天”的行为时间数据统计范围,对成交金额、成交份额、以及佣金进行累计求和,大功告成!

这周每天早上小A来到公司都能够看到标签产出的结果,对自己的工作成果非常满意,但第二周周一他来到公司后,发现突然没数据了。明明数据加工任务还是在调度的,为什么没数据呢?几番排查之后,小A恍然大悟:周末是非交易日,本来就没有数据产出。在这个场景下,小A其实需要的是上个交易日的统计数据,在非交易进行调度没有意义,既浪费资源也影响数据产出的准确性。

但是不用担心,Dataphin标签平台最新支持了公共日历调度,看看这个功能如何解决小A的问题。

功能概览

1)首先,小A需要提前Dataphin的规划模块创建好公共日历,比如“沪深交易日”,并给对应日期设置“交易日”标签,配置完成后即可在标签平台使用。


2)其次,小A还需确保该标签来源的行为关系数据仅在交易日进行调度,确保无效的任务执行,保障数据的准确性。在行为关系的运维配置页,可设置调度方式为条件调度,条件则是按照“沪深交易日”日历进行调度,非交易日暂停调度。

设置过后的条件列表如下图所示,系统将按照条件列表顺序进行规则命中,未命中的执行默认调度


3)最后,在行为关系的加工逻辑配置界面,行为时间的选择方式新增“基于日历”方式,小A只要将日历从“普通日历”切换为“沪深交易日”并配置条件为“交易日”即可实现“最近1天”的含义为“上个交易日”。这样,小A每天都能看到上个交易日的数据啦。

写在后面

有了这个功能,小A再也不用担心早上来没有数据了!不仅行为关系可以使用公共日历,离线数据集也可以使用公共日历进行调度以及进行数据筛选,更多功能等着你来发现!

相关文章
|
6月前
|
数据挖掘 数据建模 BI
Dataphin常见问题之衍生指标的计算逻辑需要写where和group条件如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
存储 算法 大数据
指标类需求问题之在商品开发和运营过程中,减少指标计算以节省人效要怎么操作
指标类需求问题之在商品开发和运营过程中,减少指标计算以节省人效要怎么操作
|
4月前
三类代码协同模式问题之对账方式主要类型然后解决
三类代码协同模式问题之对账方式主要类型然后解决
|
30天前
|
数据处理 调度
Dataphin功能Tips系列(26)-事实逻辑表配置数据延迟
零售行业中,订单数据是每天晚上由pos系统同步至数据中台,但门店人员经常会没有及时将订单信息录入pos,也许隔天或是隔几天才录入,这会导致指标的不准确性,数据中台的开发人员往往需要进行批量补历史分区的数据,这时怎么才能减轻开发人员的工作,让系统能够自动补前几天分区中的事实逻辑表中的数据呢?
|
3月前
|
SQL 缓存 数据挖掘
数据平台问题之复合指标生成中维度能力如何处理
数据平台问题之复合指标生成中维度能力如何处理
|
3月前
|
消息中间件 存储 算法
联通实时计算平台问题之亿级标签关联实现且不依赖外部系统要如何操作
联通实时计算平台问题之亿级标签关联实现且不依赖外部系统要如何操作
|
3月前
跨项目度量问题之了解各项目的存量工作量如何解决
跨项目度量问题之了解各项目的存量工作量如何解决
|
3月前
|
JavaScript 前端开发 定位技术
云解析地图作业问题之在搭建页面中简化数据筛选的过程如何解决
云解析地图作业问题之在搭建页面中简化数据筛选的过程如何解决
29 0
|
6月前
灵活标签导出:一键满足多样化下游数据需求!
Dataphin标签平台支持导出标签时同步导出代码名称,解决了业务人员理解代码值的难题。用户可选择导出标签值、代码名称或两者,支持多数据源一键建表,实现与业务系统无缝对接。
灵活标签导出:一键满足多样化下游数据需求!
分页最好的作用是做好统计,可以用来基本条件列表的统计,可以用来统计多平台,使之呈现列表,预算统计,以及必要的技术,项目名称,常用链接
分页最好的作用是做好统计,可以用来基本条件列表的统计,可以用来统计多平台,使之呈现列表,预算统计,以及必要的技术,项目名称,常用链接
下一篇
无影云桌面