公共日历调度及数据筛选:更符合业务场景的数据产出方式!

简介: 在证券行业,数据处理和分析是核心任务之一,对于提供决策支持和市场分析至关重要。由于股市的特殊性,不同的市场(如沪深、港股等)拥有各自的交易日历,这意味着在非交易日,如周末或特定节假日,市场是关闭的,不产生任何交易数据。因此,证券行业的数据处理任务需紧密跟随这些交易日历的规律进行调度,以确保数据的准确性和实时性。

应用场景

某证券公司的标签开发人员小A,希望基于产品交易数据表来统计上个交易日的累计成交金额、累计成交份额、累计佣金等行为统计标签来分析用户成交的情况。这对于小A来说非常容易,他选择了基于产品交易数据表创建的行为关系,设置了“最近1天”的行为时间数据统计范围,对成交金额、成交份额、以及佣金进行累计求和,大功告成!

这周每天早上小A来到公司都能够看到标签产出的结果,对自己的工作成果非常满意,但第二周周一他来到公司后,发现突然没数据了。明明数据加工任务还是在调度的,为什么没数据呢?几番排查之后,小A恍然大悟:周末是非交易日,本来就没有数据产出。在这个场景下,小A其实需要的是上个交易日的统计数据,在非交易进行调度没有意义,既浪费资源也影响数据产出的准确性。

但是不用担心,Dataphin标签平台最新支持了公共日历调度,看看这个功能如何解决小A的问题。

功能概览

1)首先,小A需要提前Dataphin的规划模块创建好公共日历,比如“沪深交易日”,并给对应日期设置“交易日”标签,配置完成后即可在标签平台使用。


2)其次,小A还需确保该标签来源的行为关系数据仅在交易日进行调度,确保无效的任务执行,保障数据的准确性。在行为关系的运维配置页,可设置调度方式为条件调度,条件则是按照“沪深交易日”日历进行调度,非交易日暂停调度。

设置过后的条件列表如下图所示,系统将按照条件列表顺序进行规则命中,未命中的执行默认调度


3)最后,在行为关系的加工逻辑配置界面,行为时间的选择方式新增“基于日历”方式,小A只要将日历从“普通日历”切换为“沪深交易日”并配置条件为“交易日”即可实现“最近1天”的含义为“上个交易日”。这样,小A每天都能看到上个交易日的数据啦。

写在后面

有了这个功能,小A再也不用担心早上来没有数据了!不仅行为关系可以使用公共日历,离线数据集也可以使用公共日历进行调度以及进行数据筛选,更多功能等着你来发现!

相关文章
|
9月前
|
数据采集 人工智能
Dataphin X-数据质量,智能分析质量问题并推荐整改建议
针对数据治理中质量问题难发现、根因定位难、整改效率低等痛点,推出AI驱动的数据质量问题智能分析功能。通过智能分析异常、追溯根因、构建数据证据链,自动生成含改进建议与影响评估的质量报告,提升治理效率与决策可靠性。
435 3
|
7月前
|
人工智能 监控 架构师
智能体来了(西南总部)深度拆解:AI调度官与AI Agent指挥官的Prompt工程
“智能体来了(西南总部)”标志着大模型从技术底座迈向应用落地的关键转折。本文剖析多智能体协同架构,定义未来两大核心职业:AI Agent指挥官与AI调度官,揭示如何通过高维Prompt工程与RAG闭环,实现任务自动分派、资源高效协同,推动AGI在西南产业带的规模化落地,重构企业生产力逻辑。(238字)
345 4
|
数据采集 存储 数据处理
数据治理:如何制定数据标准与规范
在当今这个数据驱动的时代,数据已成为企业最宝贵的资产之一。然而,随着数据量的爆炸性增长和数据来源的多样化,如何有效地管理和利用这些数据成为了企业面临的重大挑战。数据治理作为确保数据质量、安全性、合规性和可访问性的关键过程,其核心在于制定并执行一套科学、合理的数据标准与规范。本文将探讨如何制定数据标准与规范,以推动企业的数据治理实践。
2664 3
|
Shell 网络安全 Python
妙用Dataphin的Python三方包管理
Dataphin 中的 Python 计算任务不随意增加内置 module 是为了避免安装包过大和升级时间延长。用户可通过执行 "pip list" 或 "pip3 list" 查看内置 module 列表。 Dataphin 的 Python 环境在镜像中固定,无法用户直接修改,但 v3.14 版本起支持在线安装或上传安装三方包,预安装后在任务中显式引入。对于依赖操作系统库的 module,用户需上传包含相应程序的自定义安装包进行预安装。此外,此功能也可扩展用于管理 shell 任务所需的系统程序。
644 0
|
人工智能 Java 程序员
通义灵码深度评测:AI程序员是效率革命,还是昙花一现?
在AI编程浪潮中,阿里云推出的通义灵码以“全栈AI程序员”定位强势入局。通过两周深度体验,这款基于通义大模型的工具展现了从代码补全到工程架构、跨语言开发、单元测试及错误排查的强大功能。它不仅大幅提升了开发效率,如节省60%以上的脚手架搭建时间,还在多文件协同和架构感知方面表现出色。尽管在复杂业务逻辑和框架特性理解上仍有提升空间,通义灵码已展现出颠覆性价值,使开发者能聚焦核心业务创新。
1130 5
|
SQL 分布式计算 关系型数据库
行为关系支持配置码表:让标签加工与理解更直观!
该功能解决了在行为分析和标签处理中,编码字段理解困难的问题。它允许标签开发人员在配置行为关系时直接关联码表,便于识别字段含义,同时,也让业务人员在查看标签时能直接看到真实含义,提高工作效率。此更新简化了工作流程,提升了标签资产的理解度。
517 3
行为关系支持配置码表:让标签加工与理解更直观!
灵活标签导出:一键满足多样化下游数据需求!
Dataphin标签平台支持导出标签时同步导出代码名称,解决了业务人员理解代码值的难题。用户可选择导出标签值、代码名称或两者,支持多数据源一键建表,实现与业务系统无缝对接。
427 2
灵活标签导出:一键满足多样化下游数据需求!
|
网络协议 Java API
【Java】Java Socket编程:建立网络连接的基础
【Java】Java Socket编程:建立网络连接的基础
411 1
|
机器学习/深度学习 存储 算法
使用支持向量机算法解决手写体识别问题
使用支持向量机算法解决手写体识别问题
269 2