公共日历调度及数据筛选:更符合业务场景的数据产出方式!

简介: 在证券行业,数据处理和分析是核心任务之一,对于提供决策支持和市场分析至关重要。由于股市的特殊性,不同的市场(如沪深、港股等)拥有各自的交易日历,这意味着在非交易日,如周末或特定节假日,市场是关闭的,不产生任何交易数据。因此,证券行业的数据处理任务需紧密跟随这些交易日历的规律进行调度,以确保数据的准确性和实时性。

应用场景

某证券公司的标签开发人员小A,希望基于产品交易数据表来统计上个交易日的累计成交金额、累计成交份额、累计佣金等行为统计标签来分析用户成交的情况。这对于小A来说非常容易,他选择了基于产品交易数据表创建的行为关系,设置了“最近1天”的行为时间数据统计范围,对成交金额、成交份额、以及佣金进行累计求和,大功告成!

这周每天早上小A来到公司都能够看到标签产出的结果,对自己的工作成果非常满意,但第二周周一他来到公司后,发现突然没数据了。明明数据加工任务还是在调度的,为什么没数据呢?几番排查之后,小A恍然大悟:周末是非交易日,本来就没有数据产出。在这个场景下,小A其实需要的是上个交易日的统计数据,在非交易进行调度没有意义,既浪费资源也影响数据产出的准确性。

但是不用担心,Dataphin标签平台最新支持了公共日历调度,看看这个功能如何解决小A的问题。

功能概览

1)首先,小A需要提前Dataphin的规划模块创建好公共日历,比如“沪深交易日”,并给对应日期设置“交易日”标签,配置完成后即可在标签平台使用。


2)其次,小A还需确保该标签来源的行为关系数据仅在交易日进行调度,确保无效的任务执行,保障数据的准确性。在行为关系的运维配置页,可设置调度方式为条件调度,条件则是按照“沪深交易日”日历进行调度,非交易日暂停调度。

设置过后的条件列表如下图所示,系统将按照条件列表顺序进行规则命中,未命中的执行默认调度


3)最后,在行为关系的加工逻辑配置界面,行为时间的选择方式新增“基于日历”方式,小A只要将日历从“普通日历”切换为“沪深交易日”并配置条件为“交易日”即可实现“最近1天”的含义为“上个交易日”。这样,小A每天都能看到上个交易日的数据啦。

写在后面

有了这个功能,小A再也不用担心早上来没有数据了!不仅行为关系可以使用公共日历,离线数据集也可以使用公共日历进行调度以及进行数据筛选,更多功能等着你来发现!

相关文章
|
7月前
|
SQL 分布式计算 关系型数据库
Dataphin x Paimon 开箱即用的数据湖治理解决方案
Dataphin深度集成Apache Paimon,通过全链路功能适配和性能优化,为企业提供开箱即用的数据湖治理解决方案。
437 2
|
6月前
|
机器人 数据中心
Dataphin功能Tips系列(79)精准获知标准更新动态,协同治理更高效
Dataphin支持数据标准变更订阅,可实时通过站内信、邮箱或钉群机器人通知相关人员,确保业务及时响应。用户可通过标准列表、个人中心等入口批量订阅,变更消息包含状态、版本及跳转链接,便于快速查看与处理。
223 8
|
8月前
|
SQL 数据管理 API
【产品升级】Dataphin V5.2 全新上线:四大能力升级,数据管理更统一、更智能!
Dataphin是阿里巴巴推出的数据建设与治理平台,提供全链路数据服务,助力企业构建标准化数据资产体系。V5.2版本新增“数据资产一站式运营平台”,引入X-数据管家、X-ETL等智能应用,提升数据运营效率。开发平台全面升级,支持多云复杂环境,强化API行级权限管控,保障数据安全。新版还适配国际化多时区场景,助力企业高效协同,释放数据价值。
561 9
|
12天前
|
人工智能 自然语言处理 安全
Claude Code 全攻略:命令大全 + 实战工作流(建议收藏)
本文介绍了Claude Code终端AI助手的使用指南,主要内容包括:1)常用命令如版本查看、项目启动和更新;2)三种工作模式切换及界面说明;3)核心功能指令速查表,包含初始化、压缩对话、清除历史等操作;4)详细解析了/init、/help、/clear、/compact、/memory等关键命令的使用场景和语法。文章通过丰富的界面截图和场景示例,帮助开发者快速掌握如何通过命令行和交互界面高效使用Claude Code进行项目开发,特别强调了CLAUDE.md文件作为项目知识库的核心作用。
11806 37
Claude Code 全攻略:命令大全 + 实战工作流(建议收藏)
|
7月前
|
Web App开发 数据挖掘 网络安全
Playwright MCP 实现小红书全自动发布的全流程指南
本文为小红书运营者带来一份实用指南:通过Playwright MCP技术,只需一次手动登录即可实现图文自动发布。教程从环境配置到完整脚本编写,手把手教你搭建稳定高效的无人值守发布系统,彻底解决登录验证难题。
|
数据采集 存储 数据处理
数据治理:如何制定数据标准与规范
在当今这个数据驱动的时代,数据已成为企业最宝贵的资产之一。然而,随着数据量的爆炸性增长和数据来源的多样化,如何有效地管理和利用这些数据成为了企业面临的重大挑战。数据治理作为确保数据质量、安全性、合规性和可访问性的关键过程,其核心在于制定并执行一套科学、合理的数据标准与规范。本文将探讨如何制定数据标准与规范,以推动企业的数据治理实践。
2344 3
|
弹性计算 Linux 数据安全/隐私保护
2025最新幻兽帕鲁palworld服务器搭建教程:新手0基础,超简单~
阿里云提供2025年最新幻兽帕鲁游戏服务器申请购买及一键开服教程。支持4核16G(70元/月,8人)和8核32G(160元/月,20人)配置,带宽10M,ESSD云盘100GB。玩家只需选择配置、地域、操作系统并设置密码,系统自动部署游戏程序。本地安装STEAM客户端后,输入服务器IP和端口8211即可开始游戏。详细教程及更多问题解答请访问阿里云幻兽帕鲁游戏专区。
1154 56
行为关系支持配置码表:让标签加工与理解更直观!
该功能解决了在行为分析和标签处理中,编码字段理解困难的问题。它允许标签开发人员在配置行为关系时直接关联码表,便于识别字段含义,同时,也让业务人员在查看标签时能直接看到真实含义,提高工作效率。此更新简化了工作流程,提升了标签资产的理解度。
382 3
行为关系支持配置码表:让标签加工与理解更直观!
灵活标签导出:一键满足多样化下游数据需求!
Dataphin标签平台支持导出标签时同步导出代码名称,解决了业务人员理解代码值的难题。用户可选择导出标签值、代码名称或两者,支持多数据源一键建表,实现与业务系统无缝对接。
306 2
灵活标签导出:一键满足多样化下游数据需求!