重构支付宝商家账单问题之离线任务的稳定性问题该如何应对

简介: 重构支付宝商家账单问题之离线任务的稳定性问题该如何应对

问题一:在支付宝商家账单重构的删减阶段,需要主要进行了哪些工作?


在支付宝商家账单重构的删减阶段,需要主要进行了哪些工作?


参考回答:

在账单重构的删减阶段,需要进行了以下工作:

首先,将最终的对客账单字段拆解为不同领域的字段加工,如交易、账务等。

其次,按照面向领域建模的方式构建中间层,提前加工处理好所需字段。

然后,将这些字段拼接成账单因子层宽表,并根据加工规则清洗出最后的账单字段。

最后,通过清洗出账规则,过滤结果,产出最终的日明细账单。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/659377



问题二:在支付宝商家账单重构过程中,如何优化出账范围的问题?


在支付宝商家账单重构过程中,如何优化出账范围的问题?


参考回答:

在账单重构过程中,针对出账范围的问题进行优化。明确只有签约了指定产品的商户才能出账单,从而大幅减少处理该问题的任务数量,从原先的好几十个任务降低到10个以下,提高了出账的准确性和效率。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/659378



问题三:什么是离在线融合方案?它在账单重构中起到了什么作用?


什么是离在线融合方案?它在账单重构中起到了什么作用?


参考回答:

离在线融合方案是一种利用在线实时查询和离线批处理相结合的方法。在账单重构中,该方案通过UDF调用在线HTTP接口进行查询,以快速获取相关数据。对于失败的少数数据,再使用离线跨天关联的方式进行查漏补缺。这一方案预计可以大幅降低相关任务的计算成本,并进一步提高出账的时效性。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/659379



问题四:如何实现离线灰度方案?


如何实现离线灰度方案?


参考回答:

通过离线任务一次计算两套值的方式实现离线灰度方案。具体来说,跑一次任务,同时计算出线上值和灰度值,并分别记录在因子宽表的不同字段中。然后,通过控制模块来决定哪些账号使用灰度值。这种方案使得离线环境也能像在线环境一样进行灰度变更,减少对客户的影响。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/659380



问题五:如何应对离线任务的稳定性问题?


如何应对离线任务的稳定性问题?


参考回答:

采取两种方案来应对离线任务的稳定性问题。

首先是报错自动重跑方案,系统自动识别运行日志中的关键词,对于可重跑的报错任务进行自动重跑,减少了人工介入的需要。

其次是变慢自愈方案,当任务变慢时,系统会自动将任务复制到双跑链路执行,以提高任务的执行效率和稳定性。这两个方案共同提升了离线任务的稳定性。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/659381

相关文章
|
3月前
|
存储 运维 搜索推荐
重构支付宝商家账单问题之重构支付宝商家账单的目标是什么,如何实现
重构支付宝商家账单问题之重构支付宝商家账单的目标是什么,如何实现
|
4月前
|
数据格式
阿里商旅账单系统架构设计实践问题之系统设计中的清结算系统问题如何解决
阿里商旅账单系统架构设计实践问题之系统设计中的清结算系统问题如何解决
|
消息中间件 负载均衡 Java
5分钟轻松打造应对流量洪峰的稳定商城交易系统
本实验通过SAE极速部署一个微服务电商商城,同时结合RocketMQ异步解耦、削峰填谷的能力,带大家体验面对流量洪峰仍旧稳定可靠的商城交易系统!
|
消息中间件 负载均衡 Serverless
「5分钟打造应对流量洪峰的商城交易系统」清理及后续
【重要】体验完成后,如果您无需使用云消息队列RocketMQ 版、SAE和SLB,请按照如下操作及时清理和释放资源。
309 0
|
消息中间件 运维 应用服务中间件
5分钟轻松打造应对流量洪峰的稳定商城交易系统实验场景
本实验通过SAE极速部署一个微服务电商商城,同时结合RocketMQ异步解耦、削峰填谷的能力,带大家体验面对流量洪峰仍旧稳定可靠的商城交易系统!
348 0
|
存储 消息中间件 JavaScript
支付设计白皮书:支付系统的对账系统设计
支付设计白皮书:支付系统的对账系统设计
|
云安全 安全 网络安全
客户重要新业务上线,如何保障新业务上线安全?
客户重要新业务上线,如何保障新业务上线安全?
298 0
|
搜索推荐 开发者
介绍一些拉新的具体方案
以前我介绍过MECE法则(相互独立,完全穷尽),这是金字塔原理这本书里讲到的一个方法,在拆解一个大问题的时候很有用
137 0
介绍一些拉新的具体方案
|
监控 算法 安全
美团点评智能支付核心交易系统的可用性实践(下)
背景 每个系统都有它最核心的指标。比如在收单领域:进件系统第一重要的是保证入件准确,第二重要的是保证上单效率。清结算系统第一重要的是保证准确打款,第二重要的是保证及时打款。我们负责的系统是美团点评智能支付的核心链路,承担着智能支付100%的流量,内部习惯称为核心交易。因为涉及美团点评所有线下交易商家、用户之间的资金流转,对于核心交易来说:第一重要的是稳定性,第二重要的还是稳定性。
美团点评智能支付核心交易系统的可用性实践(下)