重构支付宝商家账单问题之离线任务的稳定性问题该如何应对

简介: 重构支付宝商家账单问题之离线任务的稳定性问题该如何应对

问题一:在支付宝商家账单重构的删减阶段,需要主要进行了哪些工作?


在支付宝商家账单重构的删减阶段,需要主要进行了哪些工作?


参考回答:

在账单重构的删减阶段,需要进行了以下工作:

首先,将最终的对客账单字段拆解为不同领域的字段加工,如交易、账务等。

其次,按照面向领域建模的方式构建中间层,提前加工处理好所需字段。

然后,将这些字段拼接成账单因子层宽表,并根据加工规则清洗出最后的账单字段。

最后,通过清洗出账规则,过滤结果,产出最终的日明细账单。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/659377



问题二:在支付宝商家账单重构过程中,如何优化出账范围的问题?


在支付宝商家账单重构过程中,如何优化出账范围的问题?


参考回答:

在账单重构过程中,针对出账范围的问题进行优化。明确只有签约了指定产品的商户才能出账单,从而大幅减少处理该问题的任务数量,从原先的好几十个任务降低到10个以下,提高了出账的准确性和效率。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/659378



问题三:什么是离在线融合方案?它在账单重构中起到了什么作用?


什么是离在线融合方案?它在账单重构中起到了什么作用?


参考回答:

离在线融合方案是一种利用在线实时查询和离线批处理相结合的方法。在账单重构中,该方案通过UDF调用在线HTTP接口进行查询,以快速获取相关数据。对于失败的少数数据,再使用离线跨天关联的方式进行查漏补缺。这一方案预计可以大幅降低相关任务的计算成本,并进一步提高出账的时效性。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/659379



问题四:如何实现离线灰度方案?


如何实现离线灰度方案?


参考回答:

通过离线任务一次计算两套值的方式实现离线灰度方案。具体来说,跑一次任务,同时计算出线上值和灰度值,并分别记录在因子宽表的不同字段中。然后,通过控制模块来决定哪些账号使用灰度值。这种方案使得离线环境也能像在线环境一样进行灰度变更,减少对客户的影响。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/659380



问题五:如何应对离线任务的稳定性问题?


如何应对离线任务的稳定性问题?


参考回答:

采取两种方案来应对离线任务的稳定性问题。

首先是报错自动重跑方案,系统自动识别运行日志中的关键词,对于可重跑的报错任务进行自动重跑,减少了人工介入的需要。

其次是变慢自愈方案,当任务变慢时,系统会自动将任务复制到双跑链路执行,以提高任务的执行效率和稳定性。这两个方案共同提升了离线任务的稳定性。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/659381

相关文章
|
存储 Java 计算机视觉
Java代码居然可以做出如此高级的图片编辑系统
Java代码居然可以做出如此高级的图片编辑系统
574 0
SpringCloud极简入门-Feign开启Hystrix
1.支付服务集成Hystrix 官方文档:https://cloud.spring.io/spring-cloud-static/Greenwich.SR5/single/spring-cloud.html#spring-cloud-feign-hystrix 支付服务 springcloud-pay-server-1040 之前集成了Feign,修改该工程集成Hystrix。我们除了要给Feign开启Hystrix以外还需要为Feign接口编写托底类。
440 0
|
存储 SQL 缓存
StarRocks常见面试问题(一)
StarRocks常见面试问题(一)
|
9月前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Neck】| NeurIPS 2023 融合GOLD-YOLO颈部结构,强化小目标检测能力
YOLOv11改进策略【Neck】| NeurIPS 2023 融合GOLD-YOLO颈部结构,强化小目标检测能力
707 9
YOLOv11改进策略【Neck】| NeurIPS 2023 融合GOLD-YOLO颈部结构,强化小目标检测能力
|
11月前
|
监控 NoSQL Java
若依RuoYi项目环境搭建教程(RuoYi-Vue + RuoYi-Vue3版本)
若依(RuoYi)是一款基于Spring Boot和Vue.js的开源Java快速开发脚手架,支持OAuth2、JWT鉴权,集成多种安全框架和持久化框架。它提供了系统管理、监控管理、任务调度、代码生成等常用功能模块,适合中小型公司快速搭建Web应用。本文主要介绍若依框架的特点、版本发展、优缺点及项目部署步骤,帮助开发者快速上手并部署若依项目。
13109 3
若依RuoYi项目环境搭建教程(RuoYi-Vue + RuoYi-Vue3版本)
|
SQL 数据可视化 前端开发
从探索式数据分析到现代 BI 仪表盘:Superset 2.0
从探索式数据分析到现代 BI 仪表盘:Superset 2.0
829 0
|
Oracle Java 关系型数据库
JLink 使用教程:从入门到精通
本文提供了JLink工具的使用教程,包括入门、进阶和高级篇,涉及创建运行时镜像、添加模块、自定义启动器、压缩镜像、自定义运行时参数和配置文件等内容,旨在帮助用户创建独立的Java应用程序运行时环境。
1656 0
|
存储 监控 供应链
账单系统-架构设计思路(对外版)
阿里商旅背景阿里商旅作为飞猪旅行旗下面向企业客户的数字化差旅解决方案产品,依托飞猪旅行机票、酒店供应链,为企业客户提供一站式的机票、酒店、火车票、用车等预订管控及结算票据服务。阿里商旅不仅是集团欢行的供应商,而且近几年在商业化差旅市场上崭露头角,服务了2万+中大型客户,43万+小微企业。FY22财年商旅技术团队重点规划在酒店供应链、预订管控服务、B+C客户服务、渠道及商旅基础建设等核心方向进行建设
5255 2
账单系统-架构设计思路(对外版)
|
Web App开发 存储 文字识别
云笔记横向评测:印象笔记、有道云笔记、为知笔记、OneNote、Notion、FlowUs、Wolai、飞书、语雀
某款软件是否好用,既需要根据其功能特性评估其优点和缺点,也需要分析用户的基本需求。以下是常见云笔记的深度评测。 云笔记评测标准:分析每款笔记软件的核心特色、优点、缺点及使用场景。 具体包括:印象笔记、有道云笔记、为知笔记、OneNote、Notion、FlowUs、Wolai、飞书、语雀
4284 0
云笔记横向评测:印象笔记、有道云笔记、为知笔记、OneNote、Notion、FlowUs、Wolai、飞书、语雀
|
存储 监控 供应链
一文讲透阿里商旅账单系统架构设计实践
阿里商旅作为飞猪旅行旗下面向企业客户的数字化差旅解决方案产品,依托飞猪旅行机票、酒店供应链为企业客户提供一站式的机票、酒店、火车票、用车等预订管控及结算票据服务。阿里商旅不仅是集团欢行的供应商,而且近几年在商业化差旅市场上崭露头角,服务了2万+中大型客户,43万+小微企业。