支付行业,如何通过日志大数据实现深度分析及风控

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 当下移动支付正逐渐走入千家万户。移动支付的优势在于哪里?便捷!而便捷的基础就是时效性强,可靠性高。本篇为你讲述日志易产品如何帮支付公司解决最根本的行业需求。

本文主要讲述针对支付行业,日志易产品如何通过日志大数据实现业务深度分析及风险控制。
伴随新的支付方式出现,近年来移动支付蓬勃发展,如何分析、利用海量交易数据,已成为当前支付企业面对的巨大难题。日志作为数据的载体,蕴含着丰富的信息,传统的日志分析方式低效而固化,无法应对数据体量大、格式不统一、增长速度快的现状,在交易出现异常及失败时,更难以满足实时处理、快速响应的需求。
本文讲述某支付公司采用日志易后,通过日志大数据实现业务深度分析及风险控制的实践经验。
screenshot

                          图片来自:前瞻网

本次分享结合企业自身对支付行业的理解,将支付行业的需求总结为以下三点:
一、监管合规
1、人民银行对支付机构的日志审计和安全合规规定;
2、开发访问日志的权限管理。
二、安全性
安全是支付公司非常重视的,安全风险有时会引起一些舆论导向,比如某些金融机构案件被媒体标注为特别关注;某某支付公司发现了资金线的问题,消费者的钱不知去向等,这些都是一个社会的关注的焦点。结合市场风险及大环境,支付行业的安全性需求具体表现在:
1、支付交易的安全性要求;
2、数据访问的安全性要求;
3、防止敏感信息的泄露等。
对支付行业来说,日志易产品在数据访问、权限要求等方面体现出很好的应用价值。
三、可靠性
1、定位及解决问题的时效性;
2、系统流程的可靠性。
众多支付公司,当前做的产品主要针对新兴支付行业,特别是当前较热门的移动支付。那么移动支付的优势在哪里?最主要的是便捷,而便捷的基础就是时效性强,可靠性高。为了更好发挥移动支付的便捷,支付公司对时效性,可靠性的要求很高,而这才是使用日志易大数据分析平台的深层次原因,日志易帮支付公司解决了最根本的行业需求,在可靠性方面展现了产品的价值。
支付公司日常业务方面的需求,涉及到以下场景:
1、多种不同的访问失败类型进行分类;
2、每天需要做应答码的统计排名、占比以及走势图;
3、每个分类统计结果在一张图分别展示每个应答码趋势;
4、统计当日支付失败数量并分析;
5、需要导出访问失败类型的汇总统计表;
6、成功交易占比分析。
该公司原有的解决方案存在一定的局限性,比如:手动工作耗时量大、实时性差、人为造成失误、分析维度不能灵活变动及决策滞后等等。
支付公司有时会根据业务需要,对数据进行收集、清理,包括日志数据的清理等。当人为参与数据操作过多时,会引起部分意想不到的失误,从而引发问题。另外一点就是,原有方案实时性差,会导致公司的很多业务流程优化非常滞后。支付行业IT人都知道,支付的维度是非常非常多的,做任何一笔支付,基础维度包括时间、金额、笔数等,还会有像交易地点、客户习性或者说需要根据支付数据研究客户的习性等等。一家支付公司不可能单纯做一个支付产品,所以支付产品包罗万象,聚合起来维度就更为复杂。
面对支付企业众多需求和行业的原有解决方案的短板,客户选择部署日志易产品后,实现了如下功能:
1、各交易系统中每笔交易的状态等信息,按时间戳归类进行分析统计、实时报表展示;
2、根据日志易实时统计的多个维度的报表、图表,更准确的做出故障点判断;
3、决策层更直观的看到每天、每周、每种交易类型的故障高峰期及故障问题分布。
screenshot

                        图1 日志易解决方案

该支付公司使用日志易产品实现的解决方案及一些需求:
1、产品角度来说,第一就是优化,充分满足客户需求,提升用户体验,第二是产品分析,第三是数字营销方面的要求;
2、从业务流程的角度或者说从合规角度来说,第一就是我们的业务流程分析,第二是后续的设备性能管理方面的要求。第三是合规方面的要求,最后是运维系统的预防性维护工作;
3、从日志易的数据收集角度来说,产品可以从支付公司的业务数据,也就是从交易数据抽取,然后可以从运维方面的IT数据、安全数据抽取,甚至可以从物联网去抽取一些数据。

screenshot

                   图2交易失败及类型统计可视化界面

图2是基于一些测试数据的呈现,因为支付有敏感性的要求,图标显示的ACP是随便举的一个渠道的简称。其中,对于一些访问,包括一些支付的实地情况可以做一个可视化的分析。上图呈现的一些可视化分析,包括对实时支付进行快速分析,统计其状态码,可以对其进行排名统计,做相关告警监控。
伴随产品的深入应用,日志易产品也会被接入到支付全流程分析和监控。
screenshot

                         图3 图表示例

电子支付如今已渗透入网购、转账、生活缴费、基金债券等居民的日常生活中,关系着国家经济及居民的生活质量,可谓任重而道远。日志易作为国内首家海量日志分析企业,一直致力于开发一款配置方便、功能强大的日志管理工具,以高品质的产品为金融行业用户信息化建设搭建高可靠平台,共同面对数字浪潮中更多的未知与挑战,实现支付企业对日志分析管理产品高效、实时、安全的需求。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
13天前
|
SQL 消息中间件 分布式计算
大数据-124 - Flink State 01篇 状态原理和原理剖析:状态类型 执行分析
大数据-124 - Flink State 01篇 状态原理和原理剖析:状态类型 执行分析
51 5
|
13天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1578 12
|
8天前
|
存储 SQL 分布式计算
湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
【10月更文挑战第7天】湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
12 1
|
13天前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
20 4
|
13天前
|
消息中间件 druid 大数据
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(二)
22 2
|
13天前
|
消息中间件 分布式计算 druid
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析(一)
37 1
|
13天前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
26 1
|
13天前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
16 1
|
11天前
|
SQL 分布式计算 大数据
大数据平台的毕业设计01:Hadoop与离线分析
大数据平台的毕业设计01:Hadoop与离线分析
|
13天前
|
存储 分布式计算 NoSQL
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
20 0