表格存储在互联网风控和金融数据服务上的应用实践

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
日志服务 SLS,月写入数据量 50GB 1个月
简介: 引言 当前,第三方支付、P2P网贷、宝宝类理财、众筹等金融产品层出不穷,随着金融知识的普及,全民参与又进一步促进了互联网的发展。海量交易数据,实时在线访问,业务快速的迭代变化都对传统金融解决方案提出了更高的要求,而互联网金融本身的开放性,低门槛,征信信息的缺乏,又容易发生各类风险问题,这有给传统金

引言

当前,第三方支付、P2P网贷、宝宝类理财、众筹等金融产品层出不穷,随着金融知识的普及,全民参与又进一步促进了互联网的发展。海量交易数据,实时在线访问,业务快速的迭代变化都对传统金融解决方案提出了更高的要求,而互联网金融本身的开放性,低门槛,征信信息的缺乏,又容易发生各类风险问题,这有给传统金融解决方案带来的新的挑战。借助云计算、大数据、搜索引擎等新一代高新技术,给互联网金融带来了新的机会。

新兴的互联网金融数据主要有以下几个特点:

海量数据

由于参与的人数众多且活跃度较高,日交易单数通常能够达到十万甚至是百万级别,很容易达到一个传统关系型数据库的单表上限。

快速迭代的业务模式

互联网金融需要不断发现新的机会,扩展新的业务模式,对底层的数据模型灵活性有非常高的要求。

访问并发波峰波谷明显

促销活动、新产品发售或者是特殊的节假日都会让访问并发暴增几个量级,每天的访问量也会和时间段有着密切的关系。

低延时

互联网产品更加注重用户体验,金融风控需要在极短的时间内做出风险判断。

强烈的分析需求

互联网金融可以从历史交易信息和用户行为日志中对用户进行多维分析,从而进一步降低金融风险。

系统稳定可靠

业务需要7*24小时运行,部分硬件故障不能影响业务运行。

数据安全

金融数据从来都需要最高的安全等级,必须保证机器宕机等硬件故障不会造成数据丢失,同时数据不会被窃取、泄露。

阿里云表格存储是一款全托管的NoSQL数据存储服务,支持 海量数据 的存储和 单个毫秒级 的单行平均访问延时, 无缝扩展和弹性资源 都非常适合金融场景,更支持到 表级别和API级别 的授权管理以及 虚拟网络VPC ,全方位保障数据安全。

PS:阿里云专为微金融行业量身定制的金融云中也有表格存储哦。

下面基于表格存储现有的金融客户案例,和大家分享一下表格存储在互联网风控和金融数据服务上的应用实践。

互联网风控

传统金融的风险控制,主要是基于央行的征信数据及银行体系内的生态数据依靠人工审核完成,一方面国内的征信服务并不完善,另外一方面,人工审核的速度也远远适应不了巨大的风控需求。

但是依托与云计算的大数据存储与分析,结合用户的网上消费行为数据、通讯数据、信用卡数据、第三方征信数据等丰富而全面的数据,让系统来完成风险判断,大大提高了风控的效率和准确率。

目前大多数风控系统都是使用内存数据库存储风控数据信息来保证风控系统的实时性,虽然内存数据库有极低的相应延时,但是出现宕机等机器故障,风控数据就会丢失,造成风控系统的不可用,且使用内存数据库也导致风控系统水平扩展较为困难。表格存储在读写性能上与风控数据库没有太明显差别,能够满足风控场景的需要,并且保证了数据的持久化和高可用。

基于表格存储的风控系统架构如下图:

_

风控事件的处理流程如下:

1.登录

用户在登录时会根据用户登录的ip、解锁行为等进行登录风控判断,防止用户被盗号或者设备丢失造成进一步损失。表格存储的多版本特性可以只保留用户最近若干次的登录信息,较早的登录信息系统会自动删除,无需系统维护登录信息。
比如风控系统需要最用户最近10次的登录地点进行验证,来判断是否需要用户提供更多的信息来登录。设置用户登录信息最大版本为10,当用户第11次登录时,最早的登录信息会被系统自动删除。风控系统在读取的时候读取该用户的登录信息,指定读取的版本为10,则会读出最近10次的登录信息,大大减小了系统的复杂度。

2. 行为记录

当用户进行交易或其他行为事件时,系统将用户行为写入表格存储中。

3. 分析计算

定期使用大数据计算服务(Max Compute)或者StreamSQL对用户行为日志结合用户信息库进行分析,得到用户的信用结果,更新该用户在风控数据库中的信用度、可用额度、偏好等征信数据信息。

4. 风控计算

当需要进行风控的事件产生时,风控引擎会根据触发事件从风控模型库中读取相应的风控模型集合,对从风控数据库中读取该用户的征信数据依次进行计算,来判断此次事件是否准入。

以线上支付为例,当用户在国外某地进行一笔5万块的线上交易,从风控模型库中读取相应的风控模型集合中需要对用户的额度和交易地点进行判断,从风控数据库中拿到的用户征信信息中,用户的额度为10万,但是上次交易发生在1个小时前,且地点为国内,那么额度判断PASS,交易地点判断FAIL,那么此次交易有盗刷或者欺诈嫌疑,系统则判定此次交易失败。

从上述对风控系统的描述中,我们不难发现,进行线上交易时,风控系统的介入时间需要足够短以保证终端的用户体验,那么对读取用户征信数据的延时有着非常高的要求,风控模型库越丰富,交易风险也就会越小。

同时,不断扩展的新业务也会需要新的风控模型,用户的征信信息也会不断发生变化,表格存储SchemaFree的稀疏表结构免去繁琐的表结构变更操作,保证了上层业务的灵活性。

风控不仅仅在互联网金融上是强需求,在互联网社交上也起着非常重要的作用。

金融交易数据在线服务系统

除了风控系统,海量交易数据的收集、清洗、存储、实时访问和分析也对传统的解决方案提出了很大的挑战。让我们来看看表格存储配合众多云产品是如何来面对这些挑战的。

基于表格存储的金融数据服务系统架构如下图:

_

数据采集

一般的金融系统中,用户的交易记录或者行为数据会直接上传至应用服务器进行数据校验或数据清洗,但当终端用户规模较大时,为了避免交易记录或行为数据在客户端堆积,需要大量的应用服务器来保证数据处理的实时性。这个时候,可以将用户数据写入消息队列中(消息服务MNS),再有应用程序订阅消息队列中的数据,当有新的数据到达,触发应用服务的清晰逻辑。

PS:消息服务能够起到将业务访问流量削峰填谷的作用,同时也降低了数据收集与数据处理系统之间的耦合性。

数据清洗

数据的校验、清洗与用户的业务逻辑密切相关。可以在ECS上搭建应用服务来对数据做出处理,也可以通过StreamSQL对数据进行清洗、计算、汇总。Stream Compute无缝对接后端的大数据计算服务(Max Compute)和表格存储等云产品。

数据存储与分析

对于经过数据校验、清洗之后的数据,一方面需要流入到历史交易数据库中,提供给在线业务层进行实时访问,比如历史交易查询,简单的汇总分析,比如某个用户最近一周的交易记录,交易金额趋势等。由于表格存储目前还不支持索引,可以根据业务查询需求建立相应的索引表,数据流入时,根据需要写入多张索引表中。比如根据交易机构的历史查询或者基于交易类别的历史查询。
另外一方面,数据需要流入大数据计算平台中,对用户行为进行分析,比如使用机器学习根据用户的历史交易金额计算出用户的信用分和信用额度等征信信息。

在线业务层

这一层直接对终端用户提供服务,比如用户的历史交易查询、第三方征信信息获取,简单的行为趋势分析计算。

这一层的再线业务查询中,有简单的用户交易流水查询,也有对固定的分析结果的查询,比如用户的月度交易情况,也有部分多维度的查询需求,比如来自某一个交易机构的或者交易区间的交易流水查询。

构建多维度查询

在表格存储上,可以构建多张索引表来提供多维度的查询信息。比如用户历史流水表的主键为[uid,timestamp], 基于机构交易的数据表主键就可以为[organization_id,timestamp,uid],用来满足对交易机构的交易流水查询。

在上述的数据处理层中,可以很方便的把交易数据通过流计算(Stream Compute)进行过滤、提取、汇总,写到表格存储的不同的表中。流计算支持对同一批数据进行不同的过滤、提取、汇总以及结果写入到不同的数据表中。这样就满足了海量数据的多维度查询需求。

写在最后

表格存储的高并发、低延时、无缝扩展,非常适合金融领域对数据的需求,欢迎大家来了解表格存储,有任何问题也欢迎加入表格存储的用户旺旺交流群:150161769

相关实践学习
消息队列+Serverless+Tablestore:实现高弹性的电商订单系统
基于消息队列以及函数计算,快速部署一个高弹性的商品订单系统,能够应对抢购场景下的高并发情况。
阿里云表格存储使用教程
表格存储(Table Store)是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务,根据99.99%的高可用以及11个9的数据可靠性的标准设计。表格存储通过数据分片和负载均衡技术,实现数据规模与访问并发上的无缝扩展,提供海量结构化数据的存储和实时访问。 产品详情:https://www.aliyun.com/product/ots
相关文章
|
NoSQL 物联网 存储
IoT+Tablestore快速构建智能售货机应用
### 一、 背景介绍         近年来,物联网(IoT)技术发生了巨大的变化。NB-IoT、LoRa等技术的产生解决了网络覆盖、设备功耗成本问题;尤其是最近5G技术的商用,意味着支持海量设备连接进行高质量数据通讯即将有坚实的基础设施支持。
|
4月前
|
分布式计算 搜索推荐 物联网
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
|
存储 SQL 分布式计算
带你读《云存储应用白皮书》之18:5. 表格存储
带你读《云存储应用白皮书》之18:5. 表格存储
152 0
|
存储 搜索推荐 NoSQL
带你读《云存储应用白皮书》之37:3. 表格存储在推荐系统中的应用
带你读《云存储应用白皮书》之37:3. 表格存储在推荐系统中的应用
196 0
|
存储 运维 NoSQL
表格存储服务介绍| 学习笔记
快速学习表格存储服务介绍。
表格存储服务介绍| 学习笔记
|
存储 NoSQL 容灾
表格存储服务在社交应用场景的实践
阿里云的表格存储服务(http://www.aliyun.com/product/ots)是一款面向PB级结构化/半结构化数据存储和百万级高并发读写访问的NoSQL数据库服务,在移动社交场景中有着非常广发的应用,如今非常火热的钉钉也将后台的消息推送和存储功能从MySQL迁移到表格存储上,以获得更加.
5300 0
|
监控 NoSQL Shell
Table Store实时数据通道服务Go SDK快速入门
# Tunnel Service Go SDK ## 安装 * 下载源码包 ```bash go get github.com/aliyun/aliyun-tablestore-go-sdk/tunnel ``` * 安装依赖 * 可以在tunnel目录下使用dep安装依赖 * 安装[dep](https://github.
6410 0
|
存储 负载均衡
表格存储负载均衡实践
之前在DBA+社区分享了表格存储的负载均衡,在此记录分享。
1210 0
|
存储 监控 Serverless
10.11杭州Clouder lab 十分钟搭建共享应用1:函数计算及表格存储操作说明
10.11杭州Clouder lab 十分钟搭建共享应用操作说明
5989 0
|
存储 索引
表格存储根据多元索引查询条件直接更新数据
表格存储是否可以根据多元索引查询条件直接更新数据?
117 3
下一篇
DataWorks