2018上海云栖大会workshop-函数计算解决金融异构报文处理示例-阿里云开发者社区

开发者社区> 文意> 正文

2018上海云栖大会workshop-函数计算解决金融异构报文处理示例

简介: 在金融行业里,不同的机构传输的数据报文格式千差外别,有的是日志格式,有的时候表格格式,有的csv格式,形式各式各样,千变万化的格式给统一处理系统带来不少麻烦,在传统的系统设计里,会设计存储报文的磁盘空间,处理服务器以及处理后的报文数据的数据库存储,哪么到了云时代,系统架构发生了很大的变化,今天我们结合对象存储,函数计算、日志服务以及表格存储来讲解整个业务处理过程。
+关注继续查看

2018年上海云栖大会上数据处理的workshop场景里,我们会做一期专题来讲解金融机构里数据报文格式处理,我们知道在金融行业里,不同的机构传输的数据报文格式千差外别,有的是日志格式,有的时候表格格式,有的csv格式,形式各式各样,千变万化的格式给统一处理系统带来不少麻烦,在传统的系统设计里,会涉及到存储报文的磁盘空间、处理服务器以及处理后的报文数据的数据库存储,到了云时代,系统架构发生了很大的变化,从重度的设计到轻量设计,看看使用阿里云的产品是怎么做到的,今天我们结合对象存储、函数计算以及表格存储来讲解整个业务处理过程。金融行业处理数据整体架构图如下:

2d005275c88e514180446d46a862335f7a0035ce

从架构图上能看出金融机构的数据处理上会分为三个环节,

第一个环节:在线交易环境,例如证券交易,日常存取款,刷卡等消费行为产生的数据会通过金融机构或者合作单位把数据传输给对象存储,对象存储触发函数计算对交易报文进行处理,并按照表格存储的格式分解报文并存储格式化的数据到对象存储或者表格存储中。

第二个环节:线下流水分析,通过网络渠道把访问或者交易流水信息传输到日志服务,对日志进行处理后,并把流水信息格式化好传输给表格存储

第三个环节:线上贷款的风控流程,风控调度系统通过函数计算拉取表格存储的数据进行风控业务查询。表格存储会根据请求数据量去大数据处理获取处理结果。

下面的内容会针对环节一和环节三进行详细步骤和代码演示。

第一个环节:报文格式处理

在线交易里,不同的机构传输报文的格式差距很大,在把交易数据入库之前,需要对报文格式统一处理,下面结合函数计算的处理能力,来完成对报文格式解析并把数据入库。下面按照

开通服务

1、开通函数计算

2、开通表格存储

3、开通对象存储

配置产品

1、配置对象存储

2、配置表格存储

3、配置函数计算

配置对象存储

对象存储选择华东1上海区域创建一个Bucket,并记录下bucket名称,看图示:
cc922e72ddbbd85cfdc6620728a09dd14b6751e3

配置表格存储

打开表格存储,创建一个实例,并把实例名称记录下来,这个名称会在后面的函数代码中使用。
8397cc84e2f7f3f1ce1058a3c4670e2e66f84e3e
创建两个表格,交易流水表 trade_final 和风控信息表 user_risk,其中trade表格有两个主键c_userid和d_dealdate,都是字符串类型,注意这个地方需要字段名称一样,请拷贝到控制台页面里。
14c4a989ea10741bd1c048e3a2e715795020f2bc
user_risk的主键是c_userid,也是字符串类型
b5f39137dfd958f355f6f4660e0cbbb09f40b9c7

配置函数计算

开通函数服务后,进入函数的控制台,选择华东2区域,创建一个服务,服务里需要选上两个产品的权限,详细看下图:
c8effa9675858b3eb44e7527c81b6f5f91191c2d

ea1b072943bdf6d688935e5e109964527e2dc509

配置函数授权给表格存储

4c9a2d04f9c343f6c8cdb2d1b07085afda39e6d3

配置对象存储触发器
创建完函数后,选择创建对象存储触发器,记得把触发事件源上选put,post的事件
520f6b446a7784e317ce8431825fb799812e8387
配置HTTP触发器

为了能通过web页面访问数据,可以在函数计算上配置HTTP触发器,详细内容界面如下:

80aa182180556762c85f8409e29ea37d9d4f004b

编写代码

交易数据入库代码

函数代码分为两段,一段是对oss的数据获取,一段是把oss的数据处理后,并保存到表格存储中,请下载代码压缩包

风控数据入库代码

交易数据入库后,同样风控数据也需要通过对象存储触发函数计算后,读取数据并保存到表格存储中,请下载代码压缩包

第三个环节:通过函数计算获取风控信息

获取风控数据代码

函数计算在第三个环节里,通个web页面吧用户UID输入,并通过函数计算去查询风控系统,并做数据分析,例如查询多张表格进行数据比对等。风控数据入库后,需要设置第三个函数,请下载代码压缩包

获取风控的演示页面

风控的界面主要通过用户uid可以查询风控信息,这里使用到函数计算里的http trigger,设置好http trigger后,会系统会自动生成一个url地址,该地址可以作为一个http请求地址,通过静态页面调用请求地址,就可以触发获取风控信息的函数执行,详细的html代码可以在这里下载

728b36671369595045f566eef872364252294cea

风控查询结果如下:

a51092e57f0cd6dc1e8c7c7861e9c18ed2fa4dbc

获取HTTP触发器的对外暴露的URL地址:

780414ee7b99187bbeac9aaf28d9d963b2cbe4ee

附录:

报文数据下载交易代码下载风控代码下载获取风控代码下载html代码下载


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
201604深圳云栖大会Workshop - 通过用户点击进行热门内容推荐
通过用户点击进行热门内容推荐 目标 熟悉日志服务的功能,使用场景 通过收集直播网站的日志数据,进行实时数据分析,进行推荐 准备工作 日志服务 日志服务入口地址 步骤 1. 程序日志埋点 在log.php中进行,提供了一个函数,记录用户访问行为日志 在用户实际访问的时候,进行记录
2739 0
201604深圳云栖大会Workshop - 阿里容器服务与持续集成
目标 熟悉容器服务的基本概念 练习通过容器服务实现持续集成的过程 准备工作 容器服务控制台 容器服务控制台 镜像管理平台 阿里Code 帮助文档 产品概念解释 注意事项:预计耗费的费用 容器服务暂时不收费;演示过程中会创建ECS实例和SLB,按量收费。 步骤 1. 创建集群
5521 0
201604深圳云栖大会Workshop - 用OSS搭建一个视频直播网站
使用OSS搭建一个完整的视频直播网站,可以创建删除直播频道,并且能够使用直播软件从PC端或者移动端推送视频流,并在PC或者移动端观看直播
4667 0
DataXceiver error processing unknown operation src: /127.0.0.1:36479 dst: /127.0.0.1:50010处理
异常信息如下:  2015-12-09 17:39:20,310 ERROR datanode.DataNode (DataXceiver.java:run(278)) - hadoop07:50010:DataXceiver error processingunknown operation  src: /127.
1518 0
201604深圳云栖大会Workshop - 使用表格存储开发用户弹幕功能
使用表格存储开发用户弹幕功能 目标 使用表格存储(TableStore,原称OTS)实现视频直播的弹幕功能,通过TableStore存储弹幕,并在TableStore中检索最新弹幕实时显示到直播页面中。
3862 0
+关注
文意
关注云计算的发展趋势,爱好一切理论和实践结合的实例,对Serverless、API、函数计算等相关的技术感兴趣,期望自己能微服务上能提出自己的技术见解,海乃百川,拥抱一切跟技术相关的话题。
20
文章
0
问答
来源圈子
更多
专注Serverless、微服务、函数计算等
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载