2018上海云栖大会workshop-函数计算解决金融异构报文处理示例

本文涉及的产品
Serverless 应用引擎 SAE,800核*时 1600GiB*时
函数计算FC,每月免费额度15元,12个月
简介: 在金融行业里,不同的机构传输的数据报文格式千差外别,有的是日志格式,有的时候表格格式,有的csv格式,形式各式各样,千变万化的格式给统一处理系统带来不少麻烦,在传统的系统设计里,会设计存储报文的磁盘空间,处理服务器以及处理后的报文数据的数据库存储,哪么到了云时代,系统架构发生了很大的变化,今天我们结合对象存储,函数计算、日志服务以及表格存储来讲解整个业务处理过程。

2018年上海云栖大会上数据处理的workshop场景里,我们会做一期专题来讲解金融机构里数据报文格式处理,我们知道在金融行业里,不同的机构传输的数据报文格式千差外别,有的是日志格式,有的时候表格格式,有的csv格式,形式各式各样,千变万化的格式给统一处理系统带来不少麻烦,在传统的系统设计里,会涉及到存储报文的磁盘空间、处理服务器以及处理后的报文数据的数据库存储,到了云时代,系统架构发生了很大的变化,从重度的设计到轻量设计,看看使用阿里云的产品是怎么做到的,今天我们结合对象存储、函数计算以及表格存储来讲解整个业务处理过程。金融行业处理数据整体架构图如下:

2d005275c88e514180446d46a862335f7a0035ce

从架构图上能看出金融机构的数据处理上会分为三个环节,

第一个环节:在线交易环境,例如证券交易,日常存取款,刷卡等消费行为产生的数据会通过金融机构或者合作单位把数据传输给对象存储,对象存储触发函数计算对交易报文进行处理,并按照表格存储的格式分解报文并存储格式化的数据到对象存储或者表格存储中。

第二个环节:线下流水分析,通过网络渠道把访问或者交易流水信息传输到日志服务,对日志进行处理后,并把流水信息格式化好传输给表格存储

第三个环节:线上贷款的风控流程,风控调度系统通过函数计算拉取表格存储的数据进行风控业务查询。表格存储会根据请求数据量去大数据处理获取处理结果。

下面的内容会针对环节一和环节三进行详细步骤和代码演示。

第一个环节:报文格式处理

在线交易里,不同的机构传输报文的格式差距很大,在把交易数据入库之前,需要对报文格式统一处理,下面结合函数计算的处理能力,来完成对报文格式解析并把数据入库。下面按照

开通服务

1、开通函数计算

2、开通表格存储

3、开通对象存储

配置产品

1、配置对象存储

2、配置表格存储

3、配置函数计算

配置对象存储

对象存储选择华东1上海区域创建一个Bucket,并记录下bucket名称,看图示:
cc922e72ddbbd85cfdc6620728a09dd14b6751e3

配置表格存储

打开表格存储,创建一个实例,并把实例名称记录下来,这个名称会在后面的函数代码中使用。
8397cc84e2f7f3f1ce1058a3c4670e2e66f84e3e
创建两个表格,交易流水表  trade_final 和风控信息表  user_risk,其中trade表格有两个主键c_userid和d_dealdate,都是字符串类型,注意这个地方需要字段名称一样,请拷贝到控制台页面里。
14c4a989ea10741bd1c048e3a2e715795020f2bc
user_risk的主键是c_userid,也是字符串类型
b5f39137dfd958f355f6f4660e0cbbb09f40b9c7

配置函数计算

开通函数服务后,进入函数的 控制台,选择华东2区域,创建一个服务,服务里需要选上两个产品的权限,详细看下图:
c8effa9675858b3eb44e7527c81b6f5f91191c2d

ea1b072943bdf6d688935e5e109964527e2dc509

配置函数授权给表格存储

4c9a2d04f9c343f6c8cdb2d1b07085afda39e6d3

配置对象存储触发器
创建完函数后,选择创建对象存储触发器,记得把触发事件源上选put,post的事件
520f6b446a7784e317ce8431825fb799812e8387
配置HTTP触发器

为了能通过web页面访问数据,可以在函数计算上配置HTTP触发器,详细内容界面如下:

80aa182180556762c85f8409e29ea37d9d4f004b

编写代码

交易数据入库代码

函数代码分为两段,一段是对oss的数据获取,一段是把oss的数据处理后,并保存到表格存储中,请 下载代码压缩包

风控数据入库代码

交易数据入库后,同样风控数据也需要通过对象存储触发函数计算后,读取数据并保存到表格存储中,请 下载代码压缩包

第三个环节:通过函数计算获取风控信息

获取风控数据代码

函数计算在第三个环节里,通个web页面吧用户UID输入,并通过函数计算去查询风控系统,并做数据分析,例如查询多张表格进行数据比对等。风控数据入库后,需要设置第三个函数,请 下载代码压缩包

获取风控的演示页面

风控的界面主要通过用户uid可以查询风控信息,这里使用到函数计算里的http trigger,设置好http trigger后,会系统会自动生成一个url地址,该地址可以作为一个http请求地址,通过静态页面调用请求地址,就可以触发获取风控信息的函数执行,详细的html代码可以在 这里下载

728b36671369595045f566eef872364252294cea

风控查询结果如下:

a51092e57f0cd6dc1e8c7c7861e9c18ed2fa4dbc

获取HTTP触发器的对外暴露的URL地址:

780414ee7b99187bbeac9aaf28d9d963b2cbe4ee

附录:

报文数据下载交易代码下载风控代码下载获取风控代码下载html代码下载


相关实践学习
基于函数计算一键部署掌上游戏机
本场景介绍如何使用阿里云计算服务命令快速搭建一个掌上游戏机。
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
2月前
|
前端开发 Serverless Shell
Serverless 应用引擎操作报错合集之在阿里云函数计算中,laravel zip包使用示例的start.sh脚本启动时出现错误代码如何解决
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
供应链 Cloud Native 安全
|
Cloud Native 安全 Linux
议程剧透!1个主论坛4场Workshop,龙蜥操作系统峰会盛大来袭 | 2022 云栖大会
每场 Workshop 开放 30 个报名名额,人人一份龙蜥伴手礼!先报先审!
议程剧透!1个主论坛4场Workshop,龙蜥操作系统峰会盛大来袭 | 2022 云栖大会
|
移动开发 运维 监控
|
机器学习/深度学习 传感器 SQL
阿里云物联网平台数据转发到函数计算示例
本文主要演示通过规则引擎将设备上行消息流转到函数计算,并通过函数计算发送消息到钉钉机器人。
阿里云物联网平台数据转发到函数计算示例
|
云栖大会 人工智能 机器学习/深度学习
承包云栖大会金融智能分论坛,9.27请你来
9月25-27日,2019杭州云栖大会即将拉开大幕。作为全球最具影响力的科技展会之一,今年,蚂蚁金服将携众多硬核黑科技亮相,首次完整介绍金融级云原生理念、共享智能、融合计算、安全计算、图计算等前沿技术及应用实践。
1714 0
承包云栖大会金融智能分论坛,9.27请你来
|
云栖大会 安全 区块链
2019年云栖大会 蚂蚁金服深耕金融15年正落地生花
9月25日-27日,2019云栖大会将在杭州上演,面向未来20年展示基础科学、创新性技术和应用的重大突破。届时,蚂蚁金服将携多项硬核黑科技亮相数字金融技术和金融智能分论坛等多个技术论坛,首次完整介绍金融级云原生理念、共享智能、融合计算、安全计算、图计算等前沿技术及应用实践。
1238 0
2019年云栖大会 蚂蚁金服深耕金融15年正落地生花
|
JavaScript Java Serverless
表格存储触发函数计算示例之 Nodejs/Php/Java/C# Runtime
创建Table Store触发器,能够实现Table Store Stream和函数计算的自动对接,从而实现OTS数据发生变更时候定制化的自动处理。本教程作为补充,通过代码示例说明在其他runtime下怎么玩转Table Store触发器。
3737 0
|
监控 安全 云栖大会
2018杭州云栖大会企业办公自动化workshop材料汇总
实践活动内容地址如下:1、在控制台使用OSS Select2、基于日志的安全分析实战3、智能媒体管理服务控制台功能体验4、企业办公数据处理和分发(函数计算篇)5、9.20 杭州云栖CloudLab:环境准备
1934 0

热门文章

最新文章

相关产品

  • 函数计算