2018上海云栖大会workshop-函数计算解决金融异构报文处理示例

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
函数计算FC,每月15万CU 3个月
简介: 在金融行业里,不同的机构传输的数据报文格式千差外别,有的是日志格式,有的时候表格格式,有的csv格式,形式各式各样,千变万化的格式给统一处理系统带来不少麻烦,在传统的系统设计里,会设计存储报文的磁盘空间,处理服务器以及处理后的报文数据的数据库存储,哪么到了云时代,系统架构发生了很大的变化,今天我们结合对象存储,函数计算、日志服务以及表格存储来讲解整个业务处理过程。

2018年上海云栖大会上数据处理的workshop场景里,我们会做一期专题来讲解金融机构里数据报文格式处理,我们知道在金融行业里,不同的机构传输的数据报文格式千差外别,有的是日志格式,有的时候表格格式,有的csv格式,形式各式各样,千变万化的格式给统一处理系统带来不少麻烦,在传统的系统设计里,会涉及到存储报文的磁盘空间、处理服务器以及处理后的报文数据的数据库存储,到了云时代,系统架构发生了很大的变化,从重度的设计到轻量设计,看看使用阿里云的产品是怎么做到的,今天我们结合对象存储、函数计算以及表格存储来讲解整个业务处理过程。金融行业处理数据整体架构图如下:

2d005275c88e514180446d46a862335f7a0035ce

从架构图上能看出金融机构的数据处理上会分为三个环节,

第一个环节:在线交易环境,例如证券交易,日常存取款,刷卡等消费行为产生的数据会通过金融机构或者合作单位把数据传输给对象存储,对象存储触发函数计算对交易报文进行处理,并按照表格存储的格式分解报文并存储格式化的数据到对象存储或者表格存储中。

第二个环节:线下流水分析,通过网络渠道把访问或者交易流水信息传输到日志服务,对日志进行处理后,并把流水信息格式化好传输给表格存储

第三个环节:线上贷款的风控流程,风控调度系统通过函数计算拉取表格存储的数据进行风控业务查询。表格存储会根据请求数据量去大数据处理获取处理结果。

下面的内容会针对环节一和环节三进行详细步骤和代码演示。

第一个环节:报文格式处理

在线交易里,不同的机构传输报文的格式差距很大,在把交易数据入库之前,需要对报文格式统一处理,下面结合函数计算的处理能力,来完成对报文格式解析并把数据入库。下面按照

开通服务

1、开通函数计算

2、开通表格存储

3、开通对象存储

配置产品

1、配置对象存储

2、配置表格存储

3、配置函数计算

配置对象存储

对象存储选择华东1上海区域创建一个Bucket,并记录下bucket名称,看图示:
cc922e72ddbbd85cfdc6620728a09dd14b6751e3

配置表格存储

打开表格存储,创建一个实例,并把实例名称记录下来,这个名称会在后面的函数代码中使用。
8397cc84e2f7f3f1ce1058a3c4670e2e66f84e3e
创建两个表格,交易流水表  trade_final 和风控信息表  user_risk,其中trade表格有两个主键c_userid和d_dealdate,都是字符串类型,注意这个地方需要字段名称一样,请拷贝到控制台页面里。
14c4a989ea10741bd1c048e3a2e715795020f2bc
user_risk的主键是c_userid,也是字符串类型
b5f39137dfd958f355f6f4660e0cbbb09f40b9c7

配置函数计算

开通函数服务后,进入函数的 控制台,选择华东2区域,创建一个服务,服务里需要选上两个产品的权限,详细看下图:
c8effa9675858b3eb44e7527c81b6f5f91191c2d

ea1b072943bdf6d688935e5e109964527e2dc509

配置函数授权给表格存储

4c9a2d04f9c343f6c8cdb2d1b07085afda39e6d3

配置对象存储触发器
创建完函数后,选择创建对象存储触发器,记得把触发事件源上选put,post的事件
520f6b446a7784e317ce8431825fb799812e8387
配置HTTP触发器

为了能通过web页面访问数据,可以在函数计算上配置HTTP触发器,详细内容界面如下:

80aa182180556762c85f8409e29ea37d9d4f004b

编写代码

交易数据入库代码

函数代码分为两段,一段是对oss的数据获取,一段是把oss的数据处理后,并保存到表格存储中,请 下载代码压缩包

风控数据入库代码

交易数据入库后,同样风控数据也需要通过对象存储触发函数计算后,读取数据并保存到表格存储中,请 下载代码压缩包

第三个环节:通过函数计算获取风控信息

获取风控数据代码

函数计算在第三个环节里,通个web页面吧用户UID输入,并通过函数计算去查询风控系统,并做数据分析,例如查询多张表格进行数据比对等。风控数据入库后,需要设置第三个函数,请 下载代码压缩包

获取风控的演示页面

风控的界面主要通过用户uid可以查询风控信息,这里使用到函数计算里的http trigger,设置好http trigger后,会系统会自动生成一个url地址,该地址可以作为一个http请求地址,通过静态页面调用请求地址,就可以触发获取风控信息的函数执行,详细的html代码可以在 这里下载

728b36671369595045f566eef872364252294cea

风控查询结果如下:

a51092e57f0cd6dc1e8c7c7861e9c18ed2fa4dbc

获取HTTP触发器的对外暴露的URL地址:

780414ee7b99187bbeac9aaf28d9d963b2cbe4ee

附录:

报文数据下载交易代码下载风控代码下载获取风控代码下载html代码下载


相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
2月前
|
人工智能 Linux 云栖大会
看过来!2024 云栖大会操作系统技术 Workshop 怎么玩?
报名倒计时2天啦,欢迎大家来“操作系统技术Workshop”打卡。专家讲解原理、现场实战演练,AI、C++ 20专场任选。
看过来!2024 云栖大会操作系统技术 Workshop 怎么玩?
|
3月前
|
Kubernetes Serverless API
Serverless阿里云函数计算问题之使用示例如何解决
本文探讨了Serverless场景下实例Exec功能的关键特性及其与K8S和Docker的主要区别:实例Exec仅适用于存活实例,且请求不占用并发度,被视为InvokeFunction调用并据此计费。此外,还介绍了阿里云函数计算中实例Exec功能的使用方法,包括通过控制台、API及CLI工具的操作流程,并详细解释了WebSocket连接对计费的影响以及如何在控制台上登录函数实例进行问题排查的具体步骤。
50 0
|
6月前
|
前端开发 Serverless Shell
Serverless 应用引擎操作报错合集之在阿里云函数计算中,laravel zip包使用示例的start.sh脚本启动时出现错误代码如何解决
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
供应链 Cloud Native 安全
|
Cloud Native 安全 Linux
议程剧透!1个主论坛4场Workshop,龙蜥操作系统峰会盛大来袭 | 2022 云栖大会
每场 Workshop 开放 30 个报名名额,人人一份龙蜥伴手礼!先报先审!
议程剧透!1个主论坛4场Workshop,龙蜥操作系统峰会盛大来袭 | 2022 云栖大会
|
移动开发 运维 监控
|
机器学习/深度学习 传感器 SQL
阿里云物联网平台数据转发到函数计算示例
本文主要演示通过规则引擎将设备上行消息流转到函数计算,并通过函数计算发送消息到钉钉机器人。
阿里云物联网平台数据转发到函数计算示例
|
云栖大会 人工智能 机器学习/深度学习
承包云栖大会金融智能分论坛,9.27请你来
9月25-27日,2019杭州云栖大会即将拉开大幕。作为全球最具影响力的科技展会之一,今年,蚂蚁金服将携众多硬核黑科技亮相,首次完整介绍金融级云原生理念、共享智能、融合计算、安全计算、图计算等前沿技术及应用实践。
1749 0
承包云栖大会金融智能分论坛,9.27请你来
|
云栖大会 安全 区块链
2019年云栖大会 蚂蚁金服深耕金融15年正落地生花
9月25日-27日,2019云栖大会将在杭州上演,面向未来20年展示基础科学、创新性技术和应用的重大突破。届时,蚂蚁金服将携多项硬核黑科技亮相数字金融技术和金融智能分论坛等多个技术论坛,首次完整介绍金融级云原生理念、共享智能、融合计算、安全计算、图计算等前沿技术及应用实践。
1258 0
2019年云栖大会 蚂蚁金服深耕金融15年正落地生花
|
JavaScript Java Serverless
表格存储触发函数计算示例之 Nodejs/Php/Java/C# Runtime
创建Table Store触发器,能够实现Table Store Stream和函数计算的自动对接,从而实现OTS数据发生变更时候定制化的自动处理。本教程作为补充,通过代码示例说明在其他runtime下怎么玩转Table Store触发器。
3815 0

热门文章

最新文章

相关产品

  • 函数计算