金融风控系统的演进与升级:从第一代到第四代(2)

简介: 金融风控系统的演进与升级:从第一代到第四代

4、平台化工程化

※ 数据源接入与特征加工工程化当决策引擎完成工程化后,大量的风控开发工作集中在数据源 API 接入和特征开发上,而借助工程化、平台化可以进一步减少开发工作。数据源接入大多工作可模板化解决,通过配置请求地址 、请求方式、超时时间等必要信息,再结合入参、出参报文映射解析实现模板化接入数据源。入参通过配置参数映射或常量值完成。简单的报文解析,可以通过 Jsonp 的方式,直接从结果集中提取关键字段。

复杂的报文解析,需要进一步代码加工工作,也可以开发一些常用的函数辅助完成粗加工。

对于批量加载特征且有多源依赖的,可以通过构造接口依赖关系图,并通过逐层调用执行加工。※ 模型工程化随着大规模机器学习的应用,为进一步提升模型迭代效率,模型迭代周期从月级降低到天级,将模型工程化,打造出自动建模平台及模型管理平台,整体工程分为离线工程和在线工程两部分。离线工程,机器学习平台,主要围绕模型训练和回溯,通过自动特征工程、自动建模技术(AutoML)提高模型迭代效率和效果。按模型开发流程依次分为:数据管理(维护样本和数据集),数据挖掘(自动特征工程),算法选择(支持 XGBoost/LightGBM等),模型训练(训练任务管理),模型调优(自动调参),效果评估(一键打分),发布上线(输出标准 PMML 模型和 python pickle 模型)。



在线工程,模型引擎,通过加载模型库模型文件(支持 PMML 和 pickle),完成实时预测打分,并提供 API 供决策引擎调用。

模型管理平台包括模型资产管理、生命周期管控、监控报警管理,整合机器学习平台实现模型生成后一键热部署,整合决策引擎配置实现关联调用和在线陪跑。总结:第三代风控系统,针对业务的高速发展,满足互联网三高场景,全面平台化,打造出一个完整的风控中台。


第四代:数字化智能化创新

第四代风控系统通过全面大数据、人工智能、云计算、区块链等技术实现进一步提质增效,个人觉得大多数企业仍处于此探索阶段,故称为数字化智能化创新阶段。


1、智能化决策

智能化决策基于数据分析、机器学习、深度学习、专家经验,通过归因下探,规则量化,全链路过程监控追踪,结果回溯等手段实现规则策略自动调优、自动生成与推荐,达成风控“自动驾驶”。用以解决人工配置操作风险、策略效果衰减以及迭代调整滞后等问题。实践中自动调优风控策略以及自适应模型也会带来“可解释性”问题和稳定性因素,需要大量 AB 实验探索,与专家经验对比,人工干预和过程管控不可或缺。2、图应用随着黑产职业化分工和集团化发展,金融风险呈现规模化特征,给传统规则策略和模型识别带来巨大挑战,针对个体行为属性的特征难以识别团伙行为的规模风险,因此关联分析需求及图解决方案成为风控发展的新趋势。

图数据库应用,图数据库相比关系型数据库具有更高效的关联查询性能。通过图数据库群体特征(如二度联系人中黑名单用户占比)能更好的识别团伙欺诈;通过图计算特征进行子图匹配,发现相似模式风险账号;利用社区发现算法进行社群发现,识别群体风险;通过图连通性、路径发现做失联修复;通过构建用户 360 视图(异构图)完善用户画像,更好地发现信贷风险;此外基于图神经网络的深度学习技术成为图应用的发展趋势。

实践中 Neo4j 代表的原生图数据库,满足一般中小规模数据量级,有更好的性能表现,但其集群版本不支持开源;JanusGraph 分布式数据库,可以构建更大规模图,性能方面略有不足。购买商业版或自造轮子开发图数据库,解决海量数据构建异构图,原生图,以及查询性能成为关键。


3、隐私计算与联邦学习

随着数据安全法和个人信息保护法的实施,数据安全和隐私保护日趋严格,为了满足“原始数据不出域,数据可用不可见”,隐私计算解决方案成为破局之道。隐私计算分为联邦学习(FL)、安全多方计算(MPC)、可信执行环境(TEE)等。联邦学习是通过数据加密计算,分布式机器学习,实现各公司间数据在不出库的前提下完成联合建模需求。FATE 框架使用多方安全计算 (MPC) 以及同态加密 (HE) 技术构建底层安全计算协议,以此支持不同种类的机器学习的安全计算,包括逻辑回归、基于树的算法、深度学习和迁移学习等,基于此框架可快速构建隐私计算体系。实践中由于要求合作双方部署同套隐私计算方案,而市面上隐私计算体系割裂,不同解决方案难以互通,成本较高成为主要限制屏障。


4、区块链

区块链去中心化、不可篡改、开放自治的特性,建立数据联盟链,既保障了数据的可信赖,又可利用其网络广播特性实现数据共享,有效解决大数据风控的数据孤岛问题;在供应链金融方面区块链提供信用保证和履约保证,提供更好的风控解决方案;在金融智能合约应用上,通过区块链可编程特点,构建智能合约,有效防范了人为操作风险。区块链技术+大数据+人工智能的组合也是未来风控的发展趋势。


▌总结 Roadmap

风控系统演进之路,从不断提升效率实现自动化,解决性能、可靠性问题,到全面数字化、智能化升级,不断探索应用新技术手段提升风控效果。各家系统发展和迭代方式不同,但基本演进思路和发展方向殊途同归。谢阅读!欢迎与我交流提出您的见解,觉得文章可以欢迎分享、点赞支持。

相关实践学习
阿里云图数据库GDB入门与应用
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发,具备如下优势: 标准图查询语言:支持属性图,高度兼容Gremlin图查询语言。 高度优化的自研引擎:高度优化的自研图计算层和存储层,云盘多副本保障数据超高可靠,支持ACID事务。 服务高可用:支持高可用实例,节点故障迅速转移,保障业务连续性。 易运维:提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能,大幅降低运维成本。 产品主页:https://www.aliyun.com/product/gdb
相关文章
|
11月前
|
弹性计算 并行计算 云栖大会
新品发布|HPC优化实例助力工业制造、生命科学和 EDA 应用加速创新
2023年云栖大会,阿里云弹性计算面向工业仿真、生命科学和芯片设计等行业,阿里云发布了HPC优化实例系列新品,包括内存带宽优化实例hpc8ae、数据和内存优化实例hpc7ip和计算优化实例hpc8y,全面采用物理核,与通用计算实例相比性能提升40%。
|
机器学习/深度学习 监控 负载均衡
金融风控系统的演进与升级:从第一代到第四代(1)
金融风控系统的演进与升级:从第一代到第四代
719 0
|
人工智能 运维 Kubernetes
加速云落地,华为提出企业上云三大场景七类方案
加速云落地,华为提出企业上云三大场景七类方案
413 0
加速云落地,华为提出企业上云三大场景七类方案
|
消息中间件 Prometheus Cloud Native
阿里云原生中间件首次实现自研、开源、商用“三位一体”,技术飞轮效应显现
阿里云在探索中一直存在的苦恼,是内部的自研体系、商业化的产品技术与开源的项目,三方的技术路线一直没有机会融为一体。然而,就在今年阿里云提出了“三位一体”理念,即将“自研技术”、“开源项目”、“商业产品”形成统一的技术体系,最大化技术的价值。
阿里云原生中间件首次实现自研、开源、商用“三位一体”,技术飞轮效应显现
|
运维 Cloud Native 搜索推荐
打造数字化服务能力,中国联通如何借助云原生技术实现增长突围?
中国联通与阿里云结合阿里云原生 PaaS、阿里飞天操作系统、阿里云原生数据库以及中国联通天宫平台,共同研发运营商级专有云平台“天宫云”,支撑中国联通核心业务应用。
打造数字化服务能力,中国联通如何借助云原生技术实现增长突围?
|
存储 算法 数据中心
阿里巴巴基础设施挑战与芯片策略
达到百万级服务器时,要考虑千万级将遇到的挑战。
1943 0
|
弹性计算 固态存储 云计算
选型宝访谈:当超融合一体机,具备云计算的基因,将会怎样?
当超融合一体机,具备云计算的基因,将会带来哪些改变? 超融合视角即用云的基因,让新一代超融合 更健壮、性能更快、部署与运维更简单。云计算视角微服务的架构,让升级做到 “平滑无感知“,让产品升级由以年为单位的迭代,变成以月、周为单位的”持续进化“,让竞争力持续提升。
1268 0
|
安全 云计算 运维
选型宝访谈:怎样超越超融合,构建新一代企业级云计算平台?
写在前面 企业上云,是最近一两年CIO圈子里最热门的话题之一。在“互联网+”时代,IT云化正成为各行业转型、创新、增长的最新驱动力。另一方面,从传统云架构到超融合,从硬件定义到软件定义,今天越来越成熟的云计算技术也为企业上云提供了坚实的基础。
1366 0
|
固态存储 双11 存储
基础设施助力双11(五):阿里巴巴新一代自研SSD - AliFlash V2 上线支持业务
持续的创新和前瞻性的规划,使自研SSD日益成为阿里巴巴基础设施的一项重要竞争力。
1041 0
下一篇
无影云桌面