金融风控系统的演进与升级:从第一代到第四代(2)

简介: 金融风控系统的演进与升级:从第一代到第四代

4、平台化工程化

※ 数据源接入与特征加工工程化当决策引擎完成工程化后,大量的风控开发工作集中在数据源 API 接入和特征开发上,而借助工程化、平台化可以进一步减少开发工作。数据源接入大多工作可模板化解决,通过配置请求地址 、请求方式、超时时间等必要信息,再结合入参、出参报文映射解析实现模板化接入数据源。入参通过配置参数映射或常量值完成。简单的报文解析,可以通过 Jsonp 的方式,直接从结果集中提取关键字段。

复杂的报文解析,需要进一步代码加工工作,也可以开发一些常用的函数辅助完成粗加工。

对于批量加载特征且有多源依赖的,可以通过构造接口依赖关系图,并通过逐层调用执行加工。※ 模型工程化随着大规模机器学习的应用,为进一步提升模型迭代效率,模型迭代周期从月级降低到天级,将模型工程化,打造出自动建模平台及模型管理平台,整体工程分为离线工程和在线工程两部分。离线工程,机器学习平台,主要围绕模型训练和回溯,通过自动特征工程、自动建模技术(AutoML)提高模型迭代效率和效果。按模型开发流程依次分为:数据管理(维护样本和数据集),数据挖掘(自动特征工程),算法选择(支持 XGBoost/LightGBM等),模型训练(训练任务管理),模型调优(自动调参),效果评估(一键打分),发布上线(输出标准 PMML 模型和 python pickle 模型)。



在线工程,模型引擎,通过加载模型库模型文件(支持 PMML 和 pickle),完成实时预测打分,并提供 API 供决策引擎调用。

模型管理平台包括模型资产管理、生命周期管控、监控报警管理,整合机器学习平台实现模型生成后一键热部署,整合决策引擎配置实现关联调用和在线陪跑。总结:第三代风控系统,针对业务的高速发展,满足互联网三高场景,全面平台化,打造出一个完整的风控中台。


第四代:数字化智能化创新

第四代风控系统通过全面大数据、人工智能、云计算、区块链等技术实现进一步提质增效,个人觉得大多数企业仍处于此探索阶段,故称为数字化智能化创新阶段。


1、智能化决策

智能化决策基于数据分析、机器学习、深度学习、专家经验,通过归因下探,规则量化,全链路过程监控追踪,结果回溯等手段实现规则策略自动调优、自动生成与推荐,达成风控“自动驾驶”。用以解决人工配置操作风险、策略效果衰减以及迭代调整滞后等问题。实践中自动调优风控策略以及自适应模型也会带来“可解释性”问题和稳定性因素,需要大量 AB 实验探索,与专家经验对比,人工干预和过程管控不可或缺。2、图应用随着黑产职业化分工和集团化发展,金融风险呈现规模化特征,给传统规则策略和模型识别带来巨大挑战,针对个体行为属性的特征难以识别团伙行为的规模风险,因此关联分析需求及图解决方案成为风控发展的新趋势。

图数据库应用,图数据库相比关系型数据库具有更高效的关联查询性能。通过图数据库群体特征(如二度联系人中黑名单用户占比)能更好的识别团伙欺诈;通过图计算特征进行子图匹配,发现相似模式风险账号;利用社区发现算法进行社群发现,识别群体风险;通过图连通性、路径发现做失联修复;通过构建用户 360 视图(异构图)完善用户画像,更好地发现信贷风险;此外基于图神经网络的深度学习技术成为图应用的发展趋势。

实践中 Neo4j 代表的原生图数据库,满足一般中小规模数据量级,有更好的性能表现,但其集群版本不支持开源;JanusGraph 分布式数据库,可以构建更大规模图,性能方面略有不足。购买商业版或自造轮子开发图数据库,解决海量数据构建异构图,原生图,以及查询性能成为关键。


3、隐私计算与联邦学习

随着数据安全法和个人信息保护法的实施,数据安全和隐私保护日趋严格,为了满足“原始数据不出域,数据可用不可见”,隐私计算解决方案成为破局之道。隐私计算分为联邦学习(FL)、安全多方计算(MPC)、可信执行环境(TEE)等。联邦学习是通过数据加密计算,分布式机器学习,实现各公司间数据在不出库的前提下完成联合建模需求。FATE 框架使用多方安全计算 (MPC) 以及同态加密 (HE) 技术构建底层安全计算协议,以此支持不同种类的机器学习的安全计算,包括逻辑回归、基于树的算法、深度学习和迁移学习等,基于此框架可快速构建隐私计算体系。实践中由于要求合作双方部署同套隐私计算方案,而市面上隐私计算体系割裂,不同解决方案难以互通,成本较高成为主要限制屏障。


4、区块链

区块链去中心化、不可篡改、开放自治的特性,建立数据联盟链,既保障了数据的可信赖,又可利用其网络广播特性实现数据共享,有效解决大数据风控的数据孤岛问题;在供应链金融方面区块链提供信用保证和履约保证,提供更好的风控解决方案;在金融智能合约应用上,通过区块链可编程特点,构建智能合约,有效防范了人为操作风险。区块链技术+大数据+人工智能的组合也是未来风控的发展趋势。


▌总结 Roadmap

风控系统演进之路,从不断提升效率实现自动化,解决性能、可靠性问题,到全面数字化、智能化升级,不断探索应用新技术手段提升风控效果。各家系统发展和迭代方式不同,但基本演进思路和发展方向殊途同归。谢阅读!欢迎与我交流提出您的见解,觉得文章可以欢迎分享、点赞支持。

相关实践学习
阿里云图数据库GDB入门与应用
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发,具备如下优势: 标准图查询语言:支持属性图,高度兼容Gremlin图查询语言。 高度优化的自研引擎:高度优化的自研图计算层和存储层,云盘多副本保障数据超高可靠,支持ACID事务。 服务高可用:支持高可用实例,节点故障迅速转移,保障业务连续性。 易运维:提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能,大幅降低运维成本。 产品主页:https://www.aliyun.com/product/gdb
相关文章
|
数据安全/隐私保护
常用的表单校验规则——邮箱/QQ/身份证号码/微信/电话/数字字母/整数/文本/密码等
常用的表单校验规则——邮箱/QQ/身份证号码/微信/电话/数字字母/整数/文本/密码等
509 0
|
3月前
|
存储 人工智能 机器人
别再只做聊天机器人:AI 应用商业闭环的工程落地指南,免费体验中
本文介绍了如何通过阿里云百炼平台创建一个星座运势分析AI智能体,并集成支付宝MCP服务实现支付闭环。解决AI产品无法直接变现的问题,完成“服务-支付-交易”全流程闭环,帮助开发者快速实现商业化。
|
消息中间件 存储 分布式计算
分布式系统的演进过程
【10月更文挑战第24天】总的来说,分布式系统的演进是一个不断适应变化、解决问题和创新发展的过程。从早期的萌芽到如今的多元化发展,它见证了技术的进步和应用场景的拓展。在未来,分布式系统将继续在各个领域发挥重要作用,推动着数字化世界的不断前行。
|
11月前
|
存储 弹性计算 运维
端到端的ECS可观测性方案,助力云上业务安全稳定
本文介绍了云原生时代保障业务系统可靠性的方法和挑战,重点探讨了阿里云ECS在提升业务稳定性、性能监控及自动化恢复方面的能力。文章分为以下几个部分:首先,阐述了业务可靠性的三个阶段(事前预防、事中处理、事后跟进);其次,分析了云上业务系统面临的困难与挑战,并提出了通过更实时的监测和自动化工具有效规避风险;接着,详细描述了ECS实例稳定性和性能问题的解决方案;然后,介绍了即将发布的ECS Lens产品,它将全面提升云上业务的洞察能力和异常感知能力;最后,通过具体案例展示了如何利用OS自动重启和公网带宽自适应调节等功能确保业务连续性。总结部分强调了ECS致力于增强性能和稳定性的目标。
|
应用服务中间件
Tomcat打不开startup.bat
Tomcat打不开startup.bat
312 2
|
机器学习/深度学习 算法 大数据
云上智能风控:重塑金融风险管理的新篇章
随着金融科技的快速发展,监管机构对金融机构的监管要求也在不断提高。云上智能风控系统需要符合相关监管政策和法规的要求
|
弹性计算 运维 Kubernetes
阿里云ECS与混合云策略结合,提供云上云下无缝对接,提升业务灵活性和运维效率。
【7月更文挑战第3天】阿里云ECS与混合云策略结合,提供云上云下无缝对接,提升业务灵活性和运维效率。ECS支持多种计费模式和先进架构,保证低延迟计算。混合云融合公有云灵活性与私有云安全,实现资源最优配置。通过VPC互通、应用迁移、数据同步实践,确保安全合规,助力企业数字化转型。阿里云服务展示技术实力,支持企业在混合云时代抓住机遇。
481 3
|
机器学习/深度学习 监控 负载均衡
金融风控系统的演进与升级:从第一代到第四代(1)
金融风控系统的演进与升级:从第一代到第四代
1159 0
|
机器学习/深度学习 人工智能 自然语言处理
简单科普 AI AIGC AGI ChatGPT 分别是什么?
简单科普 AI AIGC AGI ChatGPT 分别是什么?
1895 0
|
内存技术 芯片
MDK st-link下载STM32程序出现Internal command error和Error:Flash download failed. Target DLL
MDK st-link下载STM32程序出现Internal command error和Error:Flash download failed. Target DLL   是因为目标板的芯片处于休眠的状态,在尝试连接目标板时候也会出现报错Internal command ...
4016 0