《百炼成金-大金融模型新篇章》––10.金融级AI原生的六大要素(1)

简介: 百炼必定成金,新质生产力会催生新质劳动力,谨以此文抛砖引玉,希望与业内的各位朋友一同探讨如何积极拥抱并运用大模型技术,以应对和驾驭不断变化的市场环境,实现科技金融持续稳定的提质增效和创新发展,携手开启金融大模型未来新篇章。

本文来源于阿里云社区电子书《百炼成金-大金融模型新篇章》


AI 技术在金融行业中扎根生长并深入应用,必须严格遵循金融行业的业务规则与标准,这就催生了专为金融领域打造的金融级 AI 原生。综合考虑金融级行业要求、AI 原生核心技术,我们将金融级 AI 原生总结为如下 6 大要素:


image.png


要素 1:可靠性和稳定性


当前金融行业随着数字化、智能化的转型,越来越多的金融级 AI 原生应用涌现,大规模智算资源的统筹管理和编排调度,对于确保金融基础设施的连续性与稳定性成为至关重要的能力基石。下面从训练态和推理态两个方面来说明智算平台需要提供怎样的能力来保证应用的可靠性和稳定性。


训练态:


智算平台需要大规模集群调度管理,洞察集群状态与性能变化,掌控系统全貌。通过训练引擎自动容错来屏蔽底层错误,提升任务稳定性和鲁棒性。通过实时保存模型文件,大幅度提高训练任务的整体效率。通过云原生性能测试平台,完成一键测试系统性能,及时发现隐藏的瓶颈。


image.png


image.png

推理态:


目前大模型的推理部署还没有一个事实标准,一方面不断有新的模型发布,另一方面也不断有新的训练和推理方法被提出,再者国产化 GPU 硬件和软件生态也在快速迭代,这给大模型推理服务生产上落地带来不小挑战。为了应对上述挑战在模型准备和部署阶段,我们建议遵从以下原则:


image.png


分层设计:由于模型本身文件较大,模型加载和启动时间往往以分钟甚至小时计。在模型准备阶段,将运行依赖环境、模型文件、推理代码分层设计统一验证并推送到合适的存储服务层;在模型部署阶段,通过云平台存算分离,共享挂载、缓存加速等方式实现模型的快速部署和加速启动;


统一调度:基于 K8S对 IaaS云服务或者客户IDC内各种异构的计算(如 CPU,GPU,NPU)、存储(OSS,NAS,CPFS,HDFS)、网络(TCP,RDMA)资源进行抽象,统一管理、运维和分配,通过弹性和软硬协同优化,持续提升资源利用率。


云化部署:借助 K8S 调度框架和云化基础设施,实现对大模型应用的多实例高可用部署和故障自动切换。


要素 2:低延时与高并发


大模型在实现低延时和高并发处理方面是 AI 原生应用的重大挑战之一,尤其是在需要实时响应和服务大量用户的应用场景中。


实时交易的场景下,系统需要几乎实时地处理和响应用户的查询或请求。如银行行业客户通话的场景中,需要应用大模型实时识别用户意图,并实时反馈相应的话术,这个场景对大模型的时延要求非常高,需要在很短的时间来做出相应的应答。同样在保险行业中,利用大模型处理车险、健康险等理赔案件,需要迅速分析上传的图片、视频及其他证据材料,快速准确地完成初步定损工作。当前,推理优化、加速主要有几种方式,如模型架构(使用 MoE 架构)优化、模型本身(剪枝、量化、知识蒸馏等)优化,和利用多机多卡环境进行数据并行、模型并行,分散模型负载,加速计算过程。


高并发场景是指在短时间内有大量用户请求涌入系统,要求系统能快速响应并处理这些请求,保证服务的稳定性和用户体验。如红包发放的促销活动期间,大量用户同时进行请求,在红包领取的同时需要应用大模型做实时推荐。高并发可以通过调度优化来支撑,调度系统可以根据请求状态的动态变化对调度决策进行适应性调整,并以此实现如负载均衡、碎片整理、请求优先级、高效的实例扩缩容等一系列调度特性和优化。


我们来看一个实际的案例:一家互联网金融企业,在外呼过程中,通过大模型识别客户意愿,完成多轮客户对话交互。


image.png


从当前业务模式观察,存在显著的忙闲周期:在需求高峰时段,必须确保充足计算能力以维持业务运营,确保客户享受到优质的外呼体验;而到了低谷期,则需释放这些资源,以便供给其他业务利用。然而,当这些释放的计算资源无其他业务承接时,便会造成极大的资源闲置。专为某特定业务保有大量计算资源是不切实际的,因为通常情况下,这些资源的使用效率极低,仅能达到约 10%。因此,寻找一种既能应对峰值需求,又能高效利用资源的策略显得尤为重要。而混合云架构可以较好地解决这个问题,利用金融云的弹性资源来满足波峰波谷的业务需求。


《百炼成金-大金融模型新篇章》––10.金融级AI原生的六大要素(2):https://developer.aliyun.com/article/1539485

相关文章
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
算法金 | 秒懂 AI - 深度学习五大模型:RNN、CNN、Transformer、BERT、GPT 简介
**RNN**,1986年提出,用于序列数据,如语言模型和语音识别,但原始模型有梯度消失问题。**LSTM**和**GRU**通过门控解决了此问题。 **CNN**,1989年引入,擅长图像处理,卷积层和池化层提取特征,经典应用包括图像分类和物体检测,如LeNet-5。 **Transformer**,2017年由Google推出,自注意力机制实现并行计算,优化了NLP效率,如机器翻译。 **BERT**,2018年Google的双向预训练模型,通过掩码语言模型改进上下文理解,适用于问答和文本分类。
39 9
|
2天前
|
人工智能 数据挖掘 机器人
同样是人工智能 客户在哪儿AI和GPT等大模型有什么不同
客户在哪儿AI生产的是企业全历史行为数据,同时还针对ToB企业,提供基于企业全历史行为数据的数据分析服务。
|
2天前
|
人工智能 IDE Devops
当「软件研发」遇上 AI 大模型
大模型和软件工具链的结合,使软件研发进入下一个时代。那它第一个落脚点在哪?实际上就是辅助编程,所以我们就开始打造了通义灵码这款产品,它是一个基于代码大模型的的 AI 辅助工具。本文会分为三个部分来分享。第一部分先介绍 AIGC 对软件研发的根本性影响,从宏观上介绍当下的趋势;第二部分将介绍 Copilot 模式,第三部分是未来软件研发 Agent 产品的进展。
|
7天前
|
人工智能 算法
国内AI大模型高考数学成绩超GPT-4o
【7月更文挑战第13天】国内AI大模型高考数学成绩超GPT-4o
|
6天前
|
人工智能 自然语言处理 搜索推荐
大模型时代,如何让AI客服“听懂人话”、“更有温度”?
大模型时代,如何让AI客服“听懂人话”、“更有温度”?
|
7天前
|
机器学习/深度学习 数据采集 人工智能
动手实践:从零开始训练AI模型的全面指南
【7月更文第14天】随着人工智能技术的飞速发展,训练AI模型已成为科研、工程乃至创业领域的热门技能。本文旨在为初学者提供一个清晰、实用的指南,带领大家从零开始,了解并实践如何训练一个人工智能模型。我们将以一个简单的线性回归任务为例,逐步深入,探讨数据预处理、模型构建、训练过程及评估方法,最后展示如何使用Python和深度学习库PyTorch实现这一过程。
46 0
|
2天前
|
人工智能 领域建模
AI计算机中的大模型评估体系可能会有何变化
AI计算机中的大模型评估体系可能会有何变化
|
4天前
|
机器学习/深度学习 人工智能 Python
性能调优:提升AI模型准确率的策略
【7月更文第17天】在人工智能的世界里,打造一个预测精准、表现优异的模型就像是烹饪一道美味佳肴,不仅要选对食材(特征),还得掌握火候(超参数调整)和调味技巧(正则化)。今天,我们就来聊聊如何通过《性能调优:提升AI模型准确率的策略》,让我们的AI模型变得更加聪明伶俐。
14 0
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
探索软件测试的新篇章:AI驱动的测试自动化
【7月更文挑战第10天】随着人工智能技术的蓬勃发展,软件测试领域迎来了革命性的变革。本文将深入探讨AI技术如何重塑软件测试流程,提升测试效率和准确性。从AI在测试用例生成、缺陷预测、测试执行以及结果分析的应用出发,我们将揭示AI技术如何使测试更加智能化、精准化,并展望AI在软件测试领域的未来发展趋势。
12 0
|
12天前
|
机器学习/深度学习 人工智能 大数据
AI大模型企业应用实战(24)-什么是zero-shot, one-shot和few-shot Learning?
零样本学习(Zero-Shot Learning)是机器学习中的一种方法,模型在未见过的类别上进行分类,依赖于类别描述来建立训练与测试集间的联系。例如,通过已知的马、老虎和熊猫特征推断斑马。单样本学习(One-Shot Learning)则是在极少量样本(如一个)的情况下进行学习,目标是减少训练数据需求,适用于新类别出现时无需重新训练的情况。小样本学习(Few-Shot Learning)是处理仅有少量类内样本的学习任务。这三者常用于图像分类、语义分割等场景,One-Shot是Few-Shot的特殊情况。

热门文章

最新文章