《百炼成金-大金融模型新篇章》––10.金融级AI原生的六大要素(2)

简介: 百炼必定成金,新质生产力会催生新质劳动力,谨以此文抛砖引玉,希望与业内的各位朋友一同探讨如何积极拥抱并运用大模型技术,以应对和驾驭不断变化的市场环境,实现科技金融持续稳定的提质增效和创新发展,携手开启金融大模型未来新篇章。

本文来源于阿里云社区电子书《百炼成金-大金融模型新篇章》


《百炼成金-大金融模型新篇章》––10.金融级AI原生的六大要素(1):https://developer.aliyun.com/article/1539487


要素 3:扩展性与多样性


大模型的扩展性与多样性是确保其在未来可持续发展和适应新需求的关键属性。这两个概念在大模型的设计、开发、部署和维护过程中扮演着重要角色。


扩展性是指为了满足业务发展的需求,需要一种弹性的伸缩架构,满足大模型应用对不断增长算力的需求。通过这种弹性的伸缩架构,来解决了前面提到的“有限算力”的问题。


对于金融客户来说,目前有三种算力资源扩展的形态可以选择:


一、直接使用金融云的公共资源池。对于数据可以上云的客户来说,企业无需自行构建复杂的算力基础设施或大模型开发平台,而是直接利用公共资源池来进行模型推理和高效微调。金融云提供了简便的应用开发平台,开发完毕的应用能够便捷地通过 API 接口进行业务集成与调用,在金融云环境中,可以按需随意进行算力资源的扩缩容,从而极大地提升了效率和灵活性。


二、金融云客户 VPC 方式。对于有数据安全管控需求的客户,建议采用 VPC 方式。大模型应用及知识库部署在金融云客户 VPC 环境中,确保推理过程中产生的数据及微调所用的数据均存储在客户 VPC 的区域内,以加强数据的隐私性和安全性。应用的开发工作在公共资源池的平台进行,同时该平台支持大模型的微调及推理等功能。一旦应用开发完成,便部署到客户 VPC 区域,并通过 API 接口无缝对接公共资源池中的大模型服务,实现高效、安全的资源调用与协同作业。在客户 VPC 方式中,同样可以根据需要对算力资源进行动态扩缩容。


三、线下 IDC 与金融云混合方式。对于私有数据不能出域的客户,可以采用线下数据中心(IDC) 与金融云混合的方式。企业在其内部的 IDC 中构建智能计算集群,部署大模型及应用开发平台。应用的开发全程在 IDC 内成,并在 IDC 环境中部署运行。在面对业务高峰或 IDC资源紧张的情况下,企业可以采取灵活策略,将大模型扩展到金融云的资源池中,实现流量的智能分配,将部分业务负载转移到金融云上进行高效的模型推理,以应对高并发需求。同时,根据实际需要,可以选择性地将微调数据迁移至金融云,利用其强大算力进行模型的微调,进一步优化性能和服务能力。


image.png

混合云解决方案支持大模型在私有云和公共云之间无缝迁移和部署,用户可以通过统一的云管理平台对分布在不同环境下的计算资源进行集中管理和调度,简化运维复杂性。在网络互联上,通过先进的混合云网络技术,实现网络的高速稳定互联。


我们来看一个实际的案例:某证券公司通过大模型将咨询、公告、年报、研报、路演、业绩通告视频等多模态信息纳入知识库,满足内部分析师和机构用户的知识问答、观点总结生成。应用大模型准确理解用户搜索意图并提供逻辑分析能力、归纳总结能力。


image.png

1、客户线下 IDC 进行大模型微调,对微调好后的模型在线下 IDC 和金融云两套环境进行模型部署;


2、业务调用时,分为两种情况:


1)业务流程正常的情况下,直接使用线下 IDC 的资源,为业务提供在线推理服务。


2)当业务流量高峰期间,如果线下 IDC 资源不足以应对业务调用,采用分流的方式,将用户请求调拨至金融云,从而实现高效的 SLA 保障。在这种调用方式下,考虑到私有数据不能出域的情况下,需要在线下 IDC 完成敏感信息处理工作,将脱敏后的内容调用金融云上的大模型。


大模型的多样性体现在多个方面,包括模型尺寸的多样性、多模态、模型部署形态的多样性、和应用场景的适配性。为顺应不同场景用户的需求,有不同参数规模横跨 5 亿到 1100 亿的多款大语言模型。在模型的部署形态上,小尺寸模型可便捷地在手机、PC 等端侧设备部署。在应用场景的适配性上,大尺寸模型如千亿能支持企业级和科研级的应用;中等尺寸如 30B 左右的在性能、效率和内存占用之间找到最具性价比的平衡点。


正是因为大模型的多样性,使得在具体的业务场景,可以采用大小模型相结合,既能充分利用大模型的优点,又能保持成本效益。

通过将任务分解,用大模型处理那些需要高准确性的复杂分析,用小模型则快速处理那些对时效性要求高的任务。


以我们在财管领域的一个客户为例,通过大模型来进行问题规划和任务分解,通过小模型来构建各种 Agent,实现了跟蚂蚁支小宝相似的效果。通过大小模型相结合的方式,既满足了需要,也降低应用成本。


智能服务机器人

image.png


要素 4:安全性与合规性


2023年8月15日,国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》开始正式施行,办法对大模型训练数据、数据标注、内容生成规范、内容生成标识、算法备案机制、监督和责任都提供了相应的指引和要求。


生成式人工智能的安全管理需要贯穿产品的全生命周期,包括模型训练、服务上线、内容生成、内容传播各阶段。


●  在模型训练阶段,奠定了模型的能力基础,也决定了模型自身的安全性;这个阶段会涉及到数据和模型,不会和用户发生关联。相应的风险治理工作包括:训练数据的筛选和过滤、模型安全评测、模型对齐与内生安全增强、算法机制机理审核。


●  在算法服务上线阶段,服务提供者需要选择安全有效的模型作为基座构建完整的算法服务。在这个阶段并不涉及模型的训练、使用的数据,但是会决定对模型的核验、对模型的使用方式、调用的工具集等。


●  在内容生成阶段,大模型生成的内容是用户和模型交互的结果。用户的输入,以及模型对用户之前输入的反馈,都影响到模型当前的生成。用户使用生成式人工智能服务的目的、是否主观上给出恶意输出和诱导,很大程度上决定了模型输出内容的安全性。


●  在内容传播阶段,内容的传播方式和途径、范围是风险的决定性因素之一。在传播环节出现的风险,需要建立相应的风险治理技术手段和工作机制。


image.png

在整个产品的全生命周期中,其中的模型安全和内容安全是两个最关键的点。模型安全关乎技术底层的坚固与防御能力,是支撑系统运行的根基;而内容安全则侧重于对外交互的信息质量与合法性,是保障用户体验和社会影响的表层防护。两者相辅相成,共同构建 AI 产品全生命周期的安全体系。


模型安全:通过自动发现大模型有害的行为(redteaming)和安全增强(SafetyEnhancement)来不断增强模型安全。

image.png

《百炼成金-大金融模型新篇章》––10.金融级AI原生的六大要素(3):https://developer.aliyun.com/article/1539479

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
8天前
|
人工智能 Cloud Native 中间件
划重点|云栖大会「AI 原生应用架构论坛」看点梳理
本场论坛将系统性阐述 AI 原生应用架构的新范式、演进趋势与技术突破,并分享来自真实生产环境下的一线实践经验与思考。
|
9天前
|
机器学习/深度学习 人工智能 自然语言处理
如何让AI更“聪明”?VLM模型的优化策略与测试方法全解析​
本文系统解析视觉语言模型(VLM)的核心机制、推理优化、评测方法与挑战。涵盖多模态对齐、KV Cache优化、性能测试及主流基准,助你全面掌握VLM技术前沿。建议点赞收藏,深入学习。
182 8
|
13天前
|
人工智能 安全 搜索推荐
面向阿里云百炼用户的AI安全护栏服务
本服务专为百炼平台用户提供,旨在提升大模型的文字输入和输出安全审核体验。在遵守百炼平台红线管控政策的基础上,我们提供了灵活的审核标签管理功能,允许用户根据需要开启或关闭特定审核标签。此外,我们还提供定制化的安全策略配置服务,以满足不同用户的个性化需求。
68 0
|
14天前
|
机器学习/深度学习 数据采集 人工智能
PyTorch学习实战:AI从数学基础到模型优化全流程精解
本文系统讲解人工智能、机器学习与深度学习的层级关系,涵盖PyTorch环境配置、张量操作、数据预处理、神经网络基础及模型训练全流程,结合数学原理与代码实践,深入浅出地介绍激活函数、反向传播等核心概念,助力快速入门深度学习。
67 1
|
14天前
|
人工智能 Cloud Native 中间件
【云栖大会】AI原生、AI可观测、AI Serverless、AI中间件,4场论坛20+议题公布!
2025 年 9 月 24 日至 26 日,杭州·云栖小镇,4 大论坛、20+ 主题分享,从云原生到 AI 原生,我们诚邀您共赴企业智能化升级浪潮之巅。
人工智能 自然语言处理 数据可视化
147 0
|
20天前
|
人工智能 数据可视化 定位技术
不会编程也能体验的 AI 魔法,外滩大会代码原生地等你解锁
不会编程也能体验的 AI 魔法,外滩大会代码原生地等你解锁
310 39
|
23天前
|
人工智能 API
阿里云百炼API-KEY在哪查询?如何获取阿里云AI百炼大模型的API-KEY?
阿里云百炼是阿里云推出的AI大模型平台,用户可通过其管理控制台获取API-KEY。需先开通百炼平台及大模型服务,即可创建并复制API-KEY。目前平台提供千万tokens免费额度,详细操作流程可参考官方指引。
|
23天前
|
人工智能 监控 Kubernetes
稳定支撑大规模模型调用,携程旅游的 AI 网关实践
为了进一步提升服务水平和服务质量,携程很早就开始在人工智能大模型领域进行探索。而随着工作的深入,大模型服务的应用领域不断扩大,公司内部需要访问大模型服务的应用也越来越多,不可避免的就遇到了几个问题,我们自然就会想到使用网关来对这些服务接入进行统一管理,并增加各种切面上的流量治理功能。
119 34
|
27天前
|
人工智能 自然语言处理 IDE
模型微调不再被代码难住!PAI和Qwen3-Coder加速AI开发新体验
通义千问 AI 编程大模型 Qwen3-Coder 正式开源,阿里云人工智能平台 PAI 支持云上一键部署 Qwen3-Coder 模型,并可在交互式建模环境中使用 Qwen3-Coder 模型。
323 109

热门文章

最新文章