《百炼成金-大金融模型新篇章》––10.金融级AI原生的六大要素(2)

简介: 百炼必定成金,新质生产力会催生新质劳动力,谨以此文抛砖引玉,希望与业内的各位朋友一同探讨如何积极拥抱并运用大模型技术,以应对和驾驭不断变化的市场环境,实现科技金融持续稳定的提质增效和创新发展,携手开启金融大模型未来新篇章。

本文来源于阿里云社区电子书《百炼成金-大金融模型新篇章》


《百炼成金-大金融模型新篇章》––10.金融级AI原生的六大要素(1):https://developer.aliyun.com/article/1539487


要素 3:扩展性与多样性


大模型的扩展性与多样性是确保其在未来可持续发展和适应新需求的关键属性。这两个概念在大模型的设计、开发、部署和维护过程中扮演着重要角色。


扩展性是指为了满足业务发展的需求,需要一种弹性的伸缩架构,满足大模型应用对不断增长算力的需求。通过这种弹性的伸缩架构,来解决了前面提到的“有限算力”的问题。


对于金融客户来说,目前有三种算力资源扩展的形态可以选择:


一、直接使用金融云的公共资源池。对于数据可以上云的客户来说,企业无需自行构建复杂的算力基础设施或大模型开发平台,而是直接利用公共资源池来进行模型推理和高效微调。金融云提供了简便的应用开发平台,开发完毕的应用能够便捷地通过 API 接口进行业务集成与调用,在金融云环境中,可以按需随意进行算力资源的扩缩容,从而极大地提升了效率和灵活性。


二、金融云客户 VPC 方式。对于有数据安全管控需求的客户,建议采用 VPC 方式。大模型应用及知识库部署在金融云客户 VPC 环境中,确保推理过程中产生的数据及微调所用的数据均存储在客户 VPC 的区域内,以加强数据的隐私性和安全性。应用的开发工作在公共资源池的平台进行,同时该平台支持大模型的微调及推理等功能。一旦应用开发完成,便部署到客户 VPC 区域,并通过 API 接口无缝对接公共资源池中的大模型服务,实现高效、安全的资源调用与协同作业。在客户 VPC 方式中,同样可以根据需要对算力资源进行动态扩缩容。


三、线下 IDC 与金融云混合方式。对于私有数据不能出域的客户,可以采用线下数据中心(IDC) 与金融云混合的方式。企业在其内部的 IDC 中构建智能计算集群,部署大模型及应用开发平台。应用的开发全程在 IDC 内成,并在 IDC 环境中部署运行。在面对业务高峰或 IDC资源紧张的情况下,企业可以采取灵活策略,将大模型扩展到金融云的资源池中,实现流量的智能分配,将部分业务负载转移到金融云上进行高效的模型推理,以应对高并发需求。同时,根据实际需要,可以选择性地将微调数据迁移至金融云,利用其强大算力进行模型的微调,进一步优化性能和服务能力。


image.png

混合云解决方案支持大模型在私有云和公共云之间无缝迁移和部署,用户可以通过统一的云管理平台对分布在不同环境下的计算资源进行集中管理和调度,简化运维复杂性。在网络互联上,通过先进的混合云网络技术,实现网络的高速稳定互联。


我们来看一个实际的案例:某证券公司通过大模型将咨询、公告、年报、研报、路演、业绩通告视频等多模态信息纳入知识库,满足内部分析师和机构用户的知识问答、观点总结生成。应用大模型准确理解用户搜索意图并提供逻辑分析能力、归纳总结能力。


image.png

1、客户线下 IDC 进行大模型微调,对微调好后的模型在线下 IDC 和金融云两套环境进行模型部署;


2、业务调用时,分为两种情况:


1)业务流程正常的情况下,直接使用线下 IDC 的资源,为业务提供在线推理服务。


2)当业务流量高峰期间,如果线下 IDC 资源不足以应对业务调用,采用分流的方式,将用户请求调拨至金融云,从而实现高效的 SLA 保障。在这种调用方式下,考虑到私有数据不能出域的情况下,需要在线下 IDC 完成敏感信息处理工作,将脱敏后的内容调用金融云上的大模型。


大模型的多样性体现在多个方面,包括模型尺寸的多样性、多模态、模型部署形态的多样性、和应用场景的适配性。为顺应不同场景用户的需求,有不同参数规模横跨 5 亿到 1100 亿的多款大语言模型。在模型的部署形态上,小尺寸模型可便捷地在手机、PC 等端侧设备部署。在应用场景的适配性上,大尺寸模型如千亿能支持企业级和科研级的应用;中等尺寸如 30B 左右的在性能、效率和内存占用之间找到最具性价比的平衡点。


正是因为大模型的多样性,使得在具体的业务场景,可以采用大小模型相结合,既能充分利用大模型的优点,又能保持成本效益。

通过将任务分解,用大模型处理那些需要高准确性的复杂分析,用小模型则快速处理那些对时效性要求高的任务。


以我们在财管领域的一个客户为例,通过大模型来进行问题规划和任务分解,通过小模型来构建各种 Agent,实现了跟蚂蚁支小宝相似的效果。通过大小模型相结合的方式,既满足了需要,也降低应用成本。


智能服务机器人

image.png


要素 4:安全性与合规性


2023年8月15日,国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》开始正式施行,办法对大模型训练数据、数据标注、内容生成规范、内容生成标识、算法备案机制、监督和责任都提供了相应的指引和要求。


生成式人工智能的安全管理需要贯穿产品的全生命周期,包括模型训练、服务上线、内容生成、内容传播各阶段。


●  在模型训练阶段,奠定了模型的能力基础,也决定了模型自身的安全性;这个阶段会涉及到数据和模型,不会和用户发生关联。相应的风险治理工作包括:训练数据的筛选和过滤、模型安全评测、模型对齐与内生安全增强、算法机制机理审核。


●  在算法服务上线阶段,服务提供者需要选择安全有效的模型作为基座构建完整的算法服务。在这个阶段并不涉及模型的训练、使用的数据,但是会决定对模型的核验、对模型的使用方式、调用的工具集等。


●  在内容生成阶段,大模型生成的内容是用户和模型交互的结果。用户的输入,以及模型对用户之前输入的反馈,都影响到模型当前的生成。用户使用生成式人工智能服务的目的、是否主观上给出恶意输出和诱导,很大程度上决定了模型输出内容的安全性。


●  在内容传播阶段,内容的传播方式和途径、范围是风险的决定性因素之一。在传播环节出现的风险,需要建立相应的风险治理技术手段和工作机制。


image.png

在整个产品的全生命周期中,其中的模型安全和内容安全是两个最关键的点。模型安全关乎技术底层的坚固与防御能力,是支撑系统运行的根基;而内容安全则侧重于对外交互的信息质量与合法性,是保障用户体验和社会影响的表层防护。两者相辅相成,共同构建 AI 产品全生命周期的安全体系。


模型安全:通过自动发现大模型有害的行为(redteaming)和安全增强(SafetyEnhancement)来不断增强模型安全。

image.png

《百炼成金-大金融模型新篇章》––10.金融级AI原生的六大要素(3):https://developer.aliyun.com/article/1539479

相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
阿里云专有网络VPC使用教程
专有网络VPC可以帮助您基于阿里云构建出一个隔离的网络环境,并可以自定义IP 地址范围、网段、路由表和网关等;此外,也可以通过专线/VPN/GRE等连接方式实现云上VPC与传统IDC的互联,构建混合云业务。 产品详情:https://www.aliyun.com/product/vpc
相关文章
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
算法金 | 秒懂 AI - 深度学习五大模型:RNN、CNN、Transformer、BERT、GPT 简介
**RNN**,1986年提出,用于序列数据,如语言模型和语音识别,但原始模型有梯度消失问题。**LSTM**和**GRU**通过门控解决了此问题。 **CNN**,1989年引入,擅长图像处理,卷积层和池化层提取特征,经典应用包括图像分类和物体检测,如LeNet-5。 **Transformer**,2017年由Google推出,自注意力机制实现并行计算,优化了NLP效率,如机器翻译。 **BERT**,2018年Google的双向预训练模型,通过掩码语言模型改进上下文理解,适用于问答和文本分类。
39 9
|
2天前
|
人工智能 数据挖掘 机器人
同样是人工智能 客户在哪儿AI和GPT等大模型有什么不同
客户在哪儿AI生产的是企业全历史行为数据,同时还针对ToB企业,提供基于企业全历史行为数据的数据分析服务。
|
2天前
|
人工智能 IDE Devops
当「软件研发」遇上 AI 大模型
大模型和软件工具链的结合,使软件研发进入下一个时代。那它第一个落脚点在哪?实际上就是辅助编程,所以我们就开始打造了通义灵码这款产品,它是一个基于代码大模型的的 AI 辅助工具。本文会分为三个部分来分享。第一部分先介绍 AIGC 对软件研发的根本性影响,从宏观上介绍当下的趋势;第二部分将介绍 Copilot 模式,第三部分是未来软件研发 Agent 产品的进展。
|
7天前
|
人工智能 算法
国内AI大模型高考数学成绩超GPT-4o
【7月更文挑战第13天】国内AI大模型高考数学成绩超GPT-4o
|
6天前
|
人工智能 自然语言处理 搜索推荐
大模型时代,如何让AI客服“听懂人话”、“更有温度”?
大模型时代,如何让AI客服“听懂人话”、“更有温度”?
|
7天前
|
机器学习/深度学习 数据采集 人工智能
动手实践:从零开始训练AI模型的全面指南
【7月更文第14天】随着人工智能技术的飞速发展,训练AI模型已成为科研、工程乃至创业领域的热门技能。本文旨在为初学者提供一个清晰、实用的指南,带领大家从零开始,了解并实践如何训练一个人工智能模型。我们将以一个简单的线性回归任务为例,逐步深入,探讨数据预处理、模型构建、训练过程及评估方法,最后展示如何使用Python和深度学习库PyTorch实现这一过程。
46 0
|
2天前
|
人工智能 领域建模
AI计算机中的大模型评估体系可能会有何变化
AI计算机中的大模型评估体系可能会有何变化
|
4天前
|
机器学习/深度学习 人工智能 Python
性能调优:提升AI模型准确率的策略
【7月更文第17天】在人工智能的世界里,打造一个预测精准、表现优异的模型就像是烹饪一道美味佳肴,不仅要选对食材(特征),还得掌握火候(超参数调整)和调味技巧(正则化)。今天,我们就来聊聊如何通过《性能调优:提升AI模型准确率的策略》,让我们的AI模型变得更加聪明伶俐。
14 0
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
探索软件测试的新篇章:AI驱动的测试自动化
【7月更文挑战第10天】随着人工智能技术的蓬勃发展,软件测试领域迎来了革命性的变革。本文将深入探讨AI技术如何重塑软件测试流程,提升测试效率和准确性。从AI在测试用例生成、缺陷预测、测试执行以及结果分析的应用出发,我们将揭示AI技术如何使测试更加智能化、精准化,并展望AI在软件测试领域的未来发展趋势。
12 0
|
12天前
|
机器学习/深度学习 人工智能 大数据
AI大模型企业应用实战(24)-什么是zero-shot, one-shot和few-shot Learning?
零样本学习(Zero-Shot Learning)是机器学习中的一种方法,模型在未见过的类别上进行分类,依赖于类别描述来建立训练与测试集间的联系。例如,通过已知的马、老虎和熊猫特征推断斑马。单样本学习(One-Shot Learning)则是在极少量样本(如一个)的情况下进行学习,目标是减少训练数据需求,适用于新类别出现时无需重新训练的情况。小样本学习(Few-Shot Learning)是处理仅有少量类内样本的学习任务。这三者常用于图像分类、语义分割等场景,One-Shot是Few-Shot的特殊情况。

热门文章

最新文章