本文来源于阿里云社区电子书《百炼成金-大金融模型新篇章》
《百炼成金-大金融模型新篇章》––10.金融级AI原生的六大要素（1）：https://developer.aliyun.com/article/1539487
要素 3：扩展性与多样性
大模型的扩展性与多样性是确保其在未来可持续发展和适应新需求的关键属性。这两个概念在大模型的设计、开发、部署和维护过程中扮演着重要角色。
扩展性是指为了满足业务发展的需求，需要一种弹性的伸缩架构，满足大模型应用对不断增长算力的需求。通过这种弹性的伸缩架构，来解决了前面提到的“有限算力”的问题。
对于金融客户来说，目前有三种算力资源扩展的形态可以选择：
一、直接使用金融云的公共资源池。对于数据可以上云的客户来说，企业无需自行构建复杂的算力基础设施或大模型开发平台，而是直接利用公共资源池来进行模型推理和高效微调。金融云提供了简便的应用开发平台，开发完毕的应用能够便捷地通过 API 接口进行业务集成与调用，在金融云环境中，可以按需随意进行算力资源的扩缩容，从而极大地提升了效率和灵活性。
二、金融云客户 VPC 方式。对于有数据安全管控需求的客户，建议采用 VPC 方式。大模型应用及知识库部署在金融云客户 VPC 环境中，确保推理过程中产生的数据及微调所用的数据均存储在客户 VPC 的区域内，以加强数据的隐私性和安全性。应用的开发工作在公共资源池的平台进行，同时该平台支持大模型的微调及推理等功能。一旦应用开发完成，便部署到客户 VPC 区域，并通过 API 接口无缝对接公共资源池中的大模型服务，实现高效、安全的资源调用与协同作业。在客户 VPC 方式中，同样可以根据需要对算力资源进行动态扩缩容。
三、线下 IDC 与金融云混合方式。对于私有数据不能出域的客户，可以采用线下数据中心(IDC) 与金融云混合的方式。企业在其内部的 IDC 中构建智能计算集群，部署大模型及应用开发平台。应用的开发全程在 IDC 内成，并在 IDC 环境中部署运行。在面对业务高峰或 IDC资源紧张的情况下，企业可以采取灵活策略，将大模型扩展到金融云的资源池中，实现流量的智能分配，将部分业务负载转移到金融云上进行高效的模型推理，以应对高并发需求。同时，根据实际需要，可以选择性地将微调数据迁移至金融云，利用其强大算力进行模型的微调，进一步优化性能和服务能力。
混合云解决方案支持大模型在私有云和公共云之间无缝迁移和部署，用户可以通过统一的云管理平台对分布在不同环境下的计算资源进行集中管理和调度，简化运维复杂性。在网络互联上，通过先进的混合云网络技术，实现网络的高速稳定互联。
我们来看一个实际的案例：某证券公司通过大模型将咨询、公告、年报、研报、路演、业绩通告视频等多模态信息纳入知识库，满足内部分析师和机构用户的知识问答、观点总结生成。应用大模型准确理解用户搜索意图并提供逻辑分析能力、归纳总结能力。
1、客户线下 IDC 进行大模型微调，对微调好后的模型在线下 IDC 和金融云两套环境进行模型部署；
2、业务调用时，分为两种情况：
1）业务流程正常的情况下，直接使用线下 IDC 的资源，为业务提供在线推理服务。
2）当业务流量高峰期间，如果线下 IDC 资源不足以应对业务调用，采用分流的方式，将用户请求调拨至金融云，从而实现高效的 SLA 保障。在这种调用方式下，考虑到私有数据不能出域的情况下，需要在线下 IDC 完成敏感信息处理工作，将脱敏后的内容调用金融云上的大模型。
大模型的多样性体现在多个方面，包括模型尺寸的多样性、多模态、模型部署形态的多样性、和应用场景的适配性。为顺应不同场景用户的需求，有不同参数规模横跨 5 亿到 1100 亿的多款大语言模型。在模型的部署形态上，小尺寸模型可便捷地在手机、PC 等端侧设备部署。在应用场景的适配性上，大尺寸模型如千亿能支持企业级和科研级的应用；中等尺寸如 30B 左右的在性能、效率和内存占用之间找到最具性价比的平衡点。
正是因为大模型的多样性，使得在具体的业务场景，可以采用大小模型相结合，既能充分利用大模型的优点，又能保持成本效益。
通过将任务分解，用大模型处理那些需要高准确性的复杂分析，用小模型则快速处理那些对时效性要求高的任务。
以我们在财管领域的一个客户为例，通过大模型来进行问题规划和任务分解，通过小模型来构建各种 Agent，实现了跟蚂蚁支小宝相似的效果。通过大小模型相结合的方式，既满足了需要，也降低应用成本。
智能服务机器人
要素 4：安全性与合规性
2023年8月15日，国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》开始正式施行，办法对大模型训练数据、数据标注、内容生成规范、内容生成标识、算法备案机制、监督和责任都提供了相应的指引和要求。
生成式人工智能的安全管理需要贯穿产品的全生命周期，包括模型训练、服务上线、内容生成、内容传播各阶段。
● 在模型训练阶段，奠定了模型的能力基础，也决定了模型自身的安全性；这个阶段会涉及到数据和模型，不会和用户发生关联。相应的风险治理工作包括：训练数据的筛选和过滤、模型安全评测、模型对齐与内生安全增强、算法机制机理审核。
● 在算法服务上线阶段，服务提供者需要选择安全有效的模型作为基座构建完整的算法服务。在这个阶段并不涉及模型的训练、使用的数据，但是会决定对模型的核验、对模型的使用方式、调用的工具集等。
● 在内容生成阶段，大模型生成的内容是用户和模型交互的结果。用户的输入，以及模型对用户之前输入的反馈，都影响到模型当前的生成。用户使用生成式人工智能服务的目的、是否主观上给出恶意输出和诱导，很大程度上决定了模型输出内容的安全性。
● 在内容传播阶段，内容的传播方式和途径、范围是风险的决定性因素之一。在传播环节出现的风险，需要建立相应的风险治理技术手段和工作机制。
在整个产品的全生命周期中，其中的模型安全和内容安全是两个最关键的点。模型安全关乎技术底层的坚固与防御能力，是支撑系统运行的根基；而内容安全则侧重于对外交互的信息质量与合法性，是保障用户体验和社会影响的表层防护。两者相辅相成，共同构建 AI 产品全生命周期的安全体系。
模型安全：通过自动发现大模型有害的行为（redteaming）和安全增强（SafetyEnhancement）来不断增强模型安全。
《百炼成金-大金融模型新篇章》––10.金融级AI原生的六大要素（3）：https://developer.aliyun.com/article/1539479
