本文来源于阿里云社区电子书《百炼成金-大金融模型新篇章》
AI 原生，特别是大模型的发展对资源管理与调度、训练、推理提出了全方位的新要求。首先，在资源管理与调度层面，由于大模型训练所需的计算资源量庞大且计算密集，要求系统具备高效能计算资源的精细化管理和动态调度能力，以适应大规模训练任务和异构硬件环境。这包括合理分配和调整计算资源、优化存储策略以降低存储成本和提高数据访问效率、支持异构计算、实现弹性伸缩以应对任务需求变化，以及关注能源效率以实现绿色计算。
其次，在模型训练环节，大模型训练需要强大的大规模分布式训练能力，妥善处理数据并行、模型并行、流水线并行等策略下的通信开销与数据同步问题，确保训练的稳定性和收敛速度。同时，混合精度训练、自适应学习率调整技术的应用有助于降低计算和内存开销，提高训练效率。对于超大规模模型，模型并行化与规模化的要求使得模型架构设计、通信优化、梯度聚合等方面面临更高挑战。
最后，在推理阶段，大模型应用对实时性、低延迟响应有严格要求，推理系统需配备高效的推理引擎，通过模型优化、硬件加速等手段减少推理时间。推理服务化与部署灵活性是另一重要需求，要求模型易于部署到多种环境并支持服务化接口，同时具备模型版本管理、灰度发布等运维功能。
金融级 AI 原生的平台架构
金融级 AI 原生的平台架构分为：智算设施、智算平台、模型服务和应用服务等 4 个领域。
智算设施（IaaS）：提供大模型所需的底层计算资源和基础架构的服务层，这些资源包括但不限于服务器、存储、网络以及相关的数据中心设施。对于运行大模型来说，IaaS 层提供了弹性伸缩性、灵活、高可靠性和安全性的基础设施解决方案，可以大幅简化模型开发和部署的过程，加快创新速度。
智算平台（PaaS）：提供资源调度与任务管理、训练框架、推理框架以及数据服务。资源调度与任务管理通过拓扑感知调度、多级配额资源模型、多种队列策略、配额间资源共享等一系列核心能力，让物理算力集群利用率逼近理论上限。模型训练包括训练快照、训练时自动容错和作业的重启、训练加速等功能。推理框架提供了模型兼容、推理加速、推理对抗和推理监控等一系列功能。数据服务提供了向量数据库、图数据库和云原生数据库等数据服务。
模型服务（MaaS）：一站式大模型生产平台，提供从大模型开发、训练到应用的全套解决方案。
全链路的模型训练及评估工具：全链路模型服务覆盖数据管理、模型训练、评估和部署等关键环节。数据管理整合了离线和在线数据集，确保训练数据的质量和完备性。模型训练允许用户选择各类开源大模型、多模态模型，并通过透明化工具监控模型状态。模型评估提供多种资源，包括单模型和多模型对比，以对标行业标准。并提供一键化的模型部署功能。
集成丰富多样的应用工具：强调了开箱即用的特性，包括预置检索增强、流程编排、Prompt 模板应用、插件中心支持接入企业系统、基于大模型快速构建业务应用 agent：智能体中心，并为企业和开发者提供智能体 API 的调用。其中，智能体应用包含支持 RAG、分析、创作等链路。同时，为保持开放性，整合并优化了开源框架如 LlamaIndex，提供封装的原子级服务和 SDK。插件中心预设了多样插件，并支持企业和开发者自定义插件，以提升大模型的调用效率。
应用服务（SaaS）：在应用层上，考虑到金融领域的多方位需求，将应用划分为两大类别以实现广泛适用性与行业特异性。一类是通用应用场景，跨越整个金融行业，涵盖诸如智能客服来提升服务体验、智能营销以增强市场触达，以及工作助手以提高日常办公效率。另一类则专注于金融细分市场的独特需求，例如银行业专注于信贷报告自动化生成与严谨的合规性审查；证券业则侧重投资研究与顾问服务的智能化；而在保险业，致力于通过“保险数字生产力”提升业务效能，具体体现为智能核保流程的优化以及代理人培训系统的智能化。
智能客服：大模型凭借其强大的自然语言理解和生成能力，可以作为智能客服系统的核心组件，提供 24/7 全天候在线服务。用于客户的咨询、外呼和客户交互过程中，识别客户意图，进行更好的、贴心的服务。
智能营销：大模型能够根据不同的客户群体特征和营销目标，自动生成具有吸引力的营销文案、广告创意、邮件推送、营销视频等个性化内容。
工作助手：大模型可以集成到日常工作中，提供咨询服务、编程辅助服务、数据分析、内部公共助手、以及用于法律法规方面的审核工作，在减轻员工负担的同时，也可以提升工作效率。比如，知识助手、开发助手、用数助手、会议助手和审查助手。
信贷报告生成：大模型能够自动读取和整合来自多个来源的数据，包括财务报表、征信记录、市场数据等，进行快速而全面的信息分析。这不仅限于数值数据，也包括文本信息，如征信报告、企业年报、行业报告等，从而形成一个综合的信用视图。
合规审核：大模型可以被训练来识别和分析各类交易、合同、报告中的合规风险点。通过模式识别和自然语言处理技术，模型能够迅速扫描文档，比对监管要求，自动标记潜在的不合规内容。
投研投顾：在投资研究领域，大模型能够分析海量的经济数据、新闻报道、社交媒体情绪等信息，辅助投资者识别市场趋势，为投资策略提供数据支持。在投顾领域，大模型能根据个人投资者的风险偏好、资产状况和投资目标，提供定制化的投资建议，优化资产配置，提升投资组合的表现。
保险数字生产力：通过分析保险申请中的文本描述、图片，大模型能基于保险规则，自动判断核保申请，辅助保险员加速申请审核流程，提升客户满意度。保险公司利用大模型创建“数字员工”，来模拟不同的角色，帮助代理人快速上岗，提升工作效率。
