AI战略丨构建未来: 生成式人工智能技术落地策略

简介: GenAI 的技术落地需要企业进行周密地规划和持续地努力。企业必须从自身的战略出发, 综合考虑成本、效果和性能,制定合理的技术架构,通过全面的 AI 治理,实现可持续的创新和发展。

uiqpush4khazq_c5f942152c38494b916a1fb38c943ee1.jpg
文 / 阿里云研究院

生成式人工智能(GenAI)是一种先进的人工智能技术,它能够基于已有的数据和知识生成全新的内容。GenAI 将逐渐改变人们与机器交互的方式,为各行各业带来前所未有的创新机遇。当前,GenAI 正处于爆炸性增长阶段,工业界和学术界都在积极投入资源,探索如何利用 GenAI 实现经营提效、体验提升以及业务创新。

打造 GenAI 能力,已经成为企业全面迈向智能化、构建市场竞争优势的必然选择。而 GenAI 能力的构建,是一个涉及战略、组织、文化和技术等多个维度的综合性难题。本文将聚焦技术层面,分析 GenAI 在企业业务场景中全面落地的关键考量因素,提出“选-育-用” 的方法论,覆盖从技术路线和模型产品的选择,到如何培育适合企业的模型,并将其广泛应用在业务流程实现全面创新的 GenAI 全生命周期,从而助力企业充分发挥 GenAI 能力,构建竞争优势。

大模型的选择

随着 GenAI 技术的逐步成熟和市场潜力的不断显现,企业面临着多样化的产品服务和解决方案选择。针对此,建议企业首先根据自身的业务需求和成本预算来选择技术路线,然后权衡模型的效果、性能等因素选择合适的大模型。特别是企业在面向多个业务场景需求时,可以不局限于单一大模型产品服务甚至技术路线,而是根据不同场景的特殊需求和市场上相应产品服务的成熟性和契合度,分别选择最合适的产品服务。

1.大模型技术路线

企业使用大模型服务的技术路线,主要包括深度研发大模型、基于现有基础大模型进行工程化适配、直接使用大模型服务三种。

1)深度研发大模型
深度研发大模型,是指企业从 0 到 1 完全自主研发或者 基于开源模型做深度定制得到大模型。这一过程涵盖模型设计、数据准备、环境准备、模型训练、模型评估和优化等多个阶段。

深度研发大模型可以针对企业的具体场景需求进行充分的优化设计,理论上可以更为聚焦地解决特定问题,拥有更好的表现,并拥有较高的技术自主性。但深度研发往往需要投入巨大的研发成本,包括计算资源、人员薪资等。从启动自研到上线应用的时间跨度长达数月甚至以年计,并且需要持续投入以确保在技术迭代中不会掉 队。由于技术体系复杂、研发难度大,还可能面临模型性能不理想、项目延期或失败等风险。

2)基于现有基础大模型进行工程化适配
基于现有基础大模型进行工程化适配,是指企业结合具体应用需求对已有的基础大模型进行技术调整和优化,以进一步提升模型在特定领域的表现。对于用户来说,常用的工程化适配方式包括提示词工程(Prompt Engineering)、检索增强生成(Retrieval Augmented Generation,RAG) 和模型微调(Fine-tuning)。企业还可以通过知识蒸馏、剪枝、量化等手段降低大模型的规模,降低推理的计算量,提高大模型的生成速度。

截屏2024-09-02 10.31.26.png

选用这一技术路线无需为基础大模型的训练付费,可以显著减少开发成本,并同时提升大模型在特定任务领域的输出效果。该路线有一定的技术门槛,但不算太高,因此适合于绝大多数企业。特别是当市面上现有的大模型产品服务无法直接满足企业特定需求时,基于现有基础大模型进行工程化适配几乎成为企业的必然选择。

3)直接使用大模型服务
企业还可以直接采购已经训练好的大模型来解决业务问题。一些模型服务商提供将自家模型部署在客户环境的能力,而更多的模型服务商则选择与云平台合作,通过云上 API 来提供大模型服务,这种方式随用随取、按需使用,进一步降低了企业使用大模型的门槛。

企业直接使用大模型服务,无需投入大量资源,可以有效降低使用成本。企业不需要了解技术细节,业务团队能够把大模型快速集成到现有系统中,迅速享受大模型红利。部分模型服务商针对市场规模较大的行业以及通用性较强的场景还推出了专用大模型,进一步提升了大模型的使用效果和用户体验。直接使用大模型服务的方 式适合于大多数企业,特别是成本预算有限、技术能力欠缺的小微企业。随着基础模型能力的不断提升,以及该方式可以与提示词工程、RAG 等工程化适配方法相结合,使得云端 API 调用的方式被越来越多的企业重视。

2.基础大模型的选择

在企业构建 GenAI 能力的三条技术路径中,除了不适用于多数企业的深度研发,无论是对基础大模型进行工程化适配,还是大模型的直接使用,接下来最重要的环节就是基础大模型的选择。在这一过程中,需要综合考量各种因素,但关键是在成本、效果和性能构成的“不可能三角”间进行权衡和取舍。

成本指的是企业大模型落地的整体费用,包括大模型的训练成本、推理成本以及部署、运维和升级成本等。企业有时仅关注有形成本,例如 GPU 购置费用、消耗的电费,或从第三方服务商购买模型服务的费用;而会忽略无形成本,包括为实现大模型服务而配置的人力成本,以及大模型在部署、训练或调试阶段消耗的时间成本等。企业在核算成本时,需要考量总持有成本,特别是不要忽略无形成本。按成本从高到低,一般为深度研发、微调、RAG、提示词工程、直接使用。

效果指的是大模型生成内容的质量,包括内容的准确性,是否存在幻觉问题,或是否会生成不合适的内容。大模型效果可以基于“3H”原则进行评价:Helpful,内容可用有帮助,不要废话连篇、泛泛而谈;Harmless,内容合规无害处,要符合伦理规范和监管要求; Honest,内容正确无幻觉,不要一本正经地胡说八道,甚至给出错误信息。通常来说,大模型的参数规模越大,生成效果越好。因此,当业务需求对内容质量要求严苛时,应尽量选择参数规模更大的模型。

截屏2024-09-02 10.32.08.png


性能指的是大模型服务的速度,包括大模型的训练速度,推理时的响应速度、生成速度等。一般而言,大模型的参数规模越大,需要的训练时间越长,即训练速度越慢,而其进行推理服务时的需求响应速度和内容生成速度也越慢。因此,大模型的效果和性能不可兼得,当成本固定时,大模型的选择主要是在效果和性能之间进行平衡和取舍。对于性能要求较高而对效果有一定容忍度的场景,可以选择参数规模相对较小的模型。

基础大模型的选择是个综合性任务,除了做好成本、效果、性能“不可能三角”的权衡,还需要同时考虑一系列其他因素,例如集成难度,即模型服务与现有系统的集成难度及其所需的技术投入;技术友好性,即技术人员的学习和使用难度;模型扩展性,即模型的更新、升级频率和向下兼容性;模型生态,包括模型系列的参数 尺寸全面性及其背后的工具生态系统和合作伙伴网络等;服务商可靠性,包括服务商的口碑声誉、技术实力和服务能力以及客户成功案例等。这其中,企业需要格外注意大模型服务的合规性与安全性,以免影响业务的正常开展甚至造成企业数据的泄露。

大模型的“培育”

在大模型的三条主要技术路径中,基于现有大模型进行工程化适配是最受企业关注的一条路径:它在成本方面与直接使用大模型相持平,同时能够满足直接使用大模型所无法实现的一些业务特殊需求。工程化适配按技术难度从小到大和成本从低到高,主要包括提示词工程、检索增强生成和微调三种方式。

1.提示词工程

截屏2024-09-02 10.31.26.png

提示词工程,是指通过精心设置提示词,引导模型生成 更准确、更有用的输出。提示词工程的关键是清晰、明确地表达用户的意图,需要确保提示词直接、具体,减少歧义,让模型能够准确捕捉到问题的核心。因此,通常采用包括指令、上下文和期望输出格式的提示词结构,特别是可以根据模型擅长处理的格式来设计提示词模板,并通过试验找到最优的提示词组合。

提示词工程能够在不修改或重新训练大模型的情况下,引导模型更加精准地完成任务,从而有效控制成本。良好的提示词设计能够显著提升模型的输出质量,使得模型效果更贴近用户期待。但同时,提示词工程高度依赖用户经验,优秀的提示词需要对领域知识和模型特性的深入了解,这需要大量的人力投入和试错。

大模型本身能力决定了提示词工程的上限。如果通用大模型训练时纳入了充足的行业数据,提示词工程可以有效引导模型进行高质量输出,但如果通用大模型内含的行业数据匮乏,提示词工程的作用就十分有限,这时候,可以采用 RAG 或微调的方式对基础大模型进行数据补齐。

2.检索增强生成

RAG 是指从外部知识库中检索相关信息,作为上下文输入给大模型,从而提升生成内容的质量。RAG 是一种结合了信息检索和文本生成的技术方案,它需要企业构建知识库,特别是要在知识库中纳入企业希望重点服务的业务场景数据。

RAG 通过引入外部权威信息,显著提升大模型内容生成的准确性和丰富度,减少错误和臆测;生成的内容可以追溯到具体的信息源,提高透明度和可解释性;同时,基础大模型只会调用相关数据,而不会吸收数据成为内含知识。RAG 能够在不改变大模型本身的基础上,快速、显著地提升大模型在特定领域的表现,因此成为企 业部署大模型应用的主流选择。但是,检索步骤的引入会增加系统的整体复杂度,特别是大模型的输出效果高度依赖于检索信息的质量,这使得 RAG 相比于提示词工程增加了成本,并提高了技术门槛。

截屏2024-09-02 15.04.18.png

3.微调
微调,是指在预训练大模型基础上,针对特定任务或领域进行再训练,以提升大模型在该特定任务上的表现。微调利用特定任务的数据集,调整大模型的部分或全部参数,进而将行业知识内化到预训练大模型中,因此,数据质量直接影响微调后的大模型效果;同时,微调策略也直接影响大模型效果。

微调能够提升大模型在特定任务上的准确性和泛化能力,特别是法律、医疗等专业性较强的领域,可以显著提升内容的专业度。但微调需要消耗一定的计算资源,且参数调整存在难度,找到最优的参数复杂且耗时,这使得微调相比提示词工程和 RAG 具有更高的技术门槛。同时,微调存在过拟合风险,如果数据量太少或过度调 整,则会导致大模型的泛化能力下降。

截屏2024-09-02 15.04.36.png

大模型的使用

企业在确定 GenAI 的技术路线,选取合适的基础大模型并完成工程化适配后,就需要进行部署应用以充分发挥大模型价值作用,这个阶段的核心目标是最大化应用价值,最小化业务风险。

1.基础设施建设

当企业选择全自研或基于现有基础大模型进行微调时,面临的首要问题就是基础设施的建设。企业构建大模型基础设施的方式主要包括自建或租用数据中心、使用公共云基础设施服务两种方式。其中,自建或租用数据中心具备自主可控、定制化程度高等优势。但同时,自建或租用数据中心技术门槛高、运维压力大,特别是自建 数据中心建设周期长,且前期资金投入巨大,成本高昂。使用公共云基础设施服务,企业可以在云上快速部署和扩展 AI 项目,降低初期投资,并减少运维负担,但即便如此,GenAI 运行环境的配置和调优仍然颇具难度,对企业有较高的技术要求。

而当企业选择以提示词工程、RAG 进行工程化适配或者直接使用大模型时,模型服务商会提供成熟的产品或 API 接口服务,可以面向用户屏蔽大模型的基础资源消耗,用户只需关注大模型产品服务的实际应用效果,而无需分心底层的基础设施建设。

截屏2024-09-02 10.35.13.png

2.通过 Agent 升级业务流程

AI Agent,即人工智能智能体,是一种能够感知环境、进行决策和执行动作的智能实体。它以大模型为核心驱动力,并通过记忆、规划和工具等组件分别实现信息存储、决策制定与反思总结、任务执行等功能,从而实现特定目标。

AI Agent 的核心在于其自主性、智能性、反应性和交互性,能够根据预设的目标或学习到的知识自动完成任务。因此,AI Agent 将改变工作范式,重塑业务流程。在 AI Agent 的推动下,人机协作方式将从目前的“以人为中心,AI 为辅助”转向未来的“以 AI 为中心,人为辅助”,极大地扩展工作的范畴和方式。作为一种先进的技术解决方案,AI Agent 可以显著提高生产力, 充分挖掘每个业务流程的效能和潜力。

截屏2024-09-02 10.35.41.png

截屏2024-09-02 10.36.03.png

3.高效跨团队协作与持续效果提升,实现 GenAIOps

现代软件开发中强调开发团队与运维团队之间的紧密协作与整合(DevOps),以实现快速、持续、高效的软件交付。这一实践在机器学习(Machine Learning) 领域的落地即为 MLOps (Machine Learning Operations)。在 GenAI 爆发的今天,大模型作为内核,将会与众多企业应用进行更加紧密地交互,迫切需要企业借鉴 MLOps 理念,实现 GenAIOps,包括通过加速工作流程,缩短 AI 产品的迭代周期,加速产品上市; 通过简化系统开发流程,提升员工参与度,推动产品创新;通过各类专用工具的应用,实现精细化运营,提高生产效率;通过工件和知识共享,推动员工间顺畅交流,促进团队协作;通过对代码、数据、模型和配置的记录,实现可复现性,满足监管要求;通过对大模型训练过程 的监管,减少数据偏见,降低产品风险等。

GenAIOps不仅是技术框架,也是一种战略思维,它能够帮助企业充分利用 GenAI 的潜力,并管理好伴随而来的复杂性与风险,从而在快速变化的商业环境中获得竞争优势。

截屏2024-09-02 10.36.39.png

4.利用 AITRiSM 保障 GenAI 安全

随着 GenAI 的兴起,企业面临着前所未有的挑战,包括内容偏见、数据泄露和 AI 应用漏洞等。传统的安全控制不足以应对这些新兴风险,需要专门针对 AI 的管理策略以保障系统的稳健性、合规性并获得用户信任。AITRiSM,即人工智能信任、风险与安全管理(AI Trust, Risk, and Security Management),是用于保证 AI 系统可信度、安全性并对相关风险进行有效管 理的方法论和技术实践,它涵盖 AI 从设计、开发、部署到运行的整个生命周期,能够确保 AI 应用不会损害用户隐私、数据安全或产生不可预测的行为,并增强用户对 AI 系统的信心。

风险管理主要涉及识别、评估和缓解与 AI 应用相关的风险,企业应当采用内容异常检测工具来限制不当或非法的模型行为,并使用 AI 应用安全产品来防御外部威胁;信任管理关注于建立和维护用户、合作伙伴和社会对 AI 系统的信任,实现信任管理的关键在于实施透明的治理框架,进行定期的伦理审查,并提供清晰的用户沟通,使用户了解 AI 系统的工作原理及其背后的数据处理方式;安全管理的目的是确保 AI 系统不受未经授权的访问、篡改或滥用,并防止数据泄露或损坏,安全管理的措施主要包括实施严格的访问控制、进行定期的安全审计和漏洞扫描、建立应急响应机制等。

总之,GenAI 的技术落地需要企业进行周密的规划和持续的努力。企业必须从自身的战略出发,综合考虑成本、效果和性能,制定合理的技术架构,通过全面的 AI 治理,实现可持续的创新和发展。

相关文章
|
4天前
|
人工智能 自然语言处理 机器人
文档智能与RAG技术如何提升AI大模型的业务理解能力
随着人工智能的发展,AI大模型在自然语言处理中的应用日益广泛。文档智能和检索增强生成(RAG)技术的兴起,为模型更好地理解和适应特定业务场景提供了新方案。文档智能通过自动化提取和分析非结构化文档中的信息,提高工作效率和准确性。RAG结合检索机制和生成模型,利用外部知识库提高生成内容的相关性和准确性。两者的结合进一步增强了AI大模型的业务理解能力,助力企业数字化转型。
34 3
|
3天前
|
人工智能 文字识别 运维
AI多模态的5大核心关键技术,让高端制造实现智能化管理
结合大模型应用场景,通过AI技术解析高端制造业的复杂设备与文档数据,自动化地将大型零件、机械图纸、操作手册等文档结构化。核心技术包括版面识别、表格抽取、要素抽取和文档抽取,实现信息的系统化管理和高效查询,大幅提升设备维护和生产管理的效率。
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与深度学习:探索未来技术的无限可能
在21世纪,人工智能(AI)和深度学习已经成为推动科技进步的重要力量。本文将深入探讨这两种技术的基本概念、发展历程以及它们如何共同塑造未来的科技景观。我们将分析人工智能的最新趋势,包括自然语言处理、计算机视觉和强化学习,并讨论这些技术在现实世界中的应用。此外,我们还将探讨深度学习的工作原理,包括神经网络、卷积神经网络(CNN)和循环神经网络(RNN),并分析这些模型如何帮助解决复杂的问题。通过本文,读者将对人工智能和深度学习有更深入的了解,并能够预见这些技术将如何继续影响我们的世界。
32 7
|
4天前
|
人工智能 监控 物联网
深度探索人工智能与物联网的融合:构建未来智能生态系统###
在当今这个数据驱动的时代,人工智能(AI)与物联网(IoT)的深度融合正引领着一场前所未有的技术革命。本文旨在深入剖析这一融合背后的技术原理、探讨其在不同领域的应用实例及面临的挑战与机遇,为读者描绘一幅关于未来智能生态系统的宏伟蓝图。通过技术创新的视角,我们不仅揭示了AI与IoT结合的强大潜力,也展望了它们如何共同塑造一个更加高效、可持续且互联的世界。 ###
|
5天前
|
人工智能 自然语言处理 自动驾驶
技术与人性:探索人工智能伦理的边界####
本文深入探讨了人工智能技术飞速发展背景下,伴随而来的伦理挑战与社会责任。不同于传统摘要直接概述内容,本文摘要旨在引发读者对AI伦理问题的关注,通过提出而非解答的方式,激发对文章主题的兴趣。在智能机器逐渐融入人类生活的每一个角落时,我们如何确保技术的善意使用,保护个人隐私,避免偏见与歧视,成为亟待解决的关键议题。 ####
|
8天前
|
人工智能 自然语言处理 算法
企业内训|AI/大模型/智能体的测评/评估技术-某电信运营商互联网研发中心
本课程是TsingtaoAI专为某电信运营商的互联网研发中心的AI算法工程师设计,已于近日在广州对客户团队完成交付。课程聚焦AI算法工程师在AI、大模型和智能体的测评/评估技术中的关键能力建设,深入探讨如何基于当前先进的AI、大模型与智能体技术,构建符合实际场景需求的科学测评体系。课程内容涵盖大模型及智能体的基础理论、测评集构建、评分标准、自动化与人工测评方法,以及特定垂直场景下的测评实战等方面。
42 4
|
8天前
|
机器学习/深度学习 人工智能 算法
基于AI的性能优化技术研究
基于AI的性能优化技术研究
|
9天前
|
机器学习/深度学习 人工智能 算法
AI技术在医疗领域的应用及其挑战
【10月更文挑战第33天】随着人工智能技术的不断发展,其在医疗领域的应用也越来越广泛。从辅助诊断到治疗方案的制定,AI技术都发挥着重要作用。然而,随之而来的挑战也不容忽视,如数据隐私保护、算法的透明度和可解释性等问题。本文将探讨AI技术在医疗领域的应用及其面临的挑战。
20 0
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
当前AI大模型在软件开发中的创新应用与挑战
2024年,AI大模型在软件开发领域的应用正重塑传统流程,从自动化编码、智能协作到代码审查和测试,显著提升了开发效率和代码质量。然而,技术挑战、伦理安全及模型可解释性等问题仍需解决。未来,AI将继续推动软件开发向更高效、智能化方向发展。