AI战略丨构建未来: 生成式人工智能技术落地策略

简介: GenAI 的技术落地需要企业进行周密地规划和持续地努力。企业必须从自身的战略出发, 综合考虑成本、效果和性能,制定合理的技术架构,通过全面的 AI 治理,实现可持续的创新和发展。

uiqpush4khazq_c5f942152c38494b916a1fb38c943ee1.jpg
文 / 阿里云研究院

生成式人工智能(GenAI)是一种先进的人工智能技术,它能够基于已有的数据和知识生成全新的内容。GenAI 将逐渐改变人们与机器交互的方式,为各行各业带来前所未有的创新机遇。当前,GenAI 正处于爆炸性增长阶段,工业界和学术界都在积极投入资源,探索如何利用 GenAI 实现经营提效、体验提升以及业务创新。

打造 GenAI 能力,已经成为企业全面迈向智能化、构建市场竞争优势的必然选择。而 GenAI 能力的构建,是一个涉及战略、组织、文化和技术等多个维度的综合性难题。本文将聚焦技术层面,分析 GenAI 在企业业务场景中全面落地的关键考量因素,提出“选-育-用” 的方法论,覆盖从技术路线和模型产品的选择,到如何培育适合企业的模型,并将其广泛应用在业务流程实现全面创新的 GenAI 全生命周期,从而助力企业充分发挥 GenAI 能力,构建竞争优势。

大模型的选择

随着 GenAI 技术的逐步成熟和市场潜力的不断显现,企业面临着多样化的产品服务和解决方案选择。针对此,建议企业首先根据自身的业务需求和成本预算来选择技术路线,然后权衡模型的效果、性能等因素选择合适的大模型。特别是企业在面向多个业务场景需求时,可以不局限于单一大模型产品服务甚至技术路线,而是根据不同场景的特殊需求和市场上相应产品服务的成熟性和契合度,分别选择最合适的产品服务。

1.大模型技术路线

企业使用大模型服务的技术路线,主要包括深度研发大模型、基于现有基础大模型进行工程化适配、直接使用大模型服务三种。

1)深度研发大模型
深度研发大模型,是指企业从 0 到 1 完全自主研发或者 基于开源模型做深度定制得到大模型。这一过程涵盖模型设计、数据准备、环境准备、模型训练、模型评估和优化等多个阶段。

深度研发大模型可以针对企业的具体场景需求进行充分的优化设计,理论上可以更为聚焦地解决特定问题,拥有更好的表现,并拥有较高的技术自主性。但深度研发往往需要投入巨大的研发成本,包括计算资源、人员薪资等。从启动自研到上线应用的时间跨度长达数月甚至以年计,并且需要持续投入以确保在技术迭代中不会掉 队。由于技术体系复杂、研发难度大,还可能面临模型性能不理想、项目延期或失败等风险。

2)基于现有基础大模型进行工程化适配
基于现有基础大模型进行工程化适配,是指企业结合具体应用需求对已有的基础大模型进行技术调整和优化,以进一步提升模型在特定领域的表现。对于用户来说,常用的工程化适配方式包括提示词工程(Prompt Engineering)、检索增强生成(Retrieval Augmented Generation,RAG) 和模型微调(Fine-tuning)。企业还可以通过知识蒸馏、剪枝、量化等手段降低大模型的规模,降低推理的计算量,提高大模型的生成速度。

截屏2024-09-02 10.31.26.png

选用这一技术路线无需为基础大模型的训练付费,可以显著减少开发成本,并同时提升大模型在特定任务领域的输出效果。该路线有一定的技术门槛,但不算太高,因此适合于绝大多数企业。特别是当市面上现有的大模型产品服务无法直接满足企业特定需求时,基于现有基础大模型进行工程化适配几乎成为企业的必然选择。

3)直接使用大模型服务
企业还可以直接采购已经训练好的大模型来解决业务问题。一些模型服务商提供将自家模型部署在客户环境的能力,而更多的模型服务商则选择与云平台合作,通过云上 API 来提供大模型服务,这种方式随用随取、按需使用,进一步降低了企业使用大模型的门槛。

企业直接使用大模型服务,无需投入大量资源,可以有效降低使用成本。企业不需要了解技术细节,业务团队能够把大模型快速集成到现有系统中,迅速享受大模型红利。部分模型服务商针对市场规模较大的行业以及通用性较强的场景还推出了专用大模型,进一步提升了大模型的使用效果和用户体验。直接使用大模型服务的方 式适合于大多数企业,特别是成本预算有限、技术能力欠缺的小微企业。随着基础模型能力的不断提升,以及该方式可以与提示词工程、RAG 等工程化适配方法相结合,使得云端 API 调用的方式被越来越多的企业重视。

2.基础大模型的选择

在企业构建 GenAI 能力的三条技术路径中,除了不适用于多数企业的深度研发,无论是对基础大模型进行工程化适配,还是大模型的直接使用,接下来最重要的环节就是基础大模型的选择。在这一过程中,需要综合考量各种因素,但关键是在成本、效果和性能构成的“不可能三角”间进行权衡和取舍。

成本指的是企业大模型落地的整体费用,包括大模型的训练成本、推理成本以及部署、运维和升级成本等。企业有时仅关注有形成本,例如 GPU 购置费用、消耗的电费,或从第三方服务商购买模型服务的费用;而会忽略无形成本,包括为实现大模型服务而配置的人力成本,以及大模型在部署、训练或调试阶段消耗的时间成本等。企业在核算成本时,需要考量总持有成本,特别是不要忽略无形成本。按成本从高到低,一般为深度研发、微调、RAG、提示词工程、直接使用。

效果指的是大模型生成内容的质量,包括内容的准确性,是否存在幻觉问题,或是否会生成不合适的内容。大模型效果可以基于“3H”原则进行评价:Helpful,内容可用有帮助,不要废话连篇、泛泛而谈;Harmless,内容合规无害处,要符合伦理规范和监管要求; Honest,内容正确无幻觉,不要一本正经地胡说八道,甚至给出错误信息。通常来说,大模型的参数规模越大,生成效果越好。因此,当业务需求对内容质量要求严苛时,应尽量选择参数规模更大的模型。

截屏2024-09-02 10.32.08.png


性能指的是大模型服务的速度,包括大模型的训练速度,推理时的响应速度、生成速度等。一般而言,大模型的参数规模越大,需要的训练时间越长,即训练速度越慢,而其进行推理服务时的需求响应速度和内容生成速度也越慢。因此,大模型的效果和性能不可兼得,当成本固定时,大模型的选择主要是在效果和性能之间进行平衡和取舍。对于性能要求较高而对效果有一定容忍度的场景,可以选择参数规模相对较小的模型。

基础大模型的选择是个综合性任务,除了做好成本、效果、性能“不可能三角”的权衡,还需要同时考虑一系列其他因素,例如集成难度,即模型服务与现有系统的集成难度及其所需的技术投入;技术友好性,即技术人员的学习和使用难度;模型扩展性,即模型的更新、升级频率和向下兼容性;模型生态,包括模型系列的参数 尺寸全面性及其背后的工具生态系统和合作伙伴网络等;服务商可靠性,包括服务商的口碑声誉、技术实力和服务能力以及客户成功案例等。这其中,企业需要格外注意大模型服务的合规性与安全性,以免影响业务的正常开展甚至造成企业数据的泄露。

大模型的“培育”

在大模型的三条主要技术路径中,基于现有大模型进行工程化适配是最受企业关注的一条路径:它在成本方面与直接使用大模型相持平,同时能够满足直接使用大模型所无法实现的一些业务特殊需求。工程化适配按技术难度从小到大和成本从低到高,主要包括提示词工程、检索增强生成和微调三种方式。

1.提示词工程

截屏2024-09-02 10.31.26.png

提示词工程,是指通过精心设置提示词,引导模型生成 更准确、更有用的输出。提示词工程的关键是清晰、明确地表达用户的意图,需要确保提示词直接、具体,减少歧义,让模型能够准确捕捉到问题的核心。因此,通常采用包括指令、上下文和期望输出格式的提示词结构,特别是可以根据模型擅长处理的格式来设计提示词模板,并通过试验找到最优的提示词组合。

提示词工程能够在不修改或重新训练大模型的情况下,引导模型更加精准地完成任务,从而有效控制成本。良好的提示词设计能够显著提升模型的输出质量,使得模型效果更贴近用户期待。但同时,提示词工程高度依赖用户经验,优秀的提示词需要对领域知识和模型特性的深入了解,这需要大量的人力投入和试错。

大模型本身能力决定了提示词工程的上限。如果通用大模型训练时纳入了充足的行业数据,提示词工程可以有效引导模型进行高质量输出,但如果通用大模型内含的行业数据匮乏,提示词工程的作用就十分有限,这时候,可以采用 RAG 或微调的方式对基础大模型进行数据补齐。

2.检索增强生成

RAG 是指从外部知识库中检索相关信息,作为上下文输入给大模型,从而提升生成内容的质量。RAG 是一种结合了信息检索和文本生成的技术方案,它需要企业构建知识库,特别是要在知识库中纳入企业希望重点服务的业务场景数据。

RAG 通过引入外部权威信息,显著提升大模型内容生成的准确性和丰富度,减少错误和臆测;生成的内容可以追溯到具体的信息源,提高透明度和可解释性;同时,基础大模型只会调用相关数据,而不会吸收数据成为内含知识。RAG 能够在不改变大模型本身的基础上,快速、显著地提升大模型在特定领域的表现,因此成为企 业部署大模型应用的主流选择。但是,检索步骤的引入会增加系统的整体复杂度,特别是大模型的输出效果高度依赖于检索信息的质量,这使得 RAG 相比于提示词工程增加了成本,并提高了技术门槛。

截屏2024-09-02 15.04.18.png

3.微调
微调,是指在预训练大模型基础上,针对特定任务或领域进行再训练,以提升大模型在该特定任务上的表现。微调利用特定任务的数据集,调整大模型的部分或全部参数,进而将行业知识内化到预训练大模型中,因此,数据质量直接影响微调后的大模型效果;同时,微调策略也直接影响大模型效果。

微调能够提升大模型在特定任务上的准确性和泛化能力,特别是法律、医疗等专业性较强的领域,可以显著提升内容的专业度。但微调需要消耗一定的计算资源,且参数调整存在难度,找到最优的参数复杂且耗时,这使得微调相比提示词工程和 RAG 具有更高的技术门槛。同时,微调存在过拟合风险,如果数据量太少或过度调 整,则会导致大模型的泛化能力下降。

截屏2024-09-02 15.04.36.png

大模型的使用

企业在确定 GenAI 的技术路线,选取合适的基础大模型并完成工程化适配后,就需要进行部署应用以充分发挥大模型价值作用,这个阶段的核心目标是最大化应用价值,最小化业务风险。

1.基础设施建设

当企业选择全自研或基于现有基础大模型进行微调时,面临的首要问题就是基础设施的建设。企业构建大模型基础设施的方式主要包括自建或租用数据中心、使用公共云基础设施服务两种方式。其中,自建或租用数据中心具备自主可控、定制化程度高等优势。但同时,自建或租用数据中心技术门槛高、运维压力大,特别是自建 数据中心建设周期长,且前期资金投入巨大,成本高昂。使用公共云基础设施服务,企业可以在云上快速部署和扩展 AI 项目,降低初期投资,并减少运维负担,但即便如此,GenAI 运行环境的配置和调优仍然颇具难度,对企业有较高的技术要求。

而当企业选择以提示词工程、RAG 进行工程化适配或者直接使用大模型时,模型服务商会提供成熟的产品或 API 接口服务,可以面向用户屏蔽大模型的基础资源消耗,用户只需关注大模型产品服务的实际应用效果,而无需分心底层的基础设施建设。

截屏2024-09-02 10.35.13.png

2.通过 Agent 升级业务流程

AI Agent,即人工智能智能体,是一种能够感知环境、进行决策和执行动作的智能实体。它以大模型为核心驱动力,并通过记忆、规划和工具等组件分别实现信息存储、决策制定与反思总结、任务执行等功能,从而实现特定目标。

AI Agent 的核心在于其自主性、智能性、反应性和交互性,能够根据预设的目标或学习到的知识自动完成任务。因此,AI Agent 将改变工作范式,重塑业务流程。在 AI Agent 的推动下,人机协作方式将从目前的“以人为中心,AI 为辅助”转向未来的“以 AI 为中心,人为辅助”,极大地扩展工作的范畴和方式。作为一种先进的技术解决方案,AI Agent 可以显著提高生产力, 充分挖掘每个业务流程的效能和潜力。

截屏2024-09-02 10.35.41.png

截屏2024-09-02 10.36.03.png

3.高效跨团队协作与持续效果提升,实现 GenAIOps

现代软件开发中强调开发团队与运维团队之间的紧密协作与整合(DevOps),以实现快速、持续、高效的软件交付。这一实践在机器学习(Machine Learning) 领域的落地即为 MLOps (Machine Learning Operations)。在 GenAI 爆发的今天,大模型作为内核,将会与众多企业应用进行更加紧密地交互,迫切需要企业借鉴 MLOps 理念,实现 GenAIOps,包括通过加速工作流程,缩短 AI 产品的迭代周期,加速产品上市; 通过简化系统开发流程,提升员工参与度,推动产品创新;通过各类专用工具的应用,实现精细化运营,提高生产效率;通过工件和知识共享,推动员工间顺畅交流,促进团队协作;通过对代码、数据、模型和配置的记录,实现可复现性,满足监管要求;通过对大模型训练过程 的监管,减少数据偏见,降低产品风险等。

GenAIOps不仅是技术框架,也是一种战略思维,它能够帮助企业充分利用 GenAI 的潜力,并管理好伴随而来的复杂性与风险,从而在快速变化的商业环境中获得竞争优势。

截屏2024-09-02 10.36.39.png

4.利用 AITRiSM 保障 GenAI 安全

随着 GenAI 的兴起,企业面临着前所未有的挑战,包括内容偏见、数据泄露和 AI 应用漏洞等。传统的安全控制不足以应对这些新兴风险,需要专门针对 AI 的管理策略以保障系统的稳健性、合规性并获得用户信任。AITRiSM,即人工智能信任、风险与安全管理(AI Trust, Risk, and Security Management),是用于保证 AI 系统可信度、安全性并对相关风险进行有效管 理的方法论和技术实践,它涵盖 AI 从设计、开发、部署到运行的整个生命周期,能够确保 AI 应用不会损害用户隐私、数据安全或产生不可预测的行为,并增强用户对 AI 系统的信心。

风险管理主要涉及识别、评估和缓解与 AI 应用相关的风险,企业应当采用内容异常检测工具来限制不当或非法的模型行为,并使用 AI 应用安全产品来防御外部威胁;信任管理关注于建立和维护用户、合作伙伴和社会对 AI 系统的信任,实现信任管理的关键在于实施透明的治理框架,进行定期的伦理审查,并提供清晰的用户沟通,使用户了解 AI 系统的工作原理及其背后的数据处理方式;安全管理的目的是确保 AI 系统不受未经授权的访问、篡改或滥用,并防止数据泄露或损坏,安全管理的措施主要包括实施严格的访问控制、进行定期的安全审计和漏洞扫描、建立应急响应机制等。

总之,GenAI 的技术落地需要企业进行周密的规划和持续的努力。企业必须从自身的战略出发,综合考虑成本、效果和性能,制定合理的技术架构,通过全面的 AI 治理,实现可持续的创新和发展。

相关文章
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
赋能百业:多模态处理技术与大模型架构下的AI解决方案落地实践
【9月更文挑战第4天】赋能百业:多模态处理技术与大模型架构下的AI解决方案落地实践
赋能百业:多模态处理技术与大模型架构下的AI解决方案落地实践
|
3天前
|
机器学习/深度学习 人工智能 监控
人工智能与未来医疗:革命性技术的崛起
人工智能在医疗领域正逐步展现出其巨大的潜力和革命性的影响力。本文将探讨AI在未来医疗中的应用,从诊断到治疗,以及其在医学影像、药物研发和个性化治疗中的作用。通过具体案例,我们揭示这些技术如何提升医疗效率、准确性和患者体验。同时,我们还将讨论AI带来的伦理和隐私挑战,并展望未来的发展方向。
|
3天前
|
机器学习/深度学习 人工智能 搜索推荐
AI技术在医疗领域的应用
【8月更文挑战第43天】本文将介绍人工智能(AI)在医疗领域的应用,包括疾病诊断、药物研发和健康管理等方面。我们将通过实例和代码示例,展示AI如何帮助医生提高诊断准确性,加速药物研发过程,以及提供个性化的健康管理方案。让我们一起探索AI技术如何改变医疗保健的未来。
|
1天前
|
机器学习/深度学习 人工智能 搜索推荐
AI与未来医疗:革命性的技术,触手可及的健康
本文探讨了人工智能(AI)在医疗领域的应用及其潜力。从诊断辅助、个性化治疗到药物研发,AI正在改变我们理解健康和疾病的方式。同时,本文也讨论了AI面临的伦理挑战和数据隐私问题,呼吁建立相应的法律法规来保障患者权益。最后,本文对AI在未来医疗中的角色进行了展望,认为AI将继续推动医疗领域的创新和发展。
15 8
|
1天前
|
机器学习/深度学习 人工智能 搜索推荐
AI与未来医疗:革命性的技术,重塑健康格局
本文探讨了人工智能(AI)在医疗领域的应用及其对未来健康的深远影响。通过分析AI在疾病诊断、治疗和预防方面的具体案例,揭示了这一技术如何提升医疗服务的效率和准确性,并展望了AI在未来医疗中的潜力。
8 1
|
3天前
|
机器学习/深度学习 数据采集 人工智能
AI技术在自然语言处理中的应用与挑战
【9月更文挑战第12天】本文将探讨AI技术在自然语言处理(NLP)领域的应用及其面临的挑战。我们将介绍NLP的基本概念、主要任务和应用场景,并分析当前AI技术在NLP中的局限性和未来发展趋势。通过实际案例和代码示例,我们将展示AI技术如何帮助解决NLP问题,并探讨如何克服现有挑战以实现更高效的自然语言处理系统。
|
2天前
|
机器学习/深度学习 人工智能 监控
探索AI技术在医疗健康中的应用与前景
本文深入探讨了人工智能(AI)技术在医疗健康领域的多样化应用及其未来发展潜力。通过分析当前AI技术的具体应用案例,如智能诊断、个性化治疗方案制定、患者监护与管理等,文章揭示了AI如何助力提升医疗服务质量、增强疾病预防能力并优化医疗资源配置。同时,针对AI技术发展中面临的伦理、隐私保护及技术准确性等挑战,文章提出了相应的解决策略和建议,旨在为读者提供一个全面而深入的视角,理解AI技术在医疗健康领域的现状与未来趋势。
7 0
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
探索人工智能:从基础理论到实践应用
【8月更文挑战第39天】在本文中,我们将深入探讨人工智能(AI)的基本概念、发展历程以及其在现实世界中的应用。我们将首先介绍AI的定义和主要分类,然后回顾其发展历史,最后通过一个实际的代码示例来展示AI的应用。无论你是AI领域的初学者还是有一定基础的学习者,这篇文章都将为你提供有价值的信息和启示。
|
21天前
|
机器学习/深度学习 人工智能 搜索推荐
人工智能在医疗领域的应用
【8月更文挑战第26天】随着科技的进步,人工智能(AI)已经逐渐渗透到我们生活的各个方面,其中医疗领域是其最重要的应用领域之一。AI技术的应用不仅可以提高医疗服务的效率和质量,还可以帮助医生进行更准确的诊断和治疗。本文将探讨AI在医疗领域的应用,包括疾病预测、辅助诊断、个性化治疗方案等方面的内容。同时,也将分享一些实际的代码示例,以帮助读者更好地理解和掌握这些技术。
|
5天前
|
机器学习/深度学习 人工智能 算法
探索人工智能:机器学习的奥秘与应用
本文深入浅出地探讨了人工智能领域中的核心技术——机器学习,揭示了其背后的原理和广泛的实际应用。通过浅显易懂的语言和生动的例子,本文旨在为非专业读者打开一扇了解并利用机器学习的大门,同时激发对这一前沿技术的兴趣和思考。
20 1

热门文章

最新文章