AI战略丨构建未来: 生成式人工智能技术落地策略

简介: GenAI 的技术落地需要企业进行周密地规划和持续地努力。企业必须从自身的战略出发, 综合考虑成本、效果和性能,制定合理的技术架构,通过全面的 AI 治理,实现可持续的创新和发展。

uiqpush4khazq_c5f942152c38494b916a1fb38c943ee1.jpg
文 / 阿里云研究院

生成式人工智能(GenAI)是一种先进的人工智能技术,它能够基于已有的数据和知识生成全新的内容。GenAI 将逐渐改变人们与机器交互的方式,为各行各业带来前所未有的创新机遇。当前,GenAI 正处于爆炸性增长阶段,工业界和学术界都在积极投入资源,探索如何利用 GenAI 实现经营提效、体验提升以及业务创新。

打造 GenAI 能力,已经成为企业全面迈向智能化、构建市场竞争优势的必然选择。而 GenAI 能力的构建,是一个涉及战略、组织、文化和技术等多个维度的综合性难题。本文将聚焦技术层面,分析 GenAI 在企业业务场景中全面落地的关键考量因素,提出“选-育-用” 的方法论,覆盖从技术路线和模型产品的选择,到如何培育适合企业的模型,并将其广泛应用在业务流程实现全面创新的 GenAI 全生命周期,从而助力企业充分发挥 GenAI 能力,构建竞争优势。

大模型的选择

随着 GenAI 技术的逐步成熟和市场潜力的不断显现,企业面临着多样化的产品服务和解决方案选择。针对此,建议企业首先根据自身的业务需求和成本预算来选择技术路线,然后权衡模型的效果、性能等因素选择合适的大模型。特别是企业在面向多个业务场景需求时,可以不局限于单一大模型产品服务甚至技术路线,而是根据不同场景的特殊需求和市场上相应产品服务的成熟性和契合度,分别选择最合适的产品服务。

1.大模型技术路线

企业使用大模型服务的技术路线,主要包括深度研发大模型、基于现有基础大模型进行工程化适配、直接使用大模型服务三种。

1)深度研发大模型
深度研发大模型,是指企业从 0 到 1 完全自主研发或者 基于开源模型做深度定制得到大模型。这一过程涵盖模型设计、数据准备、环境准备、模型训练、模型评估和优化等多个阶段。

深度研发大模型可以针对企业的具体场景需求进行充分的优化设计,理论上可以更为聚焦地解决特定问题,拥有更好的表现,并拥有较高的技术自主性。但深度研发往往需要投入巨大的研发成本,包括计算资源、人员薪资等。从启动自研到上线应用的时间跨度长达数月甚至以年计,并且需要持续投入以确保在技术迭代中不会掉 队。由于技术体系复杂、研发难度大,还可能面临模型性能不理想、项目延期或失败等风险。

2)基于现有基础大模型进行工程化适配
基于现有基础大模型进行工程化适配,是指企业结合具体应用需求对已有的基础大模型进行技术调整和优化,以进一步提升模型在特定领域的表现。对于用户来说,常用的工程化适配方式包括提示词工程(Prompt Engineering)、检索增强生成(Retrieval Augmented Generation,RAG) 和模型微调(Fine-tuning)。企业还可以通过知识蒸馏、剪枝、量化等手段降低大模型的规模,降低推理的计算量,提高大模型的生成速度。

截屏2024-09-02 10.31.26.png

选用这一技术路线无需为基础大模型的训练付费,可以显著减少开发成本,并同时提升大模型在特定任务领域的输出效果。该路线有一定的技术门槛,但不算太高,因此适合于绝大多数企业。特别是当市面上现有的大模型产品服务无法直接满足企业特定需求时,基于现有基础大模型进行工程化适配几乎成为企业的必然选择。

3)直接使用大模型服务
企业还可以直接采购已经训练好的大模型来解决业务问题。一些模型服务商提供将自家模型部署在客户环境的能力,而更多的模型服务商则选择与云平台合作,通过云上 API 来提供大模型服务,这种方式随用随取、按需使用,进一步降低了企业使用大模型的门槛。

企业直接使用大模型服务,无需投入大量资源,可以有效降低使用成本。企业不需要了解技术细节,业务团队能够把大模型快速集成到现有系统中,迅速享受大模型红利。部分模型服务商针对市场规模较大的行业以及通用性较强的场景还推出了专用大模型,进一步提升了大模型的使用效果和用户体验。直接使用大模型服务的方 式适合于大多数企业,特别是成本预算有限、技术能力欠缺的小微企业。随着基础模型能力的不断提升,以及该方式可以与提示词工程、RAG 等工程化适配方法相结合,使得云端 API 调用的方式被越来越多的企业重视。

2.基础大模型的选择

在企业构建 GenAI 能力的三条技术路径中,除了不适用于多数企业的深度研发,无论是对基础大模型进行工程化适配,还是大模型的直接使用,接下来最重要的环节就是基础大模型的选择。在这一过程中,需要综合考量各种因素,但关键是在成本、效果和性能构成的“不可能三角”间进行权衡和取舍。

成本指的是企业大模型落地的整体费用,包括大模型的训练成本、推理成本以及部署、运维和升级成本等。企业有时仅关注有形成本,例如 GPU 购置费用、消耗的电费,或从第三方服务商购买模型服务的费用;而会忽略无形成本,包括为实现大模型服务而配置的人力成本,以及大模型在部署、训练或调试阶段消耗的时间成本等。企业在核算成本时,需要考量总持有成本,特别是不要忽略无形成本。按成本从高到低,一般为深度研发、微调、RAG、提示词工程、直接使用。

效果指的是大模型生成内容的质量,包括内容的准确性,是否存在幻觉问题,或是否会生成不合适的内容。大模型效果可以基于“3H”原则进行评价:Helpful,内容可用有帮助,不要废话连篇、泛泛而谈;Harmless,内容合规无害处,要符合伦理规范和监管要求; Honest,内容正确无幻觉,不要一本正经地胡说八道,甚至给出错误信息。通常来说,大模型的参数规模越大,生成效果越好。因此,当业务需求对内容质量要求严苛时,应尽量选择参数规模更大的模型。

截屏2024-09-02 10.32.08.png


性能指的是大模型服务的速度,包括大模型的训练速度,推理时的响应速度、生成速度等。一般而言,大模型的参数规模越大,需要的训练时间越长,即训练速度越慢,而其进行推理服务时的需求响应速度和内容生成速度也越慢。因此,大模型的效果和性能不可兼得,当成本固定时,大模型的选择主要是在效果和性能之间进行平衡和取舍。对于性能要求较高而对效果有一定容忍度的场景,可以选择参数规模相对较小的模型。

基础大模型的选择是个综合性任务,除了做好成本、效果、性能“不可能三角”的权衡,还需要同时考虑一系列其他因素,例如集成难度,即模型服务与现有系统的集成难度及其所需的技术投入;技术友好性,即技术人员的学习和使用难度;模型扩展性,即模型的更新、升级频率和向下兼容性;模型生态,包括模型系列的参数 尺寸全面性及其背后的工具生态系统和合作伙伴网络等;服务商可靠性,包括服务商的口碑声誉、技术实力和服务能力以及客户成功案例等。这其中,企业需要格外注意大模型服务的合规性与安全性,以免影响业务的正常开展甚至造成企业数据的泄露。

大模型的“培育”

在大模型的三条主要技术路径中,基于现有大模型进行工程化适配是最受企业关注的一条路径:它在成本方面与直接使用大模型相持平,同时能够满足直接使用大模型所无法实现的一些业务特殊需求。工程化适配按技术难度从小到大和成本从低到高,主要包括提示词工程、检索增强生成和微调三种方式。

1.提示词工程

截屏2024-09-02 10.31.26.png

提示词工程,是指通过精心设置提示词,引导模型生成 更准确、更有用的输出。提示词工程的关键是清晰、明确地表达用户的意图,需要确保提示词直接、具体,减少歧义,让模型能够准确捕捉到问题的核心。因此,通常采用包括指令、上下文和期望输出格式的提示词结构,特别是可以根据模型擅长处理的格式来设计提示词模板,并通过试验找到最优的提示词组合。

提示词工程能够在不修改或重新训练大模型的情况下,引导模型更加精准地完成任务,从而有效控制成本。良好的提示词设计能够显著提升模型的输出质量,使得模型效果更贴近用户期待。但同时,提示词工程高度依赖用户经验,优秀的提示词需要对领域知识和模型特性的深入了解,这需要大量的人力投入和试错。

大模型本身能力决定了提示词工程的上限。如果通用大模型训练时纳入了充足的行业数据,提示词工程可以有效引导模型进行高质量输出,但如果通用大模型内含的行业数据匮乏,提示词工程的作用就十分有限,这时候,可以采用 RAG 或微调的方式对基础大模型进行数据补齐。

2.检索增强生成

RAG 是指从外部知识库中检索相关信息,作为上下文输入给大模型,从而提升生成内容的质量。RAG 是一种结合了信息检索和文本生成的技术方案,它需要企业构建知识库,特别是要在知识库中纳入企业希望重点服务的业务场景数据。

RAG 通过引入外部权威信息,显著提升大模型内容生成的准确性和丰富度,减少错误和臆测;生成的内容可以追溯到具体的信息源,提高透明度和可解释性;同时,基础大模型只会调用相关数据,而不会吸收数据成为内含知识。RAG 能够在不改变大模型本身的基础上,快速、显著地提升大模型在特定领域的表现,因此成为企 业部署大模型应用的主流选择。但是,检索步骤的引入会增加系统的整体复杂度,特别是大模型的输出效果高度依赖于检索信息的质量,这使得 RAG 相比于提示词工程增加了成本,并提高了技术门槛。

截屏2024-09-02 15.04.18.png

3.微调
微调,是指在预训练大模型基础上,针对特定任务或领域进行再训练,以提升大模型在该特定任务上的表现。微调利用特定任务的数据集,调整大模型的部分或全部参数,进而将行业知识内化到预训练大模型中,因此,数据质量直接影响微调后的大模型效果;同时,微调策略也直接影响大模型效果。

微调能够提升大模型在特定任务上的准确性和泛化能力,特别是法律、医疗等专业性较强的领域,可以显著提升内容的专业度。但微调需要消耗一定的计算资源,且参数调整存在难度,找到最优的参数复杂且耗时,这使得微调相比提示词工程和 RAG 具有更高的技术门槛。同时,微调存在过拟合风险,如果数据量太少或过度调 整,则会导致大模型的泛化能力下降。

截屏2024-09-02 15.04.36.png

大模型的使用

企业在确定 GenAI 的技术路线,选取合适的基础大模型并完成工程化适配后,就需要进行部署应用以充分发挥大模型价值作用,这个阶段的核心目标是最大化应用价值,最小化业务风险。

1.基础设施建设

当企业选择全自研或基于现有基础大模型进行微调时,面临的首要问题就是基础设施的建设。企业构建大模型基础设施的方式主要包括自建或租用数据中心、使用公共云基础设施服务两种方式。其中,自建或租用数据中心具备自主可控、定制化程度高等优势。但同时,自建或租用数据中心技术门槛高、运维压力大,特别是自建 数据中心建设周期长,且前期资金投入巨大,成本高昂。使用公共云基础设施服务,企业可以在云上快速部署和扩展 AI 项目,降低初期投资,并减少运维负担,但即便如此,GenAI 运行环境的配置和调优仍然颇具难度,对企业有较高的技术要求。

而当企业选择以提示词工程、RAG 进行工程化适配或者直接使用大模型时,模型服务商会提供成熟的产品或 API 接口服务,可以面向用户屏蔽大模型的基础资源消耗,用户只需关注大模型产品服务的实际应用效果,而无需分心底层的基础设施建设。

截屏2024-09-02 10.35.13.png

2.通过 Agent 升级业务流程

AI Agent,即人工智能智能体,是一种能够感知环境、进行决策和执行动作的智能实体。它以大模型为核心驱动力,并通过记忆、规划和工具等组件分别实现信息存储、决策制定与反思总结、任务执行等功能,从而实现特定目标。

AI Agent 的核心在于其自主性、智能性、反应性和交互性,能够根据预设的目标或学习到的知识自动完成任务。因此,AI Agent 将改变工作范式,重塑业务流程。在 AI Agent 的推动下,人机协作方式将从目前的“以人为中心,AI 为辅助”转向未来的“以 AI 为中心,人为辅助”,极大地扩展工作的范畴和方式。作为一种先进的技术解决方案,AI Agent 可以显著提高生产力, 充分挖掘每个业务流程的效能和潜力。

截屏2024-09-02 10.35.41.png

截屏2024-09-02 10.36.03.png

3.高效跨团队协作与持续效果提升,实现 GenAIOps

现代软件开发中强调开发团队与运维团队之间的紧密协作与整合(DevOps),以实现快速、持续、高效的软件交付。这一实践在机器学习(Machine Learning) 领域的落地即为 MLOps (Machine Learning Operations)。在 GenAI 爆发的今天,大模型作为内核,将会与众多企业应用进行更加紧密地交互,迫切需要企业借鉴 MLOps 理念,实现 GenAIOps,包括通过加速工作流程,缩短 AI 产品的迭代周期,加速产品上市; 通过简化系统开发流程,提升员工参与度,推动产品创新;通过各类专用工具的应用,实现精细化运营,提高生产效率;通过工件和知识共享,推动员工间顺畅交流,促进团队协作;通过对代码、数据、模型和配置的记录,实现可复现性,满足监管要求;通过对大模型训练过程 的监管,减少数据偏见,降低产品风险等。

GenAIOps不仅是技术框架,也是一种战略思维,它能够帮助企业充分利用 GenAI 的潜力,并管理好伴随而来的复杂性与风险,从而在快速变化的商业环境中获得竞争优势。

截屏2024-09-02 10.36.39.png

4.利用 AITRiSM 保障 GenAI 安全

随着 GenAI 的兴起,企业面临着前所未有的挑战,包括内容偏见、数据泄露和 AI 应用漏洞等。传统的安全控制不足以应对这些新兴风险,需要专门针对 AI 的管理策略以保障系统的稳健性、合规性并获得用户信任。AITRiSM,即人工智能信任、风险与安全管理(AI Trust, Risk, and Security Management),是用于保证 AI 系统可信度、安全性并对相关风险进行有效管 理的方法论和技术实践,它涵盖 AI 从设计、开发、部署到运行的整个生命周期,能够确保 AI 应用不会损害用户隐私、数据安全或产生不可预测的行为,并增强用户对 AI 系统的信心。

风险管理主要涉及识别、评估和缓解与 AI 应用相关的风险,企业应当采用内容异常检测工具来限制不当或非法的模型行为,并使用 AI 应用安全产品来防御外部威胁;信任管理关注于建立和维护用户、合作伙伴和社会对 AI 系统的信任,实现信任管理的关键在于实施透明的治理框架,进行定期的伦理审查,并提供清晰的用户沟通,使用户了解 AI 系统的工作原理及其背后的数据处理方式;安全管理的目的是确保 AI 系统不受未经授权的访问、篡改或滥用,并防止数据泄露或损坏,安全管理的措施主要包括实施严格的访问控制、进行定期的安全审计和漏洞扫描、建立应急响应机制等。

总之,GenAI 的技术落地需要企业进行周密的规划和持续的努力。企业必须从自身的战略出发,综合考虑成本、效果和性能,制定合理的技术架构,通过全面的 AI 治理,实现可持续的创新和发展。

相关文章
|
8天前
|
机器学习/深度学习 数据采集 人工智能
探索AI技术在文本生成中的应用与挑战
【9月更文挑战第26天】本文深入探讨了AI技术在文本生成领域的应用,并分析了其面临的挑战。通过介绍AI文本生成的基本原理、应用场景以及未来发展趋势,帮助读者全面了解该技术的潜力和局限性。同时,文章还提供了代码示例,展示了如何使用Python和相关库实现简单的文本生成模型。
33 9
|
8天前
|
机器学习/深度学习 人工智能 搜索推荐
AI与未来医疗:革命性的技术融合
本文探讨了人工智能(AI)在未来医疗领域的应用及其潜在影响。通过分析当前的技术进步和具体案例,如AI辅助诊断、个性化治疗方案及医疗机器人等,展示了AI如何提高医疗服务的效率和准确性,降低医疗成本,并增强患者的治疗体验。同时,文章也讨论了AI在医疗中面临的伦理和隐私问题,以及解决这些问题的可能途径。最后,本文对AI在未来医疗中的前景进行了展望,指出其将继续深刻改变医疗保健行业,为患者和医疗专业人员带来更多福祉。
|
2天前
|
人工智能 自然语言处理 搜索推荐
AI技术在智能客服系统中的应用与挑战
【9月更文挑战第32天】本文将探讨AI技术在智能客服系统中的应用及其面临的挑战。我们将分析AI技术如何改变传统客服模式,提高服务质量和效率,并讨论在实际应用中可能遇到的问题和解决方案。
93 65
|
3天前
|
人工智能 缓存 搜索推荐
OPENAI DevDay 2024:推动AI技术的新边界
在今年的OPENAI DevDay活动中,尽管形式更为低调,但OpenAI依然带来了四项令人瞩目的技术创新,展示了其在推动人工智能开发者生态方面的持续努力,以及向更高效、用户友好的AI工具转型的决心。我将为大家详细介绍这些新产品
37 10
|
4天前
|
机器学习/深度学习 人工智能 搜索推荐
AI人工智能辅助的神经康复
人工智能辅助的神经康复是通过应用人工智能(AI)技术来改善神经系统损伤患者的康复过程。此领域结合了深度学习、数据分析和机器人技术,旨在提升康复效果、个性化治疗方案和监测进展。
24 12
|
2天前
|
机器学习/深度学习 人工智能 监控
AI与未来医疗:重塑健康产业的双刃剑随着科技的迅猛发展,人工智能(AI)正以前所未有的速度融入各行各业,其中医疗领域作为关系到人类生命健康的重要行业,自然也成为AI应用的焦点之一。本文将探讨AI在未来医疗中的潜力与挑战,分析其对健康产业可能带来的革命性变化。
在医疗领域,人工智能不仅仅是一种技术革新,更是一场关乎生死存亡的革命。从诊断到治疗,从后台数据分析到前端临床应用,AI正在全方位地改变传统医疗模式。然而,任何技术的发展都有其两面性,AI也不例外。本文通过深入分析,揭示AI在医疗领域的巨大潜力及其潜在风险,帮助读者更好地理解这一前沿技术对未来健康产业的影响。
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术性文章
【9月更文挑战第27天】本文将深入探讨人工智能(AI)技术在现代社会的应用和发展。我们将从AI的基本概念开始,探讨其在各个领域的应用,包括医疗保健、交通、金融等。我们还将讨论AI技术的挑战和未来趋势。
|
7天前
|
机器学习/深度学习 移动开发 TensorFlow
随着人工智能技术的迅速发展,图像识别在各个领域的应用越来越广泛
我们开发了一款基于Python和TensorFlow的果蔬识别系统,利用CNN模型高效识别12种常见果蔬,提升饮食健康与食材管理。该系统通过图像预处理与增强提高模型鲁棒性,并借助Django搭建Web平台,提供便捷的图片上传识别功能。项目不仅展示了深度学习在图像识别中的潜力,还为相关研究奠定了基础。更多详情及演示视频请访问:[项目链接](https://www.yuque.com/ziwu/yygu3z/pnrng41h0sg5f5tf)。
14 0
|
8天前
|
数据采集 机器学习/深度学习 人工智能
云栖实录 | GenAI 时代 AI Infra 工程技术趋势与平台演进
本文根据2024云栖大会实录整理而成,演讲信息如下: 演讲人:林伟 | 阿里云智能集团研究员、阿里云人工智能平台 PAI 负责人;黄博远|阿里云智能集团资深产品专家、阿里云人工智能平台 PAI 产品负责人 活动:2024 云栖大会 - AI Infra 核心技术专场、人工智能平台 PAI 年度发布专场
|
10天前
|
机器学习/深度学习 人工智能 算法
探究人工智能在现代医疗诊断中的应用与挑战
本文旨在深入探讨人工智能技术在现代医疗诊断领域中的应用及其所面临的挑战。随着科技的飞速发展,人工智能已逐渐渗透到医疗行业的多个方面,特别是在医疗诊断领域,AI的应用不仅提高了诊断的准确性和效率,还极大地减轻了医生的工作负担。然而,尽管人工智能在医疗诊断中展现出巨大的潜力,其发展过程中也遇到了一系列挑战,如数据隐私保护、算法的透明度和公平性等问题。本文通过对现有文献的综合分析,阐述了人工智能在医疗诊断中的具体应用案例,分析了这些技术的优势与不足,并对其未来的发展趋势进行了预测和建议。
28 5

热门文章

最新文章

下一篇
无影云桌面