本文来自 企业网D1net公众号
GenAI既带来了风险，也带来了机遇，本文介绍了企业避免GenAI带来的风险的路线图，同时抓住其带来的机遇。
GenAI为企业提供了一个千载难逢的机会，具有在创新、增长和生产力方面产生变革性影响的潜力，这项技术现在可以产生可信的软件代码、文本、语音、高保真图像和互动视频，它已经通过晶体结构确定了数百万种新材料的潜力，甚至开发了分子模型，这些模型可以作为找到以前未治疗的疾病的治疗方法的基础。
麦肯锡的研究估计，GenAI有可能为全球经济增加高达4.4万亿美元的经济价值，同时将所有AI的影响提高15%至40%。许多企业领导人决心抓住这一价值，同时越来越多的人认识到，GenAI机会伴随着重大风险。麦肯锡最近对100多家年收入超过5000万美元的企业进行了一项快速调查，发现63%的受访者将实施GenAI的工作描述为“高”或“非常高”的优先事项，然而，91%的受访者觉得自己还没有做好负责任地这样做的准备。
这种不安是可以理解的，与GenAI相关的风险包括基础培训数据中嵌入的不准确的输出和偏见，以及可能出现的大规模错误信息和对政治和个人福祉的恶意影响，关于总体上发展AI的可能性和可取性，也存在着更广泛的辩论，这些问题可能会破坏GenAI的明智部署，可能导致企业暂停实验，直到更好地了解风险-甚至因为担心无法管理这些问题的新颖性和复杂性而剥夺了这项技术。
然而，通过采用经过验证的风险管理方法来适应GenAI，有可能以负责任的方式和良好的步伐来获取技术的价值，这样做还将使企业能够在围绕AI的监管环境继续演变的同时有效运营，例如拜登总统关于代AI开发和使用的行政命令以及欧盟AI法案。此外，大多数企业可能会看到使用GenAI增加了“入站”威胁(无论企业是否部署GenAI，都有可能影响他们的风险)，特别是在欺诈和网络领域(早期迹象表明，GenAI将能够通过标准的反欺诈生物识别检查)。建立适合用途的风险管理将有助于防范这些威胁。
在实践中，希望应对AI风险的企业应该采取以下四个步骤：
1.发起冲刺，了解与GenAI相关的入站暴露风险。
2.制定跨域和用例的GenAI相关风险重要性的综合视图，并构建一系列选项(包括技术和非技术措施)来管理风险。
3.建立一种治理结构，在专业知识和监督与支持快速决策的能力之间取得平衡，并尽可能调整现有结构。
4.将治理结构嵌入业务模式，利用整个企业的专门知识，并包括对最终用户的适当培训。
如何实现这些步骤的细节以及使其有效所需的更改程度将随企业的GenAI愿望和性质而有所不同，例如，它可能希望成为基础模型的制造者，定制和缩放基础模型的成型者，或者通过很少或根本没有定制的现成应用程序(例如，标准的办公生产力软件)采用基础模型的接受者。
本文为开发负责任地实现GenAI的方法提供了蓝图，遵循这些步骤可以帮助企业快速扩展技术并获取其优势，同时最大限度地减少潜在的负面影响。
理解和应对入境风险
根据我们的经验，包括通过构建麦肯锡自己的GenAI应用程序，与GenAI相关的风险可以分为八个主要类别，这些类别既考虑入站风险，也考虑采用GenAI工具和应用程序直接产生的风险。每个企业都应该开发这个核心分类的某个版本，以支持对实施GenAI所产生的风险的理解和沟通。
决定如何应对外来风险是许多高管团队和董事会关注的焦点，这一决定应该作为企业如何与其员工和利益相关者沟通有关GenAI的基础，它还应该告知使用案例的方法。
我们看到采用GenAI的四个主要入站风险来源：
- 安全威胁，来自启用AI的恶意软件的攻击数量和复杂性增加。
- 第三方风险，原因是在了解第三方可能在哪里以及如何部署AI方面存在挑战，造成潜在的未知风险。
- 恶意使用，原因是不良行为者可能制造令人信服的企业代表深度假冒或品牌假冒，从而导致重大声誉损害。
- 知识产权侵权，原因是知识产权(如图像、音乐和文本)被收集到底层大型语言模型的训练引擎中，并使任何使用该技术的人都可以访问。
大多数企业将受益于调查GenAI如何改变其外部环境的重点冲刺，主要目标有两个，首先是了解潜在的入站风险敞口，这些风险存在于企业的风险概况中(例如，有多少第三方可以访问需要限制培训外部GenAI模型的敏感或机密数据)，第二个目标是了解控制环境的成熟度和准备情况，即企业具备的预防、检测和最终应对入站风险的技术和非技术能力，这些措施包括网络和欺诈防御、第三方调查以确定关键第三方可能在哪里部署GenAI，以及限制用于训练大型语言模型的引擎对企业知识产权的掠夺的能力。
这些努力的结果应该是了解该企业在哪里面临最大的潜在入境风险，以及其当前防御系统的成熟度和准备情况，进行了这项工作后，企业应该有一个明确的路线图，说明在哪里加强防御，以及这些努力在潜在风险缓解方面的潜在ROI是什么。
鉴于作为GenAI及其应用程序基础的技术的演变性质，企业将需要重复努力，以确定他们的暴露具有一定的规律性，对于大多数企业来说，至少每半年更新一次这项工作将是重要的，直到变化的速度放缓，控制环境和防御措施成熟为止。
管理采用GenAI所带来的风险
有雄心部署GenAI的企业将需要进行额外的、持续的努力，以了解和管理采用该技术的风险，这可能需要投入时间和资源，并转变工作方式，然而，如果企业要从GenAI中获得长期、可持续和变革性的好处，这是至关重要的。失误和失败可能会侵蚀高管、员工和客户的信心，并引发缩减对超安全用例的雄心，这些用例产生的风险有限，但也不太可能充分利用该技术的真正潜力。
希望部署GenAI高潜力使用案例以推动生产力和创新、提供更好、更一致的客户服务以及提高营销和销售创造力的企业必须应对负责任实施的挑战，这些用例具有不同的风险配置文件，既反映了技术本身的性质，也反映了与用例细节相关的企业特定环境(例如，将GenAI聊天机器人部署到易受攻击的人群中的风险配置文件与部署B2B的风险配置文件非常不同)。
识别跨用例的风险
企业部署GenAI用例的基本出发点是跨关键风险类别映射与每个案例相关联的潜在风险，以评估潜在风险严重性，例如，支持客户旅行的用例，如用于客户服务的支持GenAI的聊天机器人，可能会增加风险，如偏见和跨群体不公平待遇(例如，按性别和种族)、用户输入敏感信息引起的隐私问题，以及模型幻觉或过时信息的不准确风险。
在进行此分析时，重要的是制定一个标准，以校准对不同类别的高风险与中风险的预期，否则，企业可能会遇到分歧，这更多是由个人对风险水平的舒适度驱动的，而不是客观因素，以数据隐私为例，我们通常会看到风险较高的示例需要个人或敏感信息来准确培训模型(或者用户在与技术交互时输入个人信息的可能性更高)，风险较低的用例不会表现出这两个特征，使用这一逻辑，开发一个支持顾问提供量身定制的财务建议的应用程序，往往会比自动化基本合同模板的应用程序在隐私风险暴露方面排名更高。
负责用例的执行人员必须领导与之相关的风险的初步评估(作为有效运营模型中产品经理角色的一部分)，这有助于培养对潜在风险的适当认识，并在用例被批准进行最终开发时负责管理这些风险，此外，包括业务负责人以及法律和合规性职能部门成员在内的跨职能小组应该审查和验证所有用例的风险评估，并在做出有关用例优先级的决策时将结果用作输入。
考虑在每个接触点管理风险的选项
一旦企业绘制了与GenAI相关的风险图，它必须制定战略，通过缓解和稳健治理的组合来管理风险暴露，许多(但不是所有)缓解措施本质上是技术性的，可以在流程的整个生命周期中实现，重要的是，这些控制不需要全部嵌入到基础基础模型本身中(许多企业将无法访问)，有些可以是在当地环境中构建的覆盖层，比如由人力资源部门设计的支持GenAI的聊天机器人，用于回答员工关于福利的询问。
在该用例中，在查询的整个生命周期中，一旦用户提出问题，可能会出现许多可能的缓解措施，它们包括让聊天机器人提出澄清问题以生成额外的必要用户输入，让用户确认聊天机器人已经正确地理解了查询，限制聊天机器人可以访问的数据集的类型(例如，排除个人信息)，以及设计聊天机器人提供引用以解释其答案并允许对其答复进行事实核查。实施此用例的企业可以采取措施(如限制重复交互)来阻止已知会给聊天机器人带来挑战的攻击载体和越狱，他们还可以开发分类器来识别和拒绝超出范围的查询(例如请求计算)。
在开发用例时，企业应该考虑其他一些重要类别的非技术性缓解措施。在GenAI成熟的这个阶段，大多数企业都在保持人类的参与，以防止技术直接投入生产或直接与最终客户接触。如前所述，防止有问题地使用来自第三方的数据的合同条款很重要。企业应该开发编码标准和库，以获取适当的元数据和方法标准来支持审查。
GenAI的许多初始缓解策略跨越多个用例，使企业能够从其技术缓解中获得规模效益，而不必为每个案例创建定制的方法，例如，在HR聊天机器人的示例中，将源作为查询答案的一部分的能力也可以应用于员工试图向客户解释产品或对同行企业进行分析的用例中。在这两种情况下，这都将在一定程度上解决“可解释性”和对产出的整体信心方面的挑战。
通过治理平衡扩展速度和明智的风险管理
使用GenAI将对大多数企业提出新的要求，以调整治理结构以响应审批和监督的需求，然而，大多数企业应该能够通过扩大任务或覆盖范围来适应他们今天拥有的东西，这将限制建立一个全新的委员会和审批机构方阵的潜在破坏，这些方阵可能会增加决策的摩擦和对问责的困惑。
GenAI可能需要企业对治理的三个核心要素进行更改：
- 一个跨职能、负责任的GenAI指导小组，至少每月一次，该小组应包括业务和技术领导者，以及数据、隐私、法律和合规成员，它应该有权就管理GenAI风险做出关键决策，包括对风险暴露的评估，以及针对入站风险和基于采用的风险的缓解战略，它应该审查基础战略决策，例如基础模型的选择以及与企业的风险状况的兼容性，这个指导小组理想情况下由一名个人负责协调和议程设置。在具有既定监管预期和长期模型和算法风险管理历史的行业(如金融服务)，此人通常已在员工中(并且可能是模型风险主管)。对于面临监管期望突然增加的企业来说，他们可能需要聘请一名AI治理官员或类似的角色来履行这些责任。
- 负责任的AI指导方针和政策。企业应该制定一套由执行团队和董事会商定的指导原则，这些指导原则将指导AI的采用，并作为可接受用例的屏障。我们已经看到的辩论原则包括以下问题：GenAI可以或应该在多大程度上推动个性化营销或客户拓展，使用GenAI来支持雇佣决策(包括招聘和绩效评估)，以及在什么条件下GenAI产品可以直接投入生产而不需要人工审查。现有政策通常需要更新，以考虑到GenAI的开发和使用(例如，涵盖虚假陈述和知识产权侵权)。
- 负责任的AI人才和文化。对负责任的AI的承诺不能仅仅停留在高管队伍中，相反，它需要在整个企业中层叠进行，并根据相关角色对技术的相关暴露程度定制责任、能力建设和意识，应在全企业范围内开展负责任的AI基本培训，以促进对入站风险的动态以及如何安全地使用技术的广泛理解，例如，考虑到模型可能会产生幻觉，作为培训的一部分，用户应该被告知，他们不应该仅仅因为他们的机器提供了答案就接受答案(与他们可能经历过的以前的办公生产力技术形成对比)。那些从事用例开发和扩展的人员应该对道德和“按设计负责”有深刻的理解，以便在设计和工程流程的早期嵌入风险考虑。人才考虑因素包括嵌入非技术和技术人才的组合-理想情况下，具有风险专业知识的技术人才，以支持用户查询工作流和控制的识别和设计。
实施负责任的GenAI：一切都与治理和人有关
建立正确的治理是推动负责任地大规模采用GenAI用例的必要但不充分的步骤，在开发过程中嵌入设计责任对于明智地部署技术是必不可少的，要在整个用例中成功实现这一点，需要四个关键角色，这些角色的职责与他们在推进用例方面的天赋和预期行动密切相关：
- 设计师。设计师或产品经理通过识别新的用例来引导GenAI部署的方向，并意识到它们如何符合企业的整体GenAI战略和路线图，他们通常来自企业最确信GenAI可以产生重大影响的业务和职能，产品经理应负责识别和降低相关风险，他们将在推动采用GenAI所需的文化变革方面发挥重要作用，包括建立对以下命题的信任：可以负责任地、安全地为员工和客户实现业务价值。
- 工程师。工程师是理解GenAI机制的技术专家，他们开发或定制技术以支持GenAI用例，同样重要的是，他们负责指导缓解措施的技术可行性，并最终对缓解措施进行编码以限制风险，以及开发技术监控策略。
- 管理者。管理者组成团队，帮助建立必要的治理、流程和能力，以推动GenAI负责任且安全的实施实践，这些措施包括建立核心风险框架、护栏和指导设计人员和工程师工作的原则，以及挑战风险评估和缓解有效性(特别是对于高风险用例)。AI治理官员这种角色的一个典型例子，尽管考虑到潜在风险的范围，这一角色将需要与其他角色相辅相成，这些角色理想情况下将涵盖数据风险、数据隐私、网络安全、监管合规和技术风险。鉴于GenAI的萌芽状态，管理者经常需要与工程师协调，对建立在GenAI模型上的新兴用例进行“红色团队”测试，以识别和缓解潜在的挑战。
- 用户。用户代表GenAI工具或用例的最终用户。需要对他们进行培训，并使他们适应技术的动态和潜在风险(包括他们在负责任的使用中的作用)，他们还在帮助识别GenAI用例的风险方面发挥了关键作用，因为他们可能在与模型的交互中遇到有问题的输出。
运营模型应该考虑到不同的角色将如何在GenAI生命周期的不同阶段进行交互，根据每个角色中嵌入的特定功能，每个企业都会有自然的变化，例如，一些企业将在设计师方面拥有更多的技术能力，这意味着他们可能会扮演更积极的交付角色，但运营模型的目的是展示部署的每个阶段的参与度如何变化。
GenAI有可能重新定义人们的工作和生活方式，虽然这项技术正在快速发展，但它也伴随着各种风险，从对训练数据完整性的担忧，到产生不准确或恶意输出的可能性。业务领导者需要修改他们的技术剧本，并从他们与GenAI接触的开始就推动有效风险管理的整合，这将允许以安全和负责任的方式应用这一令人兴奋的新技术，帮助企业管理已知风险(包括入站风险)，同时随着该技术的能力和用例的扩展，增强适应意外风险的能力。在生产力面临重大潜在提升的情况下，努力以可持续和负责任的方式扩展GenAI，对于充分获得其好处至关重要。
