人工智能(AI)技术具有双刃剑效应,它造福了人类,但是如果开发不当,则会对人类和社会产生负面影响。在此背景下,以人为中心人工智能(human-centered AI,HCAI)的开发理念应运而生。HCAI是一种将人的需求、价值、智慧、能力和作用置于首位的 AI设计、开发、实施理念和方法,确保AI技术服务于人类,提升和增强人的能力,而不是伤害人类,更不是控制和替代人类。HCAI理念目前在国外是 AI界的热门课题之一,国内的研究尚未正式开始。为推动 HCAI理念在中国的落实,在分析 AI技术的新特征和新挑战的基础上,本文将进一步阐述作者在2019年提出的“以人为中心人工智能”框架,其中包括理念、设计目标、主要实施路径以及设计原则,分析提出HCAI理念的意义。然后,提出实施 HCAI理念的方法论、策略和行动。AI技术的研发和实施必须遵循 HCAI理念,这是贯穿于全书的一条主线。

01、引言

人工智能( AI )技术肯定是一项有利于人类和社会进步发展的新技术,并且正在对人类工作和生活的方方面面产生深刻和积极的影响。但是,研究表明,在研发各类面向用户的 AI 系统、产品和服务(以下简称智能系统或者智能解决方案)中,许多研发人员主要关心技术问题(例如算法),而不重视用户需求和 AI 对人类的影响( Hoffmanetal. , 2016 ; Lazeretal. , 2014 ; Lieberman , 2009 )。早在 2015年,著名科学家 StephenHawking 和企业家 ElonMusk 等向社会公开呼吁,如果不考虑人类的角色和作用而盲目开发 AI , AI 最终将伤害人类( Hawking , Musketal. , 2015 )。2023 年,针对 ChatGPT3.5和 4.0 版本的发布,包括图灵奖获得者 YoshuaBengio 、苹果 CEOTimCook 、特斯拉 CEOElonMusk在内的 3 万多人联合签署了一封公开信,进一步表达了对 AI 可能给人类带来负面影响的担心( OpenLetters , 2023 )。目前,在 AI 技术及其应用日益普及的同时,人们对 AI 技术潜在负面影响的担忧也越来越多,我们必须采取有效的系统化措施。历史似乎在重复。20 世纪 80 年代,个人计算机刚刚兴起时,计算机应用产品的用户主要是程序员等专家用户,因此,程序员在产品开发中只考虑技术因素,不考虑可用性和用户体验,这种现象被称为“专家为专家设计“。目前,许多智能系统的研发也面临类似的问题,许多人的关注点集中在技术和算法等方面,而忽略了 AI 技术给人类和社会可能带来的潜在负面影响。AI “黑匣子”效应就是一个例子, AI 研发人员主要考虑自身的需求,而不是为普通目标用户提供可解释和可理解的AI ( Milleretal., 2017 )。20 多年前,“以用户为中心设计”实践的兴起带动了可用性、用户体验、人机交互(human-computerinteraction , HCI )等新领域的兴起和发展。今天,在全社会大力推广和研发AI 新技术时,我们再次遇到了是否应该遵循“以人为中心”理念的问题。在这样的背景下,本章首先分析 AI 技术的双刃剑效应以及对可持续 AI 发展带来的新挑战;在此基础上,阐述“以人为中心人工智能”(human-centeredAI ,以下简称 HCAI )的理念、基本设计目标、主要实现途径和设计原则,阐述提出 HCAI 理念的意义;然后,提出实施 HCAI 理念的策略和行动;最后,概括本书的贡献和架构。本章讨论的 HCAI 理念是 AI 技术研发和实施应该遵循的理念,这是贯穿于全书的一条主线。

02、AI的双刃剑效应

AI 的双刃剑效应是指合理开发和使用 AI 会造福人类,但是不合理的开发和使用则将对人类和社会产生负面影响。Yampolskiy 等(2019 )的研究表明,不恰当的 AI 技术开发导致了许多伤害人类公平、公正以及安全的事故。AI 事故数据库已经收集了 1000 多起与 AI 有关的事故( McGregoretal., 2021 ),这些事故包括自动驾驶车撞死行人,交易算法错误导致市场“闪崩”,面部识别系统出错导致无辜者被捕等。跟踪 AI 滥用事件的 AIAAIC 数据库表明,自 2012 年以来, AI 滥用相关事件的数量增加了 26 倍( AIAAIC ,2023 )。现有研究已经表明 AI 技术至少具有以下局限性( NAS , 2021 ;许为,2019 , 2020 )。• 脆弱性: AI 在其编程或训练数据涵盖的范围内表现良好,但是,当遇到与先前学习不同的新行为类别或者不同的数据统计分布时,它可能会表现不佳,而实时学习训练需要时间,可能导致学习周期期间的性能缺陷。• 感知限制:如果信息输入不正确,则可能破坏 AI 对高阶认知过程的学习。• 潜在偏见:有限的训练数据集或数据本身带有的偏见会导致智能系统潜在的输出偏见。• 不可解释性:机器学习( ML )算法的“黑箱效应”和不透明问题会导致智能系统输出难以解释和理解。• 无因果模型: ML 技术基于简单的模式识别,缺乏因果模式,导致无法理解因果关系,无法预测未来事件、模拟潜在行动的影响、反思过去的行为或学习。• 开发瓶颈效应:机器智能很难模拟人类高阶认知过程和能力,导致单一开发机器智能的技术路线遇到瓶颈效应。• 自主化效应: AI 的自主化( autonomy )特征可能导致类似自动化技术的人因问题,影响操作员的工作绩效,其中包括自动化困惑、自动化讽刺、情景意识降低、“人在环外”失控、人为决策偏差、手工技能退化等。• 伦理问题:智能系统会产生包括数据隐私、用户公正和公平在内的一系列问题。• 独立操作性: AI 被证明在复杂的操作环境中表现出了许多问题。在可预见的未来, AI 仍不足以在许多复杂和新颖的情况下独立运行,许多任务仍然需要人类执行和管理,以实现其预期的效用。在许多应用场景中, AI 无法替代人类,人类需要维持最终的决控权。AI 技术潜在的负面影响可能在各类智能系统的使用中发生。例如,一些利用不完整或被扭曲的数据训练而成的智能系统可能会导致该系统产生有偏见性的“思考”,轻易地放大偏见和不公平等,它们遵循的“世界观”有可能将使某些用户群体陷入不利的地位,影响社会的公平。正因为这些问题,一些 AI 项目最终未能投入使用( Guszcza , 2018 ; Hoffmanetal. , 2016 ; Lazeretal. , 2014 ; Lieberman ,2009 ; Yampolskiy , 2019 )。当越来越多的企业、政府、学校、医疗、服务等机构采用智能决策系统时,具有偏见“世界观”的 AI 决策将直接影响人们日常的工作和生活。人们甚至担心 AI 将来可能排斥人类,人类终将失去控制,智能武器甚至可能会给人类带来灾难。类似地,核能和生化技术同样具有双刃剑效应。合理利用核能和生化技术可以造福人类,但是不合理地利用核能、生化技术制造和使用核、生化武器,则有可能对人类和社会造成灾难性的后果。然而,核能和生化技术的掌握难度相对比较高,是一种高度中心化的技术,只有少数国家可以掌握。而AI 技术的开发和使用是一种去中心化的全球现象,门槛相对较低,这就使得对 AI 技术的控制更加困难,因此,合理开发和使用 AI 技术显得更加重要。综上所述, AI 技术既能造福人类,但也给人类带来了潜在的负面影响。人类在 AI 技术系统开发和使用中仍然具有不可替代的位置,我们需要采用怎样的策略和方法来解决 AI 技术给人类可能带来的负面影响呢?

03、“以人为中心人工智能”理念

3.1 AI 发展的“人的因素”新特征

AI 技术的发展大致可以分为三个阶段。前两次 AI 浪潮主要集中在科学探索,局限于“以技术为中心”的理念,呈现出“学术主导”的阶段特征。2006 年,深度机器学习、算力、大数据等技术的发展推动了第三次 AI 浪潮的兴起。在第三次 AI 浪潮中, AI 技术研发开始围绕对一系列“人的因素”的考虑展开,以以下几方面为例。• 用户需求和 AI 落地场景: AI 在一些应用场景中开始满足用户需要,人们开始重视 AI 技术的应用落地场景和对人类有用的解决方案,开发面向用户的应用解决方案、智能人机交互技术、拥有实用价值的智能系统来解决人类和社会的一些实际问题,开始形成一些基于 AI 解决方案的商业模式,这是第三次 AI 浪潮与前两次本质上的不同。• 人机混合增强智能: AI 界开始考虑引入在智能系统中人的因素和作用,提倡将人与机器视为一个人机系统。例如,吴朝晖、郑南宁、张拔等院士认为,无论机器多么智能,它们都无法完全模拟人类的高阶认知能力,单一孤立地开发机器智能正在成为影响 AI 技术扩展的瓶颈(Zhengetal., 2017 ; Wu2017 , 2019 )。他们提倡开发“人机混合增强智能”。例如,“人在环中”(human-in-the-loop )的人机混合增强智能,即将人作为一个计算节点或者决策节点放置于整个智能系统的回路中;“人在环路上”(human-on-the-loop )的人机混合增强智能,即将人类认知模型引入智能系统,开发基于认知计算的人机混合增强智能,或者在人智系统中将人类用户置于监控的位置。• “数据 + 知识”双驱动:以往的 AI 技术主要基于知识库和推理机来模拟人类推理行为(如 IBM公司的 DeepBlue ),虽然具有较好的可解释性,但是这些系统在知识收集、表达、建模、算法转换和执行方面存在很多问题。第三波 AI 浪潮中基于大数据训练的深度学习虽然通用性强(如 ChatGPT4 ),但是也遇到了算法脆弱、大数据和大算力依赖性强、鲁棒性差、不可解释、低可靠性等瓶颈问题(高新波,2023 )。张钹院士提出,第三代 AI 需要“数据 + 知识”双驱动,充分发挥人类知识、数据、算法和算力四要素的作用(张钹等,2020 )。• AI 可解释性: AI 界开始意识到 AI “黑匣子”问题的严重性,智能系统应该确保透明化和可解释化的输出结果,从而帮助用户了解 AI 技术是如何工作和帮助他们做决策的,由此建立用户对 AI 技术的信任( Gunning ,2017 )。• 伦理化 AI :针对越来越多的 AI 伦理化问题, AI 界开始从伦理道德等方面来考虑 AI 对人类和社会的影响,许多政府和企业都发布了伦理化 AI 开发指南,从人类价值、公平公正、数据保护、用户隐私等方面来考虑如何避免 AI 伦理道德方面的问题( Zhou& Chen , 2022 )。• 人类可控 AI :随着智能技术的发展,在智能机器自主权不断扩大的同时,人类操作主体在关键决策领域也出现不断让渡控制权的形象,由此带来了如何保证人类对智能机器自主决策行为的控制问题。例如,研究者提出了“有意义的人类控制”( meaningfulhumancontrol )等方法(deSio&denHoven , 2018 )。以上这些“人的因素”涉及人的需求、特征、价值、作用、知识和能力,是前两次 AI 浪潮中没有遇到的新问题,也是对现有 AI 研发中专注于技术的开发思维的突破。同时,如 1.2 节所述, AI 双刃剑效应会给人类带来潜在的负面影响。因此,在 AI 研发和实施中,考虑“人的因素”是一个必然的趋势。针对以往孤立的、不可持续发展的“以技术或算法为中心”的 AI 开发思维,采用“以人为中心”的 AI 开发理念有助于克服现有 AI 开发的不足之处,作为对现有 AI 开发技术和方法的一种有效补充手段,可以确保 AI 技术进一步安全和可持续的发展。综上所述,我们认为第三次 AI 浪潮正呈现出“技术提升 + 应用解决方案 + 以人为中心”的阶段特征,这也是 AI 发展的方向(表 1.1 )( Xu , 2019 )。这种阶段特征意味着 AI 技术研发已经不再是一个纯粹的技术工程项目,而是一个超越 AI 和计算机领域界限的跨学科的系统工程,需要一种系统化的开发新理念和设计思维来解决这一系列“人的因素”的新问题( Xu , Dainoff , Ge ,Gao , 2023 )。

■ 表 1.1 AI 三次浪潮的阶段特征

3.2 “以人为中心人工智能”的框架:理念、目标和实施路径AI 发展的“人的因素”新特征

针对 AI 开发中只专注于“以技术或算法”的开发方式以及所暴露出来的一些问题,在 AI 技术进步的同时,一些研究者开始探索基于“以人为中心”的 AI 研发理念和方法,他们分别从不同的角度来探索“以人为中心”的方法,试图解决 AI 新技术带来的一系列与“人的因素”有关的新问题,例如包容性设计( Spenceretal., 2018 )、以人为本的计算(Fordetal., 2015 )。2018 年,斯坦福大学率先成立了“以人为中心 AI ”的研究中心,该中心追求的目标是通过技术提升与伦理化设计手段,开发出惠及人类的 AI 技术; AI 发展不能只是追求技术,它还必须合乎伦理道德,对人类有益;AI 是增强而不是取代人类的技术( Li , 2018 )。2019 年,许为在国内率先提出了一个系统化的“以人为中心 AI ”理念框架,他也是国际上最早提出HCAI 理念的几位 学 者 之 一。其 他 一 些 学 者 也 提 出 了 针 对 HCAI 理 念 的 理 论 和 框 架,其 中 包 括Shneiderman 的 HCAI 框架( Shneiderman , 2020 ),人文 AI 设计( Auernhammer , 2020 ),以人为本的可解释AI ( Ehsanetal., 2020 ),以人为中心的机器学习( Kaluarachchietal. , 2021 )等。近几年,针对 HCAI 理念的研究越来越多,目前国外已有 20 余所大学建立了 HCAI 研究机构。国内一些 AI 界人员在 AI 研发中已经开始考虑“人的因素”(例如,梁正,2021 ; Zhangetal., 2019 ; Zhangetal. , 2022 ; Liuetal. , 2017 ;Zhengetal., 2017 ),但是目前还没有研究提出系统化的 HCAI 框架或者建立针对 HCAI 的研究机构。本书将“以人为中心人工智能( HCAI )”定义为一种将人的需求、价值、智慧、能力和作用置于首位的 AI 设计、开发、实施理念和方法。HCAI 的最终目的是开发出将人的需求、价值、智慧、能力和作用置于首位的“以人为中心”的 AI 技术(包括基于 AI 技术的智能系统),确保 AI 技术服务于人类,提升和增强人的能力,而不是伤害人类,更不是控制和替代人类。本书所遵循的 HCAI 理念和方法主要依据许为提出的 HCAI 框架(见图 1.1 , Xu , 2019 ;许为,2019 )。如图 1. 1 所示,该 HCAI 框架从“技术 - 用户 - 伦理”三大维度提出了 AI 设计、开发、实施中为实现 HCAI 理念的基本目标以及主要实施路径。表 1.2 定义了实现 HCAI 理念所期望达到的基本目标,表 1.3 定义了实现 HCAI 理念和基本目标的主要实施路径。

■ 表 1.2 实现 HCAI 理念所期望达到的基本目标