AI透明度引发关注,科技巨头推工具解释算法决策过程

简介:

人工智能技术的透明度和道德伦理问题,正引发越来越多的关注,这促使云计算服务提供商推出新工具,解释人工智能算法背后的决策过程。

会计和金融等强监管行业的高管表示,数据科学家和非技术业务经理都必须能理解算法决策背后的流程,这至关重要。这样的理解在防范潜在道德违规和监管违规方面可能会带来深远影响,尤其考虑到企业级人工智能算法正变得越来越普遍。

毕马威创新和企业解决方案部门负责智能自动化、认知和人工智能的高管维诺德·斯瓦米纳桑(Vinodh Swaminathan)表示:“我认为,除非具备这种解释能力,否则人工智能在企业中的规模不可能超过数百个试点应用。”

对人工智能的解释问题已经促使IBM和谷歌等公司在云计算人工智能服务产品中引入透明度和道德伦理工具。比如,IBM商业价值研究所近期的一项研究调查了5000名企业高管。约60%的受访者表示,他们关心如何解释人工智能使用数据作出决策,以达到监管和合规标准。这个比例较2016年时的29%大幅上升。

甚至对数据科学家和相关企业高管来说,人工智能的决策过程有时都是“黑盒”。在深度学习工具,例如用于模式识别的神经网络中尤其如此。这样的神经网络试图模拟人脑的运转方式。尽管这些系统可以以前所未有的准确率和速度得出结论,但外界并不总是非常清楚,计算网络是如何做出具体的决策。

毕马威内部的数据科学家正在开发自主的可解释性工具,此外该公司也在利用IBM新的透明度工具。斯瓦米纳桑表示,这样做的目的是确保技术和业务两方面的员工都能“打开黑盒”,准确地了解人工智能算法是如何做出结论的。

IBM上周发布了新的云计算人工智能工具,可以向用户展示哪些主要因素影响了人工智能做出的建议。这些工具还可以实时分析人工智能决策,以识别固有偏见,并推荐数据和方法来解决这些偏见。IBM负责认知解决方案的高级副总裁大卫·肯尼(David Kenny)表示,这些工具可以与IBM人工智能服务,以及谷歌等其他云计算服务提供商的工具配合使用。

谷歌研究科学家和软件工程师发布的博文则显示,谷歌去年开始为开源的机器学习代码发布新工具,“作为更广泛研究的一部分,满足对可解释性的政策目标”。谷歌本月早些时候发布的另一款人工智能工具允许非程序员检查和调试机器学习系统,以评估算法的公平性。

微软正通过Azure来提供人工智能服务。该公司发言人表示,人工智能系统的设计需要有公平、透明和安全的保护,从而确保信任。微软正在这方面做出持续的努力。亚马逊没有对此问题做出回应。

来自强监管金融行业的Capital One Financial Corp和美国银行正在研究,如何解释人工智能算法得出答案的背后原理。两家公司都表示,目标是利用人工智能来优化对欺诈的监测,但首先它们需要了解这些算法是如何工作的。


原文发布时间为:2018-09-27

本文来自云栖社区合作伙伴“人工智能观察”,了解相关信息可以关注“人工智能观察”。

相关文章
|
22天前
|
人工智能 供应链 数据可视化
一文读懂AI引擎与Together规则引擎重塑智能决策
从1950年图灵提出人工智能设想到如今AI引擎实现自主决策,Together规则引擎正成为智能决策核心。它通过动态规划、多工具调用与持续学习机制,赋能供应链、财务、定价等场景,提升决策透明度与效率。Together助力AI引擎突破落地瓶颈,推动企业管理迈向“决策即服务”新时代。
|
2月前
|
存储 人工智能 自然语言处理
AI在法律行业难以从简单工具转变为认知引擎,法律知识图谱如何解决这一难题?
本文AI产品专家三桥君探讨了AI如何从法律行业的辅助工具升级为具备认知能力的智能引擎。通过构建法律知识图谱,AI可实现法条精准引用、案件智能分析等核心功能,解决法律语义鸿沟和动态更新等挑战。三桥君介绍了知识图谱的构建过程及其在案件匹配、法条推理中的应用场景,并展示了智能助理在录音转写、案例检索、文书生成等实务中的落地价值。三桥君认为,法律知识图谱将推动AI从工具属性向认知引擎跃迁,提升法律服务效率与透明度。
93 1
|
1月前
|
机器学习/深度学习 人工智能 算法
从人工决策到AI自主规划:2025物流配送管理工具的智能化升级
物流配送管理工具正经历技术革新,从手工调度1.0迈向数字孪生与AI驱动的4.0时代。新一代系统融合IoT、强化学习与路径优化算法,实现智能调度、实时执行与资源优化。多模态感知、自适应路由与弹性网络设计推动物流数字化转型。未来,量子计算、自主物流网络与认知型AI将重塑行业格局,助力物流向高效、绿色、韧性发展。
213 0
|
2月前
|
人工智能 开发框架 搜索推荐
AI Agent构建强大外部工具调用能力不足,MCP Server怎样应对?MCP Serve在企业级Agent系统中的关键意义
本文AI产品专家三桥君探讨了MCP Server在企业级AI Agent系统中的关键作用,通过标准化工具接口实现AI与外部服务的无缝集成。三桥君重点阐述了分布式系统中的会话管理、状态持久化等实践方案,强调MCP Server在降低AI决策风险、提升系统可靠性方面的企业价值,为AI产品经理提供了架构设计与优化策略的实践指导。
279 0
|
2月前
|
人工智能 NoSQL Redis
企业级Agent系统中AI决策错误带来损失,如何通过HITL机制解决?
本文AI专家三桥君探讨了企业级Agent系统中Human-in-the-Loop(HITL)机制的关键作用,旨在解决AI在复杂业务场景中“聪明但错误”的决策问题。通过单机模式(LangGraph中断恢复)、工具调用管控(集中看守/自我管理)及分布式架构(FastAPI+Redis)三种方案,实现人类专家在关键节点的精准干预。三桥君还提出故障恢复策略与异步优化等企业级实践,强调HITL能有效降低AI决策风险,提升系统可靠性,为AI产品经理提供技术落地方向。
120 0
|
7天前
|
人工智能 自然语言处理 算法
现代AI工具深度解析:从GPT到多模态的技术革命与实战应用
蒋星熠Jaxonic,AI技术探索者,深耕代码生成、多模态AI与提示词工程。分享AI工具架构、实战应用与优化策略,助力开发者提升效率,共赴智能编程新纪元。
41 4
|
10天前
|
机器学习/深度学习 人工智能 算法
当AI提示词遇见精密算法:TimeGuessr如何用数学魔法打造文化游戏新体验
TimeGuessr融合AI与历史文化,首创时间与空间双维度评分体系,结合分段惩罚、Haversine距离计算与加权算法,辅以连击、速度与完美奖励机制,实现公平且富挑战性的游戏体验。
|
人工智能 弹性计算 安全
创新场景丨元空智能:AI 工具创业,如何抓住新时代的出海机遇
大模型创业的本质是兑现新技术价值,而乘云出海,不仅是技术的输出,更是中国创新走向世界的一次实践。
|
9天前
|
人工智能 监控 算法
AI解决方案的决策工具
企业正借助AI实现精细化“微观决策”,需在自动化与人工干预间找到平衡。本文提出HITL、HITLFE、HOTL、HOOTL四种管理模型,指导如何设计人机协同机制,确保决策高效、可控,并随业务动态演进。