联邦学习:深度学习之后,AI 安防的第二落脚点

简介: 梦想与现实从来都是纠葛着的,AI也不例外。以AI落地最多、最快的安防行业为例,过去几年,行业各类神捕、鹰眼等产品让人眼花缭乱。 渐渐地,AI成为了无所不能的代名词。

image
梦想与现实从来都是纠葛着的,AI也不例外。

以AI落地最多、最快的安防行业为例,过去几年,行业各类神捕、鹰眼等产品让人眼花缭乱。

渐渐地,AI成为了无所不能的代名词。

但是AI在安防行业的真实应用,还有很多现实问题亟需解决。

大规模落地:AI安防仍存两大痛点


宇视CEO张鹏国提到,“当前AI落地能力与用户需求存有较大差距,前者还需面对数据隐私保护与安全管控、低成本、流程再造、组织变革等挑战。”

具体来看,最为核心的痛点有二:

其一,数据不够多元,且异常封闭。

中国拥有庞大的人口数量、用户量及图像采集点,相关企业得到数据之后经过筛选、过滤、叠加、组合,会对自身算法效果有阶段性提升。

但这类提升属于个人式的、微乎其微式的。

每个厂商所建设的AI系统类似一个又一个的“烟囱”,“烟囱式”架构也就是垂直的体系结构。

每一个IT系统都有自己的存储和设备,以及独立的管理工具和数据库,不同的系统不能共享资源、不能交付和访问,形成了资源孤岛和信息孤岛。

由于不同企业的数据库模型设计和针对的目标有所不同,他们也无法直接交换、共享模型。

即便相关企业间的数据库可以融合,但受制于隐私、安全等问题,也绝不可如此为之。

有场景缺数据、有数据难共享。这是包括AI安防在内的诸多行业目前存在的普遍问题,也是阻碍AI普惠的最大痛点。

其二,缺乏优质数据,算法不够精准。

由于缺乏足够优质数据作为训练支撑,大多企业依靠开源框架微创新,然后采用低价策略抢占市场,导致整个行业丧失了做基础原创技术创新动力的案例。

坚持自研是一条漫长且艰苦的路,没人知道数年的努力能不能换得一次数量级的提升,也没人知道高投入后是否得到与之相匹配的回报。

对此有人或许会提到,基于安防行业自身天然的高试错率,小数点后的算法精度数量级提升对于项目的最终归属没有大的改变。

其实,现阶段与安防相关的AI技术精准度还远远没有达到天花板,分类检测、分割、以及对整个图像区域分类问题均还未得到很好解决。

概括而言,AI技术在安防市场上的应用主要还存有几个挑战:

1、认知问题相较感知问题较难解决。感知问题可以用神经网络函数逼近,相比之下认知问题解决起来比较棘手,比如如何教会机器辨识一把椅子。

2、在弱线索、遮挡、模糊、对象追踪等情况下,人类在识别的过程中通常会依据常识,并加入丰富的想象及推理。但是想要将这些能力传授给机器则非常困难。

3、计算机视觉技术带给机器的能力不只是用来观察世界,而是需要与世界建立联系,从而一起做交互,而想要做到“交互”这一步,还有很长一段距离。

基于安防场景的不断变化,其对算法迭代的要求一定是非常严苛且上升的。

在这个市场中,谁能够看到算法精度提升解锁的更多场景,并根据场景的变化做到最为快速且精准的反应,谁就能在未来竞比中走得更远。

联邦学习:AI大规模落地又一革命性突破


一方面,AI在安防行业的探索才刚刚开始;另一方面,做好AI所必须的数据养料有限且质量较差,不同数据源之间存在难以打破的壁垒。

除了少数几家拥有海量用户、具备产品和服务优势的巨无霸企业外,大多数中小型AI安防企业难以以一种合理、合法的方式跨越人工智能落地的数据鸿沟,或者需要付出巨大的成本来解决这一问题。
image

此外,随着大数据的发展,重视数据隐私和安全已经成为一种世界性的趋势,一系列条例的出台更是加剧了数据获取的难度,这也给人工智能的落地应用带来了前所未有的挑战。

何解?

针对这个问题,记者同时采访了六位学术界、工业界领头人,得到的答案比较一致:从目前的研究进展来看,“联邦学习”技术可能是解决以上问题的最佳选择。

联邦学习的概念最初由谷歌在2016年提出,在中国,香港科技大学讲席教授、微众银行首席人工智能官(CAIO)杨强教授算是联邦学习研究第一人。之后包括微众银行、腾讯、平安科技、华为、京东等在内的国内企业和机构推动联邦学习进入了学术研究与行业落地新阶段。

联邦学习之所以能够在如此短的时间里迅速由一个构想变为一门学科,主要因为它可以让参与各方在不披露底层数据的前提下共建模型,之后利用整个数据联邦内的数据资源,提高每个成员的模型表现。

通俗来说,深度学习时代,每个AI企业的技术能力是单打独斗式的;而联邦学习的出现,更为紧密、安全地将各个AI企业联系在了一起,联邦中的每个成员都可以用最快的速度提升自身能力的同时汲取别人的长处,最终获得共同成长。

譬如A厂商有校园数据、B厂商有工厂数据、C厂商有社区数据,且这三家厂商都使用了联邦学习技术。

从业务层面出发,A、B、C这三家厂商便直接获得了两种能力:1、最快速地优化自身业务;2、最快速地拓展新业务。

最快速地优化自身业务表现在,平台每天会有若干个类似A厂商的企业向平台输入加密后的数据模型,而这些数据模型中有A厂商非常缺乏的其他数据信息,而A厂商便可根据这些数据去更新自己的算法模型。

最快速地拓展新业务表现在,A、B、C每家厂商都有各自构建好的模型,通过汇总去得到更大的数据模型,在不流通数据的情况下得到数据流通的最好效果,通过资源互补可以在最短时间内安全地获得对方的能力,去拓展新业务。

从隐私保护层面来看,通常智能摄像头产生的数据会被上传到后台服务器中,然后由部署在服务器上的神经网络模型根据收集到的大量数据进行训练得到一个模型,服务商根据这个模型来为用户提供服务。

这是一种集中式的模型训练方法,这种方式很难保证数据隐私安全。

而联邦学习就不再是让数据发送到后台,而是在每个企业自己的服务器上进行训练,并加密上传训练模型,后台会综合成千上万的用户模型后再反馈给用户改进方案。

相较传统学习模式,联邦学习的优点是显而易见的:

1、在联邦学习的框架下,各参与者地位对等,能够实现公平合作;

2、数据保留在本地,避免数据泄露,满足用户隐私保护和数据安全的需求;

3、能够保证参与各方在保持独立性的情况下,进行信息与模型参数的加密交换,并同时获得成长;

4、建模效果与传统深度学习算法建模效果相差不大;

5、联邦学习是一个「闭环」的学习机制,模型效果取决于数据提供方的贡献。

在传统的方法下,用户只是人工智能的旁观者——使用,但没有参与;而在联邦学习场景下,每个人都是“驯龙高手”,每个人都是人工智能发展的参与者。

纵身一跃:联邦学习已经落地生根


值得一提的是,目前联邦学习已经从概念走进商业世界,而且诞生了一系列基于行业场景的新平台、新应用。

今年9月,微众银行与极视角联手打造了中国首个视觉联邦学习系统。

以视频摄像头中的火焰识别为例,AI工程师们可能千辛万苦训练了一个火焰检测的识别模型,想要用在监控摄像头中,识别是否有燃烧现象,从而对火灾发生的可能性进行分析,实现火灾预警。

原有的AI算法可以比较准确地识别有明显大面积燃烧和明火发生的常见场景。然而,遇到打火机点出的火焰时,摄像头就有些“懵”了。

如果想让模型增强识别能力,传统的AI训练要求适用方能够提供一些数据样本,而这又出现了因网络带宽导致的算法准确率不高及数据隐私等问题。

种种难题前,极视角与微众银行合作,利用联邦学习技术打造了一个计算机视觉模型的“超级市场”。
image

在联邦视觉系统中,依托本地建模,在保证各方数据不出本地的情况下,即可提升AI算法准确率。

在一次公开分享中,微众银行AI部门副总经理陈天健透露,“在‘联邦视觉系统’项目中,通过联邦学习技术,整体模型的性能提升了15%,且模型效果无损失,极大地提升了建模效率。”

AI下半场:技术生态正被重新塑造


安防行业历经两次跨越,从最开始的通用级产品到解决方案,再到内容分析前置,接下来则是平台运营。

未来,安防行业背后是兆亿级别且呈几何式增长的巨大流量入口。

IoT时代,数据处理并非孤岛式,未来智慧城市中的每个人、每个摄像头都是可感知的,而联邦学习可以发挥“群体智能”的力量,进而升级和变革行业。

优化、互补、安全、高效,毫不夸张地说,联邦学习无疑是目前业界出现的最有可能推动AI普惠的技术路线。

它也是AI行业从B2C到C2B模式的一个变革起点,它的成熟发展可以让更多人更低门槛地参与到AI社会的构建。

同时,安防领域的应用还只是联邦学习赋能的冰山一角,未来包括金融、零售、医疗、政务、工业等各行各业、各个场景都可以依据此技术实现降本增效、开源节流。

未来,联邦学习必须生态化。联邦学习的精髓在于互补、在于合作、在于生态。联邦学习正如一个操作系统,一家企业是玩不转的,唯有各方共同参与,才有机会落地生花。

和羹之美,在于合异;上下之益,在能相济。

联邦学习全面赋能之路还很遥远, 而这些已经落地的“种子”,正在一粒粒萌芽、破土,被人们所肯定。

原文发布时间:2019-11-25
本文作者:张栋
本文来自云栖社区合作伙伴“AI科技评论”,了解相关信息可以关注“AI科技评论

相关文章
|
7天前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
35 3
|
9天前
|
机器学习/深度学习 数据采集 人工智能
AI赋能教育:深度学习在个性化学习系统中的应用
【10月更文挑战第26天】随着人工智能的发展,深度学习技术正逐步应用于教育领域,特别是个性化学习系统中。通过分析学生的学习数据,深度学习模型能够精准预测学生的学习表现,并为其推荐合适的学习资源和规划学习路径,从而提供更加高效、有趣和个性化的学习体验。
55 9
|
3天前
|
人工智能 自然语言处理 搜索推荐
AI辅助教育:个性化学习的新纪元
【10月更文挑战第31天】随着人工智能(AI)技术的发展,教育领域迎来了一场前所未有的变革。AI辅助教育通过智能推荐、语音助手、评估系统和虚拟助教等应用,实现了个性化学习,提升了教学效率。本文探讨了AI如何重塑教育模式,以及个性化学习在新时代教育中的重要性。
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI驱动的个性化学习平台构建###
【10月更文挑战第29天】 本文将深入探讨如何利用人工智能技术,特别是机器学习与大数据分析,构建一个能够提供高度个性化学习体验的在线平台。我们将分析当前在线教育的挑战,提出通过智能算法实现内容定制、学习路径优化及实时反馈机制的技术方案,以期为不同背景和需求的学习者创造更加高效、互动的学习环境。 ###
25 3
|
8天前
|
机器学习/深度学习 人工智能 算法
AI在医疗:深度学习在医学影像诊断中的最新进展
【10月更文挑战第27天】本文探讨了深度学习技术在医学影像诊断中的最新进展,特别是在卷积神经网络(CNN)的应用。文章介绍了深度学习在识别肿瘤、病变等方面的优势,并提供了一个简单的Python代码示例,展示如何准备医学影像数据集。同时强调了数据隐私和伦理的重要性,展望了AI在医疗领域的未来前景。
25 2
|
9天前
|
安全 搜索推荐 机器学习/深度学习
AI赋能教育:深度学习在个性化学习系统中的应用
【10月更文挑战第26天】在人工智能的推动下,个性化学习系统逐渐成为教育领域的重要趋势。深度学习作为AI的核心技术,在构建个性化学习系统中发挥关键作用。本文探讨了深度学习在个性化推荐系统、智能辅导系统和学习行为分析中的应用,并提供了代码示例,展示了如何使用Keras构建模型预测学生对课程的兴趣。尽管面临数据隐私和模型可解释性等挑战,深度学习仍有望为教育带来更个性化和高效的学习体验。
33 0
|
9天前
|
机器学习/深度学习 数据采集 人工智能
AI在医疗:深度学习在医学影像诊断中的最新进展
【10月更文挑战第26天】近年来,深度学习技术在医学影像诊断中的应用日益广泛,通过训练大量医学影像数据,实现对疾病的准确诊断。例如,卷积神经网络(CNN)已成功用于识别肺癌、乳腺癌等疾病。深度学习不仅提高了诊断准确性,还缩短了诊断时间,提升了患者体验。然而,数据隐私、数据共享和算法透明性等问题仍需解决。未来,AI将在医学影像诊断中发挥更大作用,成为医生的得力助手。
33 0
|
17天前
|
机器学习/深度学习 数据采集 人工智能
数据驱动的AI技术:如何通过深度学习提升图像识别精度
【10月更文挑战第18天】 数据驱动的AI技术:如何通过深度学习提升图像识别精度
30 0
|
机器学习/深度学习 人工智能 监控
|
3天前
|
存储 XML 人工智能
深度解读AI在数字档案馆中的创新应用:高效识别与智能档案管理
基于OCR技术的纸质档案电子化方案,通过先进的AI能力平台,实现手写、打印、复古文档等多格式高效识别与智能归档。该方案大幅提升了档案管理效率,确保数据安全与隐私,为档案馆提供全面、智能化的电子化管理解决方案。
69 48