联邦学习:深度学习之后,AI 安防的第二落脚点

简介: 梦想与现实从来都是纠葛着的,AI也不例外。以AI落地最多、最快的安防行业为例,过去几年,行业各类神捕、鹰眼等产品让人眼花缭乱。 渐渐地,AI成为了无所不能的代名词。

image
梦想与现实从来都是纠葛着的,AI也不例外。

以AI落地最多、最快的安防行业为例,过去几年,行业各类神捕、鹰眼等产品让人眼花缭乱。

渐渐地,AI成为了无所不能的代名词。

但是AI在安防行业的真实应用,还有很多现实问题亟需解决。

大规模落地:AI安防仍存两大痛点


宇视CEO张鹏国提到,“当前AI落地能力与用户需求存有较大差距,前者还需面对数据隐私保护与安全管控、低成本、流程再造、组织变革等挑战。”

具体来看,最为核心的痛点有二:

其一,数据不够多元,且异常封闭。

中国拥有庞大的人口数量、用户量及图像采集点,相关企业得到数据之后经过筛选、过滤、叠加、组合,会对自身算法效果有阶段性提升。

但这类提升属于个人式的、微乎其微式的。

每个厂商所建设的AI系统类似一个又一个的“烟囱”,“烟囱式”架构也就是垂直的体系结构。

每一个IT系统都有自己的存储和设备,以及独立的管理工具和数据库,不同的系统不能共享资源、不能交付和访问,形成了资源孤岛和信息孤岛。

由于不同企业的数据库模型设计和针对的目标有所不同,他们也无法直接交换、共享模型。

即便相关企业间的数据库可以融合,但受制于隐私、安全等问题,也绝不可如此为之。

有场景缺数据、有数据难共享。这是包括AI安防在内的诸多行业目前存在的普遍问题,也是阻碍AI普惠的最大痛点。

其二,缺乏优质数据,算法不够精准。

由于缺乏足够优质数据作为训练支撑,大多企业依靠开源框架微创新,然后采用低价策略抢占市场,导致整个行业丧失了做基础原创技术创新动力的案例。

坚持自研是一条漫长且艰苦的路,没人知道数年的努力能不能换得一次数量级的提升,也没人知道高投入后是否得到与之相匹配的回报。

对此有人或许会提到,基于安防行业自身天然的高试错率,小数点后的算法精度数量级提升对于项目的最终归属没有大的改变。

其实,现阶段与安防相关的AI技术精准度还远远没有达到天花板,分类检测、分割、以及对整个图像区域分类问题均还未得到很好解决。

概括而言,AI技术在安防市场上的应用主要还存有几个挑战:

1、认知问题相较感知问题较难解决。感知问题可以用神经网络函数逼近,相比之下认知问题解决起来比较棘手,比如如何教会机器辨识一把椅子。

2、在弱线索、遮挡、模糊、对象追踪等情况下,人类在识别的过程中通常会依据常识,并加入丰富的想象及推理。但是想要将这些能力传授给机器则非常困难。

3、计算机视觉技术带给机器的能力不只是用来观察世界,而是需要与世界建立联系,从而一起做交互,而想要做到“交互”这一步,还有很长一段距离。

基于安防场景的不断变化,其对算法迭代的要求一定是非常严苛且上升的。

在这个市场中,谁能够看到算法精度提升解锁的更多场景,并根据场景的变化做到最为快速且精准的反应,谁就能在未来竞比中走得更远。

联邦学习:AI大规模落地又一革命性突破


一方面,AI在安防行业的探索才刚刚开始;另一方面,做好AI所必须的数据养料有限且质量较差,不同数据源之间存在难以打破的壁垒。

除了少数几家拥有海量用户、具备产品和服务优势的巨无霸企业外,大多数中小型AI安防企业难以以一种合理、合法的方式跨越人工智能落地的数据鸿沟,或者需要付出巨大的成本来解决这一问题。
image

此外,随着大数据的发展,重视数据隐私和安全已经成为一种世界性的趋势,一系列条例的出台更是加剧了数据获取的难度,这也给人工智能的落地应用带来了前所未有的挑战。

何解?

针对这个问题,记者同时采访了六位学术界、工业界领头人,得到的答案比较一致:从目前的研究进展来看,“联邦学习”技术可能是解决以上问题的最佳选择。

联邦学习的概念最初由谷歌在2016年提出,在中国,香港科技大学讲席教授、微众银行首席人工智能官(CAIO)杨强教授算是联邦学习研究第一人。之后包括微众银行、腾讯、平安科技、华为、京东等在内的国内企业和机构推动联邦学习进入了学术研究与行业落地新阶段。

联邦学习之所以能够在如此短的时间里迅速由一个构想变为一门学科,主要因为它可以让参与各方在不披露底层数据的前提下共建模型,之后利用整个数据联邦内的数据资源,提高每个成员的模型表现。

通俗来说,深度学习时代,每个AI企业的技术能力是单打独斗式的;而联邦学习的出现,更为紧密、安全地将各个AI企业联系在了一起,联邦中的每个成员都可以用最快的速度提升自身能力的同时汲取别人的长处,最终获得共同成长。

譬如A厂商有校园数据、B厂商有工厂数据、C厂商有社区数据,且这三家厂商都使用了联邦学习技术。

从业务层面出发,A、B、C这三家厂商便直接获得了两种能力:1、最快速地优化自身业务;2、最快速地拓展新业务。

最快速地优化自身业务表现在,平台每天会有若干个类似A厂商的企业向平台输入加密后的数据模型,而这些数据模型中有A厂商非常缺乏的其他数据信息,而A厂商便可根据这些数据去更新自己的算法模型。

最快速地拓展新业务表现在,A、B、C每家厂商都有各自构建好的模型,通过汇总去得到更大的数据模型,在不流通数据的情况下得到数据流通的最好效果,通过资源互补可以在最短时间内安全地获得对方的能力,去拓展新业务。

从隐私保护层面来看,通常智能摄像头产生的数据会被上传到后台服务器中,然后由部署在服务器上的神经网络模型根据收集到的大量数据进行训练得到一个模型,服务商根据这个模型来为用户提供服务。

这是一种集中式的模型训练方法,这种方式很难保证数据隐私安全。

而联邦学习就不再是让数据发送到后台,而是在每个企业自己的服务器上进行训练,并加密上传训练模型,后台会综合成千上万的用户模型后再反馈给用户改进方案。

相较传统学习模式,联邦学习的优点是显而易见的:

1、在联邦学习的框架下,各参与者地位对等,能够实现公平合作;

2、数据保留在本地,避免数据泄露,满足用户隐私保护和数据安全的需求;

3、能够保证参与各方在保持独立性的情况下,进行信息与模型参数的加密交换,并同时获得成长;

4、建模效果与传统深度学习算法建模效果相差不大;

5、联邦学习是一个「闭环」的学习机制,模型效果取决于数据提供方的贡献。

在传统的方法下,用户只是人工智能的旁观者——使用,但没有参与;而在联邦学习场景下,每个人都是“驯龙高手”,每个人都是人工智能发展的参与者。

纵身一跃:联邦学习已经落地生根


值得一提的是,目前联邦学习已经从概念走进商业世界,而且诞生了一系列基于行业场景的新平台、新应用。

今年9月,微众银行与极视角联手打造了中国首个视觉联邦学习系统。

以视频摄像头中的火焰识别为例,AI工程师们可能千辛万苦训练了一个火焰检测的识别模型,想要用在监控摄像头中,识别是否有燃烧现象,从而对火灾发生的可能性进行分析,实现火灾预警。

原有的AI算法可以比较准确地识别有明显大面积燃烧和明火发生的常见场景。然而,遇到打火机点出的火焰时,摄像头就有些“懵”了。

如果想让模型增强识别能力,传统的AI训练要求适用方能够提供一些数据样本,而这又出现了因网络带宽导致的算法准确率不高及数据隐私等问题。

种种难题前,极视角与微众银行合作,利用联邦学习技术打造了一个计算机视觉模型的“超级市场”。
image

在联邦视觉系统中,依托本地建模,在保证各方数据不出本地的情况下,即可提升AI算法准确率。

在一次公开分享中,微众银行AI部门副总经理陈天健透露,“在‘联邦视觉系统’项目中,通过联邦学习技术,整体模型的性能提升了15%,且模型效果无损失,极大地提升了建模效率。”

AI下半场:技术生态正被重新塑造


安防行业历经两次跨越,从最开始的通用级产品到解决方案,再到内容分析前置,接下来则是平台运营。

未来,安防行业背后是兆亿级别且呈几何式增长的巨大流量入口。

IoT时代,数据处理并非孤岛式,未来智慧城市中的每个人、每个摄像头都是可感知的,而联邦学习可以发挥“群体智能”的力量,进而升级和变革行业。

优化、互补、安全、高效,毫不夸张地说,联邦学习无疑是目前业界出现的最有可能推动AI普惠的技术路线。

它也是AI行业从B2C到C2B模式的一个变革起点,它的成熟发展可以让更多人更低门槛地参与到AI社会的构建。

同时,安防领域的应用还只是联邦学习赋能的冰山一角,未来包括金融、零售、医疗、政务、工业等各行各业、各个场景都可以依据此技术实现降本增效、开源节流。

未来,联邦学习必须生态化。联邦学习的精髓在于互补、在于合作、在于生态。联邦学习正如一个操作系统,一家企业是玩不转的,唯有各方共同参与,才有机会落地生花。

和羹之美,在于合异;上下之益,在能相济。

联邦学习全面赋能之路还很遥远, 而这些已经落地的“种子”,正在一粒粒萌芽、破土,被人们所肯定。

原文发布时间:2019-11-25
本文作者:张栋
本文来自云栖社区合作伙伴“AI科技评论”,了解相关信息可以关注“AI科技评论

相关文章
|
人工智能 自然语言处理 搜索推荐
上下文学习的神奇魔法:轻松理解AI如何无师自通
你有没有想过,为什么给GPT几个例子,它就能学会新任务?这就像魔法一样!本文用轻松幽默的方式解密上下文学习的原理,通过「智能客服训练」场景,带你理解AI如何像人类一样从示例中学习,无需额外训练就能掌握新技能。
457 28
|
12月前
|
存储 人工智能 搜索推荐
一种专为AI代理设计的内存层,能够在交互过程中记忆、学习和进化
Mem0 是专为 AI 代理设计的内存层,支持记忆、学习与进化。提供多种记忆类型,可快速集成,适用于开源与托管场景,助力 AI 代理高效交互与成长。
987 123
一种专为AI代理设计的内存层,能够在交互过程中记忆、学习和进化
|
12月前
|
机器学习/深度学习 人工智能 自然语言处理
迁移学习:让小数据也能驱动AI大模型
迁移学习:让小数据也能驱动AI大模型
530 99
|
数据采集 人工智能 前端开发
AI智能体如何从错误中学习:反思机制详解
探索AI智能体的反思能力:从哲学思考到技术实现,看AI如何像人类一样从错误中学习和成长。通过轻松有趣的方式,深入了解Reflexion和ReAct等前沿框架,掌握让AI更智能的核心秘密。
754 0
|
11月前
|
人工智能 JavaScript 前端开发
GenSX (不一样的AI应用框架)架构学习指南
GenSX 是一个基于 TypeScript 的函数式 AI 工作流框架,以“函数组合替代图编排”为核心理念。它通过纯函数组件、自动追踪与断点恢复等特性,让开发者用自然代码构建可追溯、易测试的 LLM 应用。支持多模型集成与插件化扩展,兼具灵活性与工程化优势。
822 6
|
11月前
|
人工智能 Kubernetes Cloud Native
Higress(云原生AI网关) 架构学习指南
Higress 架构学习指南 🚀写在前面: 嘿,欢迎你来到 Higress 的学习之旅!
3750 1
|
11月前
|
机器学习/深度学习 人工智能 搜索推荐
拔俗AI学伴智能体系统:基于大模型与智能体架构的下一代个性化学习引擎
AI学伴智能体系统融合大模型、多模态理解与自主决策,打造具备思考能力的个性化学习伙伴。通过动态推理、长期记忆、任务规划与教学逻辑优化,实现千人千面的自适应教育,助力因材施教落地,推动教育公平与效率双提升。(238字)
1269 0
|
人工智能 搜索推荐 算法
AI提示词的四种学习姿势:让你的AI像朋友一样懂你
想象一下,你有个超级聪明的AI朋友,但它不知道你想要什么。本文用最轻松的方式告诉你,如何通过四种不同的'教学姿势',让AI秒懂你的需求,从完全不懂到心有灵犀,一步步成为你的最佳拍档!
606 6
|
12月前
|
人工智能 边缘计算 搜索推荐
AI产品测试学习路径全解析:从业务场景到代码实践
本文深入解析AI测试的核心技能与学习路径,涵盖业务理解、模型指标计算与性能测试三大阶段,助力掌握分类、推荐系统、计算机视觉等多场景测试方法,提升AI产品质量保障能力。
|
机器学习/深度学习 人工智能 PyTorch
三周内转型AI工程师学习计划
3周AI转型计划:掌握数学、机器学习与深度学习基础,熟练使用Python、PyTorch/TensorFlow。完成2-3个CV/NLP项目,构建GitHub博客,强化LeetCode刷题与模拟面试。每日高效学习9小时,聚焦实战与面试准备,助力快速入行AI。
961 0

热门文章

最新文章