Shashi Kant SM '06 共同创立的 Netra 使用人工智能来帮助公司分类和管理视频内容。

扎克温 | 麻省理工学院新闻办公室

发布日期：

2021 年 5 月 20 日

标题：

Netra 使用人工智能来帮助公司理解和组织他们的视频内容。

学分：

图片：Christine Daniloff，麻省理工学院

    在任何特定时刻，都有成千上万的新视频被发布到 YouTube、TikTok 和 Instagram 等网站。越来越多的视频被录制和直播。但是科技和媒体公司仍然难以理解所有这些内容的内容。

     现在，麻省理工学院校友创立的 Netra 正在使用人工智能来大规模改进视频分析。该公司的系统可以识别活动、对象、情绪、位置等，以新的方式组织视频并提供背景信息。

     公司正在使用 Netra 的解决方案将类似的内容分组到精彩片段或新闻片段中，标记裸体和暴力，并改进广告展示位置。在广告方面，Netra 正在帮助确保视频与相关广告配对，以便品牌可以摆脱跟踪个人的做法，这导致了隐私问题。

     Netra 联合创始人兼首席技术官 Shashi Kant SM 表示：“整个行业正在转向基于内容的广告，或者他们所谓的亲和性广告，而不是基于 cookie 的、基于像素的跟踪，这总是有点令人毛骨悚然。” '06 说。

     Netra 还认为它正在提高视频内容的可搜索性。一旦 Netra 的系统处理了视频，用户就可以使用关键字开始搜索。从那里，他们可以单击结果以查看类似的内容并找到越来越具体的事件。

     例如，Netra 的系统可以处理一个棒球赛季的视频，并帮助用户找到所有单打。通过点击某些剧目看更多类似，他们还可以找到所有几乎出局并导致粉丝愤怒嘘声的单曲。

     “视频是当今最大的信息资源，”康德说。“它在信息丰富度和大小方面使文本相形见绌，但没有人通过搜索触及它。这是最白的空白。”

追求愿景

互联网先驱和麻省理工学院教授蒂姆伯纳斯-李爵士长期以来一直致力于提高机器理解互联网数据的能力。作为一名研究生，康德在伯纳斯-李的指导下进行研究，并受到他改进机器存储和使用信息方式的愿景的启发。

“对我来说，圣杯是信息检索的新范式，”康德说。“我觉得网络搜索仍然是 1.0。甚至 Google 也是 1.0。这就是 Tim Berners-Lee 爵士的语义网络计划的愿景，也是我从那次经历中获得的东西。”

康德还是麻省理工学院 10 万美元创业大赛（当时的麻省理工学院 5 万美元）获胜团队的成员。他帮助编写了名为 Active Joint Brace 的解决方案的计算机代码，这是一种适用于残疾人的机电矫形设备。

2006 年毕业后，康德创办了一家名为 Cognika 的公司，在其解决方案中使用人工智能。人工智能仍然因过度炒作而声名狼藉，因此康德在向投资者和客户推销他的公司时会使用认知计算等术语。

Kant 于 2013 年创立了 Netra，以使用 AI 进行视频分析。如今，他不得不应对炒作范围的另一端，许多初创公司声称他们在解决方案中使用了人工智能。

Netra 试图通过展示其系统来消除炒作。Netra 可以根据不同剪辑中发生的事情快速分析视频并组织内容，包括人们做类似事情、表达类似情绪、使用类似产品等的场景。Netra 的分析为不同的场景生成元数据，但 Kant 说 Netra 的系统提供的不仅仅是关键字标记。

“我们使用的是嵌入，”康德解释说，指的是他的系统如何对内容进行分类。“如果有一个人打出本垒打的场景，就会有一个特定的特征，我们会为此生成一个嵌入。嵌入是一个数字序列或“向量”，它捕捉了一段内容的本质。标签只是人类可读的表示。因此，我们将训练一个模型来检测所有本垒打，但在幕后有一个神经网络，它正在创建该视频的嵌入，并以其他方式将场景与外出或步行区分开来。”

通过定义不同剪辑之间的关系，Netra 的系统允许客户以新的方式组织和搜索他们的内容。媒体公司可以根据球迷的情绪来判断体育赛事中最激动人心的时刻。他们还可以按主题、位置或剪辑是否包含敏感或令人不安的内容对内容进行分组。

这些能力对在线广告有重大影响。代表户外服装公司 Patagonia 等品牌的广告公司可以使用 Netra 的系统将 Patagonia 的广告放置在远足内容旁边。媒体公司可以围绕赞助运动员的剪辑为耐克等品牌提供广告空间。

这些功能正在帮助广告商遵守世界各地的新隐私法规，这些法规对收集个人数据（尤其是儿童）施加了限制。用广告定位特定人群并在网络上跟踪他们也引起了争议。

康德认为，Netra 的人工智能引擎是朝着让消费者更好地控制他们的数据迈出的一步，这是伯纳斯-李长期倡导的想法。

“这不是我的 CSAIL 工作的实施，但我想说的是，我在 CSAIL 所追求的概念想法在 Netra 的解决方案中得到了体现，”Kant 说。

改变信息存储方式

Netra 目前将一些该国最大的媒体和广告公司视为客户。Kant 相信 Netra 的系统有朝一日可以帮助任何人搜索和组织互联网上不断增长的视频内容。为此，他认为 Netra 的解决方案将继续发展。

“自从为 web 1.0 发明搜索以来，搜索并没有太大变化，”康德说。“现在有很多基于链接的搜索。在我看来，链接已经过时了。您不想访问不同的文档。您希望将这些文档中的信息汇总为上下文和可自定义的内容，仅包括您需要的信息。”

康德认为，这种情境化将极大地改善信息在互联网上的组织和共享方式。

“这是关于越来越少地依赖关键字而越来越多地依赖示例，”康德解释说。“比如，在这个视频中，如果沙石发表声明，是因为他是个疯子还是有更多的原因？想象一个系统，它可以说：“另一位科学家说了类似的话来验证该陈述，而这位科学家对那个问题的回答也类似。” 对我来说，这些类型的东西是信息检索的未来，这是我一生的热情。这就是我来到麻省理工学院的原因。这就是为什么我花了十年半的时间在这场人工智能之战中战斗，这就是我将继续做的事情。”