给5G基带也加上机器学习单元:高通的AI脑洞还有太多

简介: 最先进的人工智能技术,并不总意味着数块 GPU、每秒算力上 E 的超算。

最先进的人工智能技术,并不总意味着数块 GPU、每秒算力上 E 的超算。


应用最广泛的移动芯片上,人们正在使用最先进的 AI 技术。最近,高通再次利用 AI 实现了「突破性的 5G 效能」。


在巴塞罗那举办的 MWC 2022 国际通信展上,高通 CEO 安蒙(Cristiano Amon)发布了全球首款搭载 AI 计算核心的 5G 通信基带骁龙 X70。


图片.png


在显卡、手机 CPU 旁边出现 AI 计算单元之后,现在连通信基带也要专门的 AI 芯片加持了 ,这不仅让人要问:「有必要吗?」


首款搭载 AI 核心的 5G 基带


根据高通官方的表述,骁龙 X70 是高通第 5 代 5G 调制解调器和射频系统,作为全球首款 5G AI 处理器,可以实现包括 10Gbps 5G 下载速度、3.5Gbps 上传速度、更低时延、更强的网络覆盖和能效。

为实现这样的能力,作为一款 5G 基带,骁龙 X70 也搭载了专门的 AI 处理单元,配合整套基于人工智能的优化机制,算法控制的范围涵盖了从毫米波波束管理、天线调谐到网络选择、功耗等所有内容。

image.gif图片.png

骁龙 X70 上的 5G AI、低时延套件和四载波聚合技术可以实现更大范围的网络覆盖、信号质量和低时延。其中,5G AI 套件专为低于 6 GHz 和毫米波 5G 链路的 AI 驱动优化而设计,实现了 AI 辅助信号反馈、动态优化和 AI 辅助毫米波波束管理。


具体来说,在移动通信系统中,终端(手机)需要实时探测信道状态上报基站,基站则在下行调度时为终端选择较合适的调制方式、更好的时频资源。通过 AI 算法的加持,信道状态的预测和反馈将更加精准,基站也能实现更好的动态优化,从而提升通信效率。

图片.pngimage.gif


通过仿真数据可以发现,在突发数据流量情境中,AI 辅助信道状态反馈和优化能够针对小区边缘、中段和中央分别实现 20%、16% 和 24% 的下行吞吐量提升。典型数据流量情境中,AI 算法能让手机在小区边缘获得的下行吞吐量增益达到 26%,中段下行吞吐量增益达 12%。


骁龙 X70 实现了全球首个 AI 辅助毫米波波束管理,算法管理的波束可以智能化地对不确定的环境进行预测,实现更好的网络覆盖与稳定性。


实际应用中,手机通常能接收到多种不同的网络频率。在多频率和不同网络制式的环境下,X70 上的 AI 还可以智能识别和检测不同连接的状态,减少卡顿,提高用户体验。


最后还有 AI 辅助自适应天线调谐,这项技术用来避免「死亡之握」,通过智能侦测握持终端的情况,手机可以实时动态调谐天线。


在新技术加持之下,骁龙 X70 的能效提升了 60%。高通宣布,骁龙 X70 预计于 2022 年下半年开始向客户出样,商用移动终端预计在 2022 年晚些时候面世。


手机芯片只是一小步


人们用 AI 为 5G 增强信号的尝试已不是头一次——在当前骁龙 8 集成的骁龙 X65 上,机器学习算法就可以通过用户握持和使用智能手机的方式动态调整无线接收功率,帮助最大化信号强度。在手机上,我们经常可以看到最先进的人工智能应用。


最近一段时间,小米 12、OPPO Find X5、iQOO 9、荣耀 Magic 4…… 各家手机厂商的新旗舰机型都用上了最新一代高通骁龙 8 移动平台,AI 在其中低调的发挥着强大的作用。


这些新机不仅有更快的充电速度、更好的屏幕,还有不少新功能:如在录音时自动语音转文字、排版区分说话人的 APP,实时为视频增加翻译字幕的翻译机,注视亮屏,隔空手势操作等功能也不再是新奇的概念。


还有更能体现手机智力的技术:在你看信息时,如果前摄像头发现有别人也在盯着屏幕看,手机会自动隐藏通知详情,避免你的泄露隐私。


图片.pngimage.gif

OPPO Find X5 Pro 上,ColorOS 12.1 的部分新功能。


在日常使用处理器性能普遍过剩的情况下,各家手机厂正寻求利用 AI 能力提供更好体验,这些新功能的背后,骁龙 8 的 AI 算力功不可没。


这枚芯片搭载的第 7 代 AI 引擎,将 GPU、Hexagon、CPU 的全部 AI 能力整合在一起,实现了性能翻四倍的表现。另外在第 3 代传感器中枢中还有一个「always on」芯片模块,可以用极低的功耗驱动摄像头 24 小时在线,实现二维码识别、自动唤醒等功能。


手机玩明白了,但高通的想法还远不止于此,在巴塞罗那展会上,CEO 安蒙对公司的「统一技术路线图」进行了分享。


「我们的思考从不限于特定的设备和技术,而是通过互联的力量将多种不同能力推向终端,从机器学习图形处理能力到语音识别能力,再到更高算力需求的自动驾驶领域,」安蒙说道。「在智能云成熟之后,我们需要重新思考端侧设备的智能,而新能力可以让机器理解周围环境,它们拥有很高的算力,能耗也很低。」


图片.png


据统计,全球云计算的年增长率约为 35%,几乎所有设备都有连接云端的需求。


高通早在 2019 年便推出了自己的首款数据中心 AI 推理加速器 Cloud AI 100,目标为工业和商业领域中的边缘推理工作负载,这款芯片在部分任务中推理效率超过了英伟达同级产品。

图片.png


从架构上看,目前的旗舰手机芯片骁龙 8 已有端云互联的新能力:它首发搭载的 ARM v9 指令集是近十年的最大一次更新,在安全性、AI 能力、可伸缩矢量扩展和 DSP 等方面进行了升级,更重要的是,ARM v9 为芯片实现高性能计算做了铺垫。


为满足人们不断膨胀的算力需求,ARM v9 用上了全新 SVE2(可伸缩矢量扩展)指令集,增强了 ARM 架构在高性能计算、5G 网络、虚拟现实、AI 和 DSP 等方面的性能。在手机、电脑、云服务器上的 ARM 芯片,以往虽然看起来都是同样的架构,但却用着不同大小的寄存器。在 ARM v9 上,指令集首次得到了统一,开发者们的应用可以一次编译,在所有设备端运行。


让手机变成云超算?我们或许可以期待在骁龙 8 的手机上,未来会出现一些神奇的应用。


 基于 ARM 架构,高通的 AI 算力目前已经覆盖家庭、工业、智慧城市物联网,端侧设备和自动驾驶,包括 IoT 终端、手机、PC、XR、汽车等等,面向不同场景和终端有不同的算力,同时又互相融合。


图片.png


不止于手机,高通的技术正面向不同应用场景「扩展 AI 性能」 ,先进的通讯技术和更强的端侧算力将重构人工智能应用的形态,在各类终端上,人工智能将无处不在。  


高通的 AI 工程师:发表论文,著书立说


高通的 AI 技术宣传可能并不像英伟达、谷歌那么高调,但却实实在在地出现在我们手上,高通的研究者在学界也有很高的影响力。


近年来,高通 AI Lab 发表的学术论文越来越多,被顶会收录的研究,仅计算机视觉领域的就超过 20 篇。


这些技术被很快应用到了实践中,比如骁龙 8 的新能力,背景虚化 + 面部识别 + 姿态识别 + 手势识别的多神经网络识别,其中面部特征点多达 300 个:


图片.png


该技术来自于计算机视觉顶会 CVPR 2021 收录的一篇论文《Skip-Convolutions for Efficient Video Processing》。


在这篇文章中,高通 AI Lab 提出了名为 Skip-Convolutions(跳跃卷积)的新卷积层,在图像识别神经网络中替代所有常规卷积层后把视频流任务的计算量降低了 3-4 倍,而没有任何精度下降。


算法技术和芯片算力的提升,让骁龙 8 在实时的视频目标检测、图像识别任务中,可以同时跑多个 AI 模型,带来复杂的效果。


前几天 AI 圈内有一个新闻,也多少透露了一点高通在 AI 领域的领先水准。阿姆斯特丹自由大学助理教授、前高通 AI 研究中心研究员 Jakub Tomczak 在推特上公布了全新著作《深度生成模型》的进展,目前这本书已经正式出版。 


图片.png


Tomczak 在高通 AI 研究中心任研究员时,曾在视频压缩和机器学习贝叶斯优化等方面发表过多项研究,被 CVPR、NeurIPS、ICCV 等顶尖学术会议收录。这本书中,他通过结合概率模型和深度学习来处理构建人工智能系统的问题。它超越了典型的预测模型,将监督学习和非监督学习结合在一起。由此产生的范式称为「深度生成模型」,它从生成视角感知周围的世界。


阿姆斯特丹大学机器学习研究主席、也是和高通有更深渊源的前高通技术副总裁 Max Welling 还为这本书写下了序言。《深度生成模型》旨在吸引对该领域感兴趣的学生、工程师和研究人员,还在 GitHub 上开放了相关内容的代码,引来机器学习社区的欢迎。


有学术范的 AI 研究员,创造的新技术才可以改变世界。高通在 AI 领域的故事,还在不断延伸。

相关文章
|
算法 Python
Python高级算法——回溯法(Backtracking)
Python高级算法——回溯法(Backtracking)
975 2
|
5月前
|
机器学习/深度学习 编解码 人工智能
基于昇腾适配数据驱动的全球天气预报模型Fuxi
Fuxi是由复旦大学的研究人员开发的一个基于数据驱动的全球天气预报模型,主要由Cube Embedding、U-Transformer和全连接层构成。Fuxi摒弃了传统复杂的微分方程,转而通过多阶段机器学习架构,可提供15天的全球预报。时间分辨率为6小时,空间分辨率为0.25°。
|
10月前
|
自然语言处理 监控 程序员
本地部署企业级自适应 RAG 应用的方法与实践
本文介绍了本地部署企业级自适应RAG(Adaptive Retrieval-Augmented Generation)应用的方法与实践。RAG结合信息检索与文本生成,广泛应用于问答、编程等领域。自适应RAG通过分类器评估查询复杂度,动态选择无检索、单步检索或多步检索策略,优化生成结果。其特点在于灵活性和适应性,能够根据输入情况调整检索和生成策略。核心技术包括检索策略的自适应、生成策略的自适应以及模型参数的自适应调整。通过实战,深入了解了RAG的工作原理和应用场景,并获得了宝贵经验。
1555 4
|
JSON API 数据格式
淘宝商品评论数据获取:从API调用到应用实践
在电商的世界里,用户评论是洞察商品质量的一扇窗。淘宝,作为中国最大的在线购物平台,其海量的商品评论数据尤为宝贵。本文将带您走进淘宝商品评论数据的获取之旅,从API调用的基础知识到实际应用的代码示例,一探究竟。
简单易操作 VsCoe离线安装插件【步骤+图片+插件】
这篇文章介绍了在Visual Studio Code (VSCode) 中进行离线安装插件的详细步骤,包括如何下载插件、以SVN插件为例的离线安装过程、通过命令行安装以及一个更加简单的离线安装方式,还提供了操作界面的截图帮助理解。
简单易操作 VsCoe离线安装插件【步骤+图片+插件】
|
存储 关系型数据库 分布式数据库
PolarDB有哪些优势?
【5月更文挑战第12天】PolarDB有哪些优势?
566 3
|
算法 计算机视觉
数字图像处理OpenCV——实验三 图像分割实验
实验三 图像分割实验 实验项目名称:图像分割实验 (1) 进一步理解图像的阈值分割方法和边缘检测方法的原理。 (2) 掌握图像基本全局阈值方法和最大类间方差法(otsu法)的原理并编程实现。 (3) 编程实现图像的边缘检测。 编程实现图像阈值分割(基本全局阈值方法和otsu法)和边缘检测。 图像的二值化处理图像分割中的一个主要内容,就是将图像上的点的灰度置为0或255,也就是讲整个图像呈现出明显的黑白效果。用I表示原图,R表示二值化后的图,则二值化的过程可以用以下公式表示: thr表示选取的阈值。二值化的过
629 0
数字图像处理OpenCV——实验三 图像分割实验
|
机器学习/深度学习 自然语言处理 大数据
社交媒体的情感分析大数据模型
构建基于大数据的情感分析模型,利用Python和机器学习处理社交媒体数据。情感分析识别文本情感倾向,助力市场洞察和舆情监控。技术栈包括Python、NLP库(nltk, spaCy, TextBlob, VADER)、Scikit-learn、TensorFlow/PyTorch及大数据工具。数据收集(如Twitter API)、预处理(去除噪声、分词)、特征提取(TF-IDF、词嵌入)、模型训练(逻辑回归、BERT)是关键步骤。模型能捕捉文本情感,支持决策,随着技术进步,应用前景广阔。
1818 10
|
负载均衡 安全 网络安全
|
机器学习/深度学习 算法 决策智能
Python高级算法——遗传算法(Genetic Algorithm)
Python高级算法——遗传算法(Genetic Algorithm)
1307 0