AI芯片

首页 标签 AI芯片
# AI芯片 #
关注
1345内容
分拆松果组建大鱼半导体,小米能否捕到IoT大鱼
4月2日,小米对旗下子公司松果电子团队进行重组,将松果的部分团队分拆组建新公司南京大鱼半导体,小米持有新公司25%的股份,团队持股75%。显然,大鱼半导体未来还将独立融资。分拆之后,南京大鱼半导体将专注于半导体领域的IoT芯片与解决方案的研发,松果则继续研发手机SoC芯片和AI芯片。
全面解析 | 大模型时代如何利用弹性计算服务应对大算力挑战
2023年6月20日,阿里云弹性计算团队与智东西公开课联合出品的系列课程「阿里云弹性计算技术公开课」正式播出,阿里云弹性计算产品专家张新涛作为该系列课程首位主讲人,带来了主题为《大模型时代如何应对大算力挑战》的课程分享,本次课程也在阿里云官网、钉钉视频号、阿里云官方视频号、阿里云开发者视频号、阿里云创新中心直播间&视频号等多平台同步播出。
【AI系统】谷歌 TPU v3 POD 形态
TPU v3 是 TPU v2 的增强版,主要改进包括:MXU 数量翻倍至 4 个,时钟频率提升 30%,内存带宽扩大 30%,容量翻倍,芯片间带宽增加 30%,可连接节点数增至 4 倍。TPU v3 通过采用水冷系统,不仅提高了功率,还优化了温度管理,显著提升了计算能力和能效。TPU v3 Pod 由 1024 个 TPU v3 组成,算力达 100 PFLOPS,适用于大规模神经网络训练。
首个全球AI出口管制规则出台,中国AI路在何方?
在CES 2025上,英伟达宣布Blackwell芯片全面投产,GB200芯片为大语言模型推理带来30倍性能提升,成本和能耗降低25倍。然而,1月13日白宫公布的“临时最终规则”对AI芯片出口进行严格限制,引发市场悲观情绪。新规将全球分为三级,中国大陆被列为Tier 3,面临先进芯片进口禁令和模型权重管控,加剧了中国AI产业的挑战。尽管如此,华为云、科大讯飞等企业通过自主创新,如昇腾AI云服务,提供了稳定可靠的算力解决方案,展现了中国科技企业的韧性和创新精神,推动大模型生态的发展。
NSA推理在昇腾芯片上的一种亲和实现方案
本文提出昇腾AI芯片上NSA推理的亲和优化方案:①创新设计稀疏系数矩阵,将compress中importance score计算转为高效矩阵乘,实现online softmax,耗时从200μs降至80+μs;②融合无依赖的select与sliding算子,消除约40μs开销。综合加速比达8.8×,逼近理论极限11.6×。(239字)
揭秘A100、A800、H800、V100在高性能计算与大模型训练中的地位
英伟达前段时间发布GH 200包含 36 个 NVLink 开关,将 256 个 GH200 Grace Hopper 芯片和 144TB 的共享内存连接成一个单元。除此之外,英伟达A100、A800、H100、V100也在大模型训练中广受欢迎。
免费试用