浅谈人工智能芯片(一)-- 深度神经网络和NVidia GPU的崛起
随着人工智能浪潮的兴起,人工智能基础芯片作为主要的计算力推动引擎也越来越受到追捧和热议,这个系列连载会介绍人工智能芯片兴起的背景和现有主要玩家以及研究现状,主要包括NVidia GPU、Google的TPU、Intel的Nervana、IBM的TreueNorth、微软的DPU和BrainWave、百度的XPU、Xilinx的xDNN、寒武纪芯片、地平线以及深鉴科技的AI芯片等。
浅析GPU通信技术(上)-GPUDirect P2P
1. 背景
GPU在高性能计算和深度学习加速中扮演着非常重要的角色, GPU的强大的并行计算能力,大大提升了运算性能。随着运算数据量的不断攀升,GPU间需要大量的交换数据,GPU通信性能成为了非常重要的指标。
Schedulerx2.0分布式计算原理&最佳实践
1. 前言
Schedulerx2.0的客户端提供分布式执行、多种任务类型、统一日志等框架,用户只要依赖schedulerx-worker这个jar包,通过schedulerx2.0提供的编程模型,简单几行代码就能实现一套高可靠可运维的分布式执行引擎。
浅析GPU通信技术(中)-NVLink
1. 背景
上一篇文章《浅析GPU通信技术(上)-GPUDirect P2P》中我们提到通过GPUDirect P2P技术可以大大提升GPU服务器单机的GPU通信性能,但是受限于PCI Expresss总线协议以及拓扑结构的一些限制,无法做到更高的带宽,为了解决这个问题,NVIDIA提出了NVLink总线协议。
C/C++中榨干硬件性能的N种并行姿势初探
# 1. 前言
关于并行计算介绍参见
https://computing.llnl.gov/tutorials/parallel_comp/
下面主要就部分单进程中常见的几种并行优化技术和相应的框架做一些简单的整理和分析对比,并且主要偏重于端,不涉及多节点多进程!
# 2. 并行计算结构分类
目前常见的是分类方法主要是Flynn提出的经典分类法:根据指令流(单指令或多指令
GPU高级调试与优化
GPU的历史很短,只有十几年。但它发展迅猛,凭借强大的并行计算能力和高效率的固定硬件单元,在人工智能、区块链、虚拟和增强现实(VR/AR)、3D游戏和建模、视频编解码等领域大显身手。而且这种趋势还在延续,基于GPU的应用和创新势头正猛。