Hinton等谈深度学习十年;PyTorch落地Linux基金会的影响;机器学习界的“GitHub”|AI系统前沿动态

简介: Hinton等谈深度学习十年;PyTorch落地Linux基金会的影响;机器学习界的“GitHub”|AI系统前沿动态

1.png

  1. 重磅!PyTorch落地Linux基金会

扎克伯格亲自宣布,PyTorch基金会已新鲜成立,并归入Linux基金会旗下,管理委员会成员,包括Meta、AMD、AWS、谷歌云、微软和英伟达。Meta表示,PyTorch成功背后的驱动力,是开源社区充满活力的持续增长。成立基金会将确保社区成员以透明和公开的方式作出决定。
链接:
mp.weixin.qq.com/s/832JBlOlJ…
www.reddit.com/r/MachineLe…

  1. 深度学习十年后撞墙了?Hinton、LeCun、李飞飞不这么认为

10 年后,如今已经成为图灵奖得主的 Geoffrey Hinton、Yann LeCun,ImageNet 挑战赛的主要发起人与推动者李飞飞如何看待过去十年的 AI 技术突破?又对接下来十年的技术发展有什么判断?近日,海外媒体 VentureBeat 的一篇专访文章,让 AI 社区开始讨论起这些问题。
链接:
mp.weixin.qq.com/s/ijsyATtxD…

  1. TensorFlow 2.10上线:Windows上扩展GPU支持,TF-DF 1.0发布

新版本的亮点包括:Keras 中新的用户友好特性、Windows 中扩展 GPU 支持等等。此版本还标志着 TensorFlow 决策森林 (TF-DF) 1.0 版本的到来!
链接:
mp.weixin.qq.com/s/UYg3-lTK9…

  1. 提速还能不掉点!深度解析MegEngine 4 bits量化开源实现

量化模型被广泛使用在推理侧,量化也成为了一个重要且非常活跃的研究领域。近期,MegEngine开源了4 bits的量化的相关内容,通过MegEngine 4 bits量化实现的ResNet-50模型在 ImageNet 数据集上的精度表现与 8 bits 量化模型相差无几,并且速度是TensorRT-v7 8 bits ResNet-50模型的推理速度的1.3倍。
链接:
zhuanlan.zhihu.com/p/565121111

  1. 视频教程|OneFlow源码解析(1):分布式易用性

本视频介绍 OneFlow 如何通过发明的 SBP 及 placment 概念,简化分布式训练流程。从 SBP 的角度,可以更接近本质地理解数据并行、模型并行策略。
链接:
www.bilibili.com/video/BV1va…

  1. Groq:从头设计一个张量流式处理器架构

不同于传统的CPU和GPU架构,Groq从头设计了一个张量流处理器 (TSP) 架构, 以加速人工智能、机器学习和高性能计算中的复杂工作负载。这个架构不是开发小型可编程内核并对其进行数百次复制,而是容纳一个具有数百个功能单元的单个处理器。
链接:
mp.weixin.qq.com/s/bmhFLsdga…

  1. SIMT、SIMD和DSA(1)

选DSA还是SIMT目前也是AI芯片最重要的架构选择问题,但选哪个都是一大堆具体概念和设计的集合。我们还是需要深入进去剖析两者好到底好在哪里。
链接: zhuanlan.zhihu.com/p/562135333

  1. GPU内存(显存)的理解与基本的使用

GPU显存的组成与CPU的内存架构类似,但为了满足并行化运算GPU的显存做了特殊设计,与之相关的概念很多如host memory、device memory、L1/L2 cache、register、texture、constant、shared memory、global memory等,还会涉及一些硬件概念DRAM、On/Off chip memory,还涉及到一些操作如pin memory,zero copy等。本文试图帮助了解这些显存相关的概念,包括一些特殊存储作用是什么,性能如何以及在CUDA中怎么用。
链接:
zhuanlan.zhihu.com/p/462191421

  1. CUDA SGEMM矩阵乘法优化笔记:从入门到cublas

最近开始入门CUDA,初步了解GPU的工作原理后,选择了单精度矩阵乘法作为练习的kernel,尝试从最简单的SGEMM kernal开始,逐步优化到cublas的性能水平。
链接:
zhuanlan.zhihu.com/p/518857175

  1. 如何利用TVM快速实现超越Numpy的GEMM

本文主要讲述如何利用TVM实现超越Numpy GEMM,有人在看了《How to optimize GEMM on CPU》以后说TVM还是没有超越Numpy的性能,是不是无法做到,于是作者写这篇文章来阐述我们如何在这个基础上做到超越。
链接:
zhuanlan.zhihu.com/p/75203171;
tvm.apache.org/docs/how_to…

  1. 一个tvm(te)实现的cutlass efficient gemm

这里记录的是从tvm的tensor expression出发,参考cutlass efficient gemm的思路,一步一步优化一下GEMM的一些思考,目的是为了理解cutlass优化gemm的思路。
链接:
zhuanlan.zhihu.com/p/560729749

  1. 视频教程|TVM 学习指南介绍(前端部分)

链接:
mp.weixin.qq.com/s/rB8qYp_5W…

  1. 扩散模型爆火,这是首篇综述与Github论文分类汇总

本综述(Diffusion Models: A Comprehensive Survey of Methods and Applications)首次对现有的扩散生成模型(diffusion model)进行了全面的总结分析,从 diffusion model 算法细化分类、和其他五大生成模型的关联以及在七大领域中的应用等方面展开,最后提出了 diffusion model 的现有 limitation 和未来的发展方向。
链接:mp.weixin.qq.com/s/GcL4_zgbW…

  1. Hugging Face:成为机器学习界的“Github”

五年前,AI领域的知名研究者Andrej Karpathy发文称,传统人工编程属于“软件1.0”,“软件2.0”时代将以神经网络来编程,在这个过渡过程中,将涌现像GitHub这样的重量级平台。AI届网红公司“抱抱脸(Hugging Face)”有志于成为“软件2.0”时代的GitHub。在Hugging Face上,用户可以托管机器学习模型和数据集等,对它们进行共享、协作和评价,最后将它们投入生产应用,这种模式有点像Github上的托管和协作模式。
链接:
mp.weixin.qq.com/s/_2DVu1_zZ…

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
2月前
|
机器学习/深度学习 人工智能 算法
机器学习与深度学习:差异解析
机器学习与深度学习作为两大核心技术,各自拥有独特的魅力和应用价值。尽管它们紧密相连,但两者之间存在着显著的区别。本文将从定义、技术、数据需求、应用领域、模型复杂度以及计算资源等多个维度,对机器学习与深度学习进行深入对比,帮助您更好地理解它们之间的差异。
|
2月前
|
人工智能 安全 PyTorch
SPDL:Meta AI 推出的开源高性能AI模型数据加载解决方案,兼容主流 AI 框架 PyTorch
SPDL是Meta AI推出的开源高性能AI模型数据加载解决方案,基于多线程技术和异步事件循环,提供高吞吐量、低资源占用的数据加载功能,支持分布式系统和主流AI框架PyTorch。
107 10
SPDL:Meta AI 推出的开源高性能AI模型数据加载解决方案,兼容主流 AI 框架 PyTorch
|
2月前
|
人工智能 PyTorch 算法框架/工具
【AI系统】动手实现 PyTorch 微分
本文介绍了使用操作符重载(OO)编程方式实现的自动微分,特别是采用反向模式(Reverse Mode)的实现方法。文中详细解释了操作符重载的基本概念及其在自动微分中的应用,以及反向模式的工作原理。通过 Python 示例代码,演示了如何手动实现类似 PyTorch 中自动微分的核心机制,包括定义 `Variable` 类、`Tape` 结构以及实现基本的数学运算符重载。最后,通过一个具体的数学函数示例展示了如何利用上述机制计算梯度,帮助读者理解反向模式自动微分的全过程。
58 1
【AI系统】动手实现 PyTorch 微分
|
2月前
|
机器学习/深度学习 人工智能 算法
探索机器学习:从线性回归到深度学习
本文将带领读者从基础的线性回归模型开始,逐步深入到复杂的深度学习网络。我们将通过代码示例,展示如何实现这些算法,并解释其背后的数学原理。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的见解和知识。让我们一起踏上这段激动人心的旅程吧!
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
揭秘深度学习中的自注意力机制及其在现代AI应用中的革新
揭秘深度学习中的自注意力机制及其在现代AI应用中的革新
|
3月前
|
机器学习/深度学习 自然语言处理 语音技术
探索机器学习中的深度学习模型:原理与应用
探索机器学习中的深度学习模型:原理与应用
91 0
|
3月前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Flask框架,开发网页端操作平台,实现用户上传一张图片识别其名称。
179 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
|
3月前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
125 3
|
3月前
|
机器学习/深度学习 人工智能 算法
AI在医疗:深度学习在医学影像诊断中的最新进展
【10月更文挑战第27天】本文探讨了深度学习技术在医学影像诊断中的最新进展,特别是在卷积神经网络(CNN)的应用。文章介绍了深度学习在识别肿瘤、病变等方面的优势,并提供了一个简单的Python代码示例,展示如何准备医学影像数据集。同时强调了数据隐私和伦理的重要性,展望了AI在医疗领域的未来前景。
157 2
|
3月前
|
安全 搜索推荐 机器学习/深度学习
AI赋能教育:深度学习在个性化学习系统中的应用
【10月更文挑战第26天】在人工智能的推动下,个性化学习系统逐渐成为教育领域的重要趋势。深度学习作为AI的核心技术,在构建个性化学习系统中发挥关键作用。本文探讨了深度学习在个性化推荐系统、智能辅导系统和学习行为分析中的应用,并提供了代码示例,展示了如何使用Keras构建模型预测学生对课程的兴趣。尽管面临数据隐私和模型可解释性等挑战,深度学习仍有望为教育带来更个性化和高效的学习体验。
255 0

热门文章

最新文章