AI大咖说-李飞飞高徒/特斯拉前AI总监出的最新AI课程

简介: 今天要推荐一位AI界的大神Andrej Karpathy的几门大模型的开源项目和课程,希望对你有帮助【7月更文挑战第1天】

AI大咖说-李飞飞高徒/特斯拉前AI总监出的最新AI课程

今天要推荐一位AI界的大神Andrej Karpathy的几门大模型的开源项目和课程,希望对你有帮助

1.Andrej Karpathy生平

Andrej Karpathy,全名为安德烈·卡帕西,是一位斯洛伐克裔加拿大计算机科学家,以其在人工智能、深度学习和计算机视觉领域的杰出贡献而闻名。以下是他的生平和简历的详细介绍:

生平

  • 出生年份与地点:Andrej Karpathy于1986年10月23日出生于斯洛伐克,15岁那年举家迁至加拿大。
  • 教育背景
    • 2005-2009年:在加拿大多伦多大学本科学习,主修计算机科学与物理,辅修数学。
    • 2009-2011年:在加拿大不列颠哥伦比亚大学攻读硕士学位,研究物理模拟中用于敏捷机器人的机器学习。
    • 2011-2016年:在斯坦福大学攻读博士学位,师从著名AI学者李飞飞,专注于研究卷积/循环神经网络以及它们在计算机视觉、自然语言处理和交叉领域的应用。

职业经历

  • 谷歌实习
    • 2011年:在谷歌大脑实习,致力于视频领域的大规模无监督学习。
    • 2013年:再次在谷歌研究院实习,从事YouTube视频的大规模监督学习。
    • 2015年:在DeepMind实习,参与深度强化学习团队的工作。
  • 斯坦福大学教学:在斯坦福大学期间,他设计并担任了斯坦福首个深度学习课程《CS231n:卷积神经网络与视觉识别》的主要讲师,该课程至今仍被认为是互联网上最为出色的深度学习课程之一。
  • 特斯拉
    • 2017年6月:加入特斯拉,担任人工智能主管,领导Autopilot以及整个特斯拉自动/辅助驾驶技术项目的研发。
    • 2022年7月:从特斯拉离职。
  • OpenAI
    • 2023年2月:二度回任OpenAI要职。
    • 目前OpenAI已经从OPENAI离职,开启新的工作,专门研究深度学习和计算机视觉。

其他成就与贡献

  • 他是人工智能研究组织OpenAI的创始成员。
  • 在深度学习和计算机视觉领域发表了多篇重要论文,对推动该领域的发展做出了显著贡献。
  • 2024年6月,投资了AI视频生成创业公司Pika Labs。

Andrej Karpathy的职业生涯充满了对人工智能技术的热情和追求,他的贡献不仅推动了深度学习领域的发展,也为自动驾驶、机器人等前沿领域的技术进步提供了有力支持。

2.Let's build GPT: from scratch, in code, spelled out

Let's build GPT 介绍了从头开始训练GPT的小型版本的开源项目,有代码和视频讲解。

这是一个专为训练和微调中等规模的GPT模型而设计的超级简单、超快速的存储库。它其实是minGPT的一个升级版,更注重实用性。虽然还在不断开发中,但现在的train.py文件已经能在OpenWebText数据集上重现GPT-2(124M)模型了。你只需要在一个8XA100 40GB的节点上跑大约4天的训练时间就可以了。代码非常简洁,一读就懂。具体来说,train.py文件就300来行代码,定义了一个基本的训练循环;而model.py文件也是300多行,定义了GPT模型的结构,还可以选择从OpenAI那里加载GPT-2的预训练权重。这样你就能轻松开始你的GPT项目了。

3. llm.c

这个项目用c来实现一个完整的大语言模型,对于学习模型推理大有益处。

告别繁重的PyTorch和cPython,拥抱纯粹的C/CUDA大型语言模型(LLMs)!
我们的存储库直接采用简洁高效的C/CUDA语言,无需加载245MB的PyTorch或107MB的cPython,让你轻松搭建大型语言模型。
目前,我们的重点是预训练,特别是重现GPT-2和GPT-3这样的经典系列模型! 为了让大家更容易上手,我们还提供了一个并行的PyTorch参考实现train_gpt2.py。这个文件其实是我之前项目nanoGPT的升级版,你会一眼就认出来的。
速度方面,我们的llm.c已经超越了PyTorch Nightly,快了大约7%! 不仅如此,我们还提供了一个简单的CPU fp32参考实现,全部代码仅一个文件train_gpt2.c,清晰易懂,大约1000行代码。
我们的目标是保持存储库的纯粹性,只维护C和CUDA代码。 当然,如果你希望在其他语言中实现,我们非常欢迎,但请在其他存储库中完成。我们会在“值得注意的分支”部分提供链接。

4. LLM101n: Let's build a Storyteller

yyq-2024-06-23-15-18-10.png

在这门课程中,我们将构建一个Storyteller AI大型语言模型(LLM)。在此过程中,你将能够使用AI来创作、精炼和描绘小故事。我们将从头开始,从基础到构建一个类似于ChatGPT的实用Web应用,全程使用Python、C和CUDA进行开发,且对计算机科学背景知识的要求极低。课程结束时,你应该对AI、LLM以及更广泛的深度学习有一个相对深入的理解。

yyq-2024-06-23-15-20-38.png

目录
相关文章
|
1天前
|
人工智能 自然语言处理 前端开发
openai 12天发布会收官 | AI大咖说
OpenAI这12天的发布会,并没有太多特别令人惊喜的内容,可能是前面的惊喜太多了。更多的是,让ChatGPT越来越侧重参与现实中的应用,真正赋能改变生活,包括projects项目管理,canvas文档写作,接入电话,接入ios,接入桌面,接入搜索,以及chatGPT桌面和更多应用的交互。 以及更多的多模态的延展,视觉vision,语音,视频sora。 在最后收官中,宣布新一代的O3和O3-mini更强的推理模型
54 11
|
9天前
|
人工智能 自然语言处理 前端开发
OpenAI 12天发布会全解析 | AI大咖说
OpenAI近日宣布将在12个工作日内每天进行一场直播,展示一系列新产品和样品。首日推出GPT-o1正式版,性能大幅提升;次日展示Reinforcement Fine-Tuning技术,提高模型决策质量;第三天推出Sora,实现高质量视频生成;第四天加强Canvas,提升多模态创作效率;第五天发布ChatGPT扩展功能,增强灵活性;第六天推出ChatGPT Vision,实现多模态互动;第七天推出ChatGPT Projects,优化项目管理。这些新技术正改变我们的生活和工作方式。
681 9
|
1月前
|
机器学习/深度学习 人工智能 数据可视化
何恺明CV课程 | AI大咖说
麻省理工学院(MIT)电气工程与计算机科学系(EECS)副教授何恺明开设了两门精彩课程:“Advance in Computer Vision”和“Deep Generative Models”。何恺明是计算机视觉和深度学习领域的杰出科学家,曾提出深度残差网络(ResNet)等重要成果。这两门课程不仅涵盖了最新的研究前沿,还由何恺明亲自授课,内容涉及卷积神经网络、生成对抗网络、变分自编码器等,是学习计算机视觉和生成模型的宝贵资源。
73 8
|
2月前
|
人工智能 算法 前端开发
首个 AI 编程认证课程上线!阿里云 AI Clouder 认证:基于通义灵码实现高效 AI 编码
为了帮助企业和开发者更好使用通义灵码,阿里云上线了“AI Clouder 认证课程--基于通义灵码实现高效 AI 编码”。本课程汇聚了后端、前端、算法领域 5 名实战派专家,带你体验 4 大研发场景实践,上手 3 大实操演练,深度掌握智能编码助手通义灵码,实现全栈 AI 编码技能跃升。
|
2月前
|
机器学习/深度学习 人工智能 安全
AI攻克132年的未解之谜 | AI大咖说
本文探讨了AI在数学证明和自然科学研究中的最新进展,特别是AI成功找到新的李雅普诺夫函数,解决了132年的数学难题。文中介绍了李雅普诺夫函数的重要性,AI如何通过Transformer模型实现高准确率的预测,并讨论了AI在数学和自然科学领域的广泛应用及未来挑战。【10月更文挑战第9天】
113 1
|
2月前
|
人工智能 算法 前端开发
首个 AI 编程认证课程上线!阿里云 AI Clouder 认证:基于通义灵码实现高效 AI 编码
为了帮助企业和开发者更好使用通义灵码,阿里云上线了“AI Clouder 认证课程--基于通义灵码实现高效 AI 编码”。本课程汇聚了后端、前端、算法领域 5 名实战派专家,带你体验 4 大研发场景实践,上手 3 大实操演练,深度掌握智能编码助手通义灵码,实现全栈 AI 编码技能跃升。
|
2月前
|
机器学习/深度学习 人工智能 大数据
看看AI大佬都开了什么公司 | AI大咖说
看看AI大佬都开了什么公司 【10月更文挑战第6天】
150 1
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
2024外滩大会 AI+ | AI大咖说
2024年外滩大会在上海黄浦世博园区成功举办,主题为“科技·创造可持续未来”。大会汇聚了众多AI领域的专家、学者和企业代表,共同探讨AI技术的最新进展及其应用前景。中国工程院院士王坚和未来学家凯文·凯利的发言尤为引人注目。王坚强调了AI、AI+和AI基础设施的重要性,并指出ChatGPT的成功在于其平台化思维。凯文·凯利则讨论了AI时代下的全球文化和劳动力变化,预测金融和医疗行业将率先受益于AI技术。大会还展示了多项AI成果,包括智能仿生手、AI生活管家等,展现了AI技术的广泛应用和未来潜力。
80 16
|
2月前
|
机器学习/深度学习 存储 人工智能
2024年诺贝尔奖:AI科学家的辉煌时刻 | AI大咖说
在今年的诺贝尔物理学奖和化学奖颁奖典礼上,AI科学家分别摘得了这两项殊荣,这无疑为AI技术的发展和应用注入了新的动力【10月更文挑战第5天】
84 0
|
3月前
|
人工智能 自然语言处理 vr&ar
【通义】AI视界|“AI教母”李飞飞创业公司World Labs获2.3亿美元融资!
本文介绍了最新的科技动态,包括谷歌推出的DataGemma模型,通过真实世界统计数据减少模型幻觉;美国科技巨头与拜登团队会面讨论AI基础设施需求;Midjourney 7.0版本即将发布,引入3D系统提供沉浸式体验;李飞飞的World Labs获2.3亿美元融资,开发大型世界模型;苹果iPhone 16全系配备8GB内存,支持AI功能。更多内容请访问通义官网体验。