AI大咖说-李飞飞高徒/特斯拉前AI总监出的最新AI课程
今天要推荐一位AI界的大神Andrej Karpathy的几门大模型的开源项目和课程，希望对你有帮助
1.Andrej Karpathy生平
Andrej Karpathy，全名为安德烈·卡帕西，是一位斯洛伐克裔加拿大计算机科学家，以其在人工智能、深度学习和计算机视觉领域的杰出贡献而闻名。以下是他的生平和简历的详细介绍：
生平：
- 出生年份与地点：Andrej Karpathy于1986年10月23日出生于斯洛伐克，15岁那年举家迁至加拿大。
- 教育背景：
- 2005-2009年：在加拿大多伦多大学本科学习，主修计算机科学与物理，辅修数学。
- 2009-2011年：在加拿大不列颠哥伦比亚大学攻读硕士学位，研究物理模拟中用于敏捷机器人的机器学习。
- 2011-2016年：在斯坦福大学攻读博士学位，师从著名AI学者李飞飞，专注于研究卷积/循环神经网络以及它们在计算机视觉、自然语言处理和交叉领域的应用。
职业经历：
- 谷歌实习：
- 2011年：在谷歌大脑实习，致力于视频领域的大规模无监督学习。
- 2013年：再次在谷歌研究院实习，从事YouTube视频的大规模监督学习。
- 2015年：在DeepMind实习，参与深度强化学习团队的工作。
- 斯坦福大学教学：在斯坦福大学期间，他设计并担任了斯坦福首个深度学习课程《CS231n：卷积神经网络与视觉识别》的主要讲师，该课程至今仍被认为是互联网上最为出色的深度学习课程之一。
- 特斯拉：
- 2017年6月：加入特斯拉，担任人工智能主管，领导Autopilot以及整个特斯拉自动/辅助驾驶技术项目的研发。
- 2022年7月：从特斯拉离职。
- OpenAI：
- 2023年2月：二度回任OpenAI要职。
- 目前OpenAI已经从OPENAI离职，开启新的工作，专门研究深度学习和计算机视觉。
其他成就与贡献：
- 他是人工智能研究组织OpenAI的创始成员。
- 在深度学习和计算机视觉领域发表了多篇重要论文，对推动该领域的发展做出了显著贡献。
- 2024年6月，投资了AI视频生成创业公司Pika Labs。
Andrej Karpathy的职业生涯充满了对人工智能技术的热情和追求，他的贡献不仅推动了深度学习领域的发展，也为自动驾驶、机器人等前沿领域的技术进步提供了有力支持。
2.Let's build GPT: from scratch, in code, spelled out
Let's build GPT 介绍了从头开始训练GPT的小型版本的开源项目，有代码和视频讲解。
这是一个专为训练和微调中等规模的GPT模型而设计的超级简单、超快速的存储库。它其实是minGPT的一个升级版，更注重实用性。虽然还在不断开发中，但现在的train.py文件已经能在OpenWebText数据集上重现GPT-2（124M）模型了。你只需要在一个8XA100 40GB的节点上跑大约4天的训练时间就可以了。代码非常简洁，一读就懂。具体来说，train.py文件就300来行代码，定义了一个基本的训练循环；而model.py文件也是300多行，定义了GPT模型的结构，还可以选择从OpenAI那里加载GPT-2的预训练权重。这样你就能轻松开始你的GPT项目了。
- https://www.bilibili.com/video/BV1CP41147Cw/?spm_id_from=333.337.search-card.all.click
- https://www.youtube.com/watch?v=kCc8FmEb1nY
- https://github.com/karpathy/nanoGPT
3. llm.c
这个项目用c来实现一个完整的大语言模型，对于学习模型推理大有益处。
告别繁重的PyTorch和cPython，拥抱纯粹的C/CUDA大型语言模型（LLMs）！
我们的存储库直接采用简洁高效的C/CUDA语言，无需加载245MB的PyTorch或107MB的cPython，让你轻松搭建大型语言模型。
目前，我们的重点是预训练，特别是重现GPT-2和GPT-3这样的经典系列模型！ 为了让大家更容易上手，我们还提供了一个并行的PyTorch参考实现train_gpt2.py。这个文件其实是我之前项目nanoGPT的升级版，你会一眼就认出来的。
速度方面，我们的llm.c已经超越了PyTorch Nightly，快了大约7%！ 不仅如此，我们还提供了一个简单的CPU fp32参考实现，全部代码仅一个文件train_gpt2.c，清晰易懂，大约1000行代码。
我们的目标是保持存储库的纯粹性，只维护C和CUDA代码。 当然，如果你希望在其他语言中实现，我们非常欢迎，但请在其他存储库中完成。我们会在“值得注意的分支”部分提供链接。
4. LLM101n: Let's build a Storyteller
在这门课程中，我们将构建一个Storyteller AI大型语言模型（LLM）。在此过程中，你将能够使用AI来创作、精炼和描绘小故事。我们将从头开始，从基础到构建一个类似于ChatGPT的实用Web应用，全程使用Python、C和CUDA进行开发，且对计算机科学背景知识的要求极低。课程结束时，你应该对AI、LLM以及更广泛的深度学习有一个相对深入的理解。
