今天要去清华听LeCun演讲?你需要这份笔记(另附:视频+PPT)

简介:
本文来自AI新媒体量子位(QbitAI)

 这张票有点抢手

早就没票了。

今天下午,Facebook人工智能研究院院长Yann LeCun,将在清华大礼堂主讲一场两个小时的讲座,题目是《深度学习与人工智能的未来》。

如何优雅的听好LeCun的分享?

当然是提前预习。还能预习?当然,其实可以把LeCun的演讲当成一个巡演。很少有明星在巡演的过程中发表全新的主打歌,这放在人工智能领域也一样。

同理,LeCun这次不可能在清华发表一次全新的分享。所以,如果能事先预习一下,对于在现场理解和学习肯定是大大的加成。

去哪儿找预习的内容?

别担心,量子位都给你准备好了。我们不单给你找到了LeCun此前同题分享的视频,而且还找到了一份高质量的学习笔记……贴心不?

这个笔记的作者Valerian Saliou,是Crisp公司的CTO,也是一个全栈工程师。这份《听LeCun分享后有感》的笔记,发布于去年10月27日。

哪怕你没搞到票,现在也不用着急了。因为LeCun要讲的主体思想(为什么感觉这个词怪怪的)是一致的。视频和笔记,这里都齐了。

当然能去现场最好,有票不去的同学,可以把票转给量子位……

视频

好吧,先把视频放出来。我们顺便也把YouTube自动配的英文字幕下载了,有需要的同学,可以在量子位微信公众号( ID:QbitAI )对话界面,回复“字幕”两个字即可获得。


笔记

然后,笔记的环节来了。再次感谢Valerian Saliou。

感知器:第一个学习机器

  ■ 我们今天使用的机器学习算法是感知器的后代

  ■ 加权总和,误差校正

   · 如果输出太低,增加所有输入为正的权重,并减少所有输入为负的权重

   · 如果输出太大,那就反过来做

  ■ 监督学习

   · 一个训练集

   · 一些例子,如果机器出错(或正确),你得调整权重

   · 模式识别的标准模型,从50年代至今都是“the only model in town”

   · 监督机器学习=功能优化

   · 随机梯度下降,意即针对某一案例,给予机器期望的答案并调整超参数,使得误差减小

   · 如何构建复杂的机器?如何推而广之,例如图像识别

  ■ 深度学习系统

   · 有数以亿计的“旋钮”

   · 每个识别需要数十亿次操作(输入到输出),所以使用GPU,而不是CPU

   · 搭建深度学习系统,不是单一模块,而是级联的模块

     1、特征提取器

     2、中级特征

     3、高级特征

     4、可训练分类器

   · 所有层(即模块)均可训练

   · 深度学习中深度的意思是有很多层

   · 图像由图案/对象组成,继续分解为各个部分,继续分解为像素

     · 低级特征探测像素

     · 中级特征探测部分

     · 高级特征探测图案/对象

   · 不仅对图像有效,还能用于文本、语音等。让世界变得可理解

   · 大脑的新皮层也是分层的

     · 中脑腹侧/识别路径也有很多层

     · 非常快(识别对象的过程需要不到100ms)

     · 反馈和推理对解释日常对象的影响非常小

多层神经网络

  ■ 反向传播算法

  ■ 用向量乘以矩阵

  ■ 阈值操作(非线性),例如:ReLU(x) = max(x,0)

  ■ 每个单元计算其输入的加权和

  ■ 加权和通过非线性函数传递

  ■ 学习的算法改变权重

  ■ 如何训练?

    · 使用反向传播算法

    · 框架:Torch,TensorFlow,Theano等

    · 雅可比矩阵(包含所有偏导数输出)

    · 将梯度乘以雅可比矩阵

  ■ ReLU:修正线性单元

卷积神经网络

  ■ 缩写:ConvNets或CNN

  ■ 网络中有两种层

    · 卷积

    · 池化

  ■ 针对AI工作的改进

    · ImageNet数据集,具有120万个标记的训练样本和1000个类别

    · NVIDIA CUDA,万亿op/s

    · 卷积的网络获取信任,然后人们都转向ConvNets

  ■  极深卷积网络架构

    · VGG

    · GoogLeNet

    · ResNet

  ■ 使用极深卷积网络

    · 解释图片

    · 人脸识别

    · 分类+定位(多尺度滑动窗口),用于识别人体在图片上的姿势

    · Big Sur:Facebook的深度学习引擎,由一堆GPU组成

     (量子位注:现在升级成Big Basin了,见报道

    · 由于最近有更多人研究深度学习,所以进步加快了

可微分内存

生成对抗网络

  ■ DCGAN:https://[github.com/Newmu/dcgan_code](http://github.com/Newmu/dcgan_code)

P.S. 还有一份补充材料送给同学们:《LeCun详解预测学习:一小时视频+84页PPT

欢迎加量子位小助手的微信:qbitbot,如果你研究或者从事AI领域,小助手会把你带入量子位的交流群里。

本文作者:若朴
原文发布时间: 2017-03-22 
相关文章
|
7月前
|
安全 网络安全
GitHub星标4000!清华大牛的CTF竞赛入门指南,真的太香了!
想进入网络安全行业、实现从学校到职场的跨越,参加CTF竞赛是很好的成长途径。 通俗而言,CTF是模拟“黑客”所使用的技术、工具、方法等手段发展出来的网络安全竞赛,有了手段之后需要的就是经验与黑客感(HackorFeel)。 CTF赛题涉及的领域很广,市面上也早有在知识广度上均有所覆盖的CTF书籍,但没有深入单一领域的内容,尤其是Pwn方向的。 Pwn是网络安全攻防最有魅力的部分,对于原教旨攻防人士来说,Pwm才是原汁原味的技术体现。二进制Pwn一直是CTF比赛的热点和难点。
GitHub刷屏热议,原来是字节跳动大牛分享数据结构与算法实战笔记
大家都知道,对于程序员来说很大程度上算法就是为了应付面试的。大佬们都说过,学算法之前起码得了解数据结构呀!你是否当程序员这么多年,还只是能手写出个冒泡排序的代码?别怕!我最近正好找到一份字节跳动大牛分享的数据结构与算法实战笔记,在这里分享给大家!
|
设计模式 算法 NoSQL
冲刺金九银十!GitHub中文社区秋招趋势最热的面试题被我整理好了
面对已经过去的金三银四很多小伙伴都受到了很大的挫折! 最近收到一个小伙伴金三银四在阿里的面试流程完全被吊打,和我一起看看阿里都问了什么吧!
|
SQL 算法 计算机视觉
百度飞桨课堂小白逆袭大神第三天课程(整理)
百度飞桨课堂小白逆袭大神第三天课程(整理)
215 0
百度飞桨课堂小白逆袭大神第三天课程(整理)
|
前端开发 JavaScript 程序员
GitHub 标星 54K + 2K!这才是程序员写逼格满满的 PPT 的正确姿势!
GitHub 标星 54K + 2K!这才是程序员写逼格满满的 PPT 的正确姿势!
692 0
|
存储 缓存 网络协议
学长笔记开源了!
下面的笔记来源于读者(B站:车干学长)学习图解网络时的笔记,他也补充了一些我没写到的点,比如强制缓存/协商缓存之类的知识。 全文共 1w 字,干货满满!发车!
学长笔记开源了!
|
机器学习/深度学习 算法 数据挖掘
李航《统计学习方法》第 2 版发布完整课件!清华教授出品!附完整下载
李航《统计学习方法》第 2 版发布完整课件!清华教授出品!附完整下载
1016 0
李航《统计学习方法》第 2 版发布完整课件!清华教授出品!附完整下载
|
机器学习/深度学习 人工智能 前端开发
|
人工智能 弹性计算 容器
总监课第四期PPT下载地址
阿里云总监系列课重磅上线!聚焦人工智能、弹性计算、数据库等热门领域,首次集齐12位阿里云技术高管,耗时半年精心打磨,从理论到实践倾囊相授,从零开始绘制技术大牛成长路径。 第四期《公共云弹性计算最佳实践 - 6个省钱窍门+4个典型误区》特邀中国第一代技术网红余锋(褚霸)及专家团,为大家带来干货分享。
3787 0
|
机器学习/深度学习 人工智能 算法
吴恩达导师Michael I. Jordan刚去清华手写版书讲了三天课,这有一份他的课程笔记
被称为“机器学习之父”的Michael I. Jordan教授上周(9月12-14日)在清华进行了为期三天的校内公开课,面对清华同学分享了他在伯克利AMP Lab和RISE Lab的最新研究成果。 Jordan教授本次亲自上阵授课实属难得,为保证教学质量,本次系列课程也只面向清华学生开放,且不设录像直播,颇为珍贵。
2887 0