认证名称及链接
证书展示
课程目录
人工智能概论
- 人工智能概念
- 从机器学习到深度学习
- 深度学习概览
- 自然语言处理概述
- 图像智能处理概述
- 语音识别概述
- 知识图谱概述
神经网络基础
- 神经网络介绍
- 卷积神经网络
- 循环神经网络
- 生成对抗网络
TensorFlow开发基础
- TensorFlow框架入门
- TensorFlow开发进阶
- 在线实验
阿里云机器学习与深度学习开发平台PAI
- PAI整体介绍
- 深度学习开发环境PAI DSW
- 可视化开发环境PAI Studio
- 在线预测服务PAI EAS
- 在线实验
阿里云人工智能产品介绍与应用
- 视频课程
- 在线实验
课程笔记
人工智能概论
- 基于不同维度,人工智能具有多种定义
- 图灵测试
- 第三次热潮(2006年以后):深度学习、神经网络发展
发展
- 半监督学习
- 自监督学习
- 无监督学习
- 物端AI与边缘计算
- 深度学习与推荐系统整合
- AutoML:自动网络结构搜索
应用领域
图像智能处理
- 图像分类
- 对象检测
- 语义分割
- 目标跟踪
智能语音交互
- 语音识别
- 对话系统
自然语言处理(NLP)
- 情感分析
- 机器翻译
- 知识图谱
- 机器人
问题领域 & 主要算法
传统机器学习
- 分类:决策树、逻辑回归、随机森林等
- 回归:线性回归、岭回归等
- 聚类:k-means、DBSCAN等
- 协同过滤:Apriori、SVD等
深度学习
- 图像识别:卷积神经网络
- 语音交互:循环神经网络、LSTM
- 自然语言处理:深层神经网络、循环神经网络、递归神经网络、卷积神经网络
深度学习技术体系
数学理论
- 微积分、线性代数
- 信息论、概率论
- 图论
算法知识
- 机器学习
- 神经网络
开发技术
软件开发
- 开发框架:TensorFlow、Keras、pytorch、caffe、阿里云机器学习平台PAI、阿里云人工智能产品
- 硬件开发
知识图谱
基本概念
- 实体
- 关系
- 实体和关系拥有各自属性
关键技术
- 数据采集
- 知识抽取
- 图谱设计
应用
- 语义搜索
- 反欺诈分别与识别
- 金融投研情报分析
神经网络基础
- 人工神经网络(artificial neural network),简称神经网络(neural network,NN)
历史发展 & 代表性技术
- 第一次热潮:感知机、单层神经网络
- 第二次热潮:多层神经网络、后向传播算法
- 第三次热潮:卷积神经网络、循环神经网络
神经网络的前置知识
- 算法的基础:数学知识(矩阵计算、微积分、概率论)
- 开发的基础:python 、 c++
- 运行与调优的基础:计算机系统知识(操作系统、分布式系统)
- 神经网络组成:神经元、网络连接
- 生物神经元抽象模型
神经元通用模型
- 输入单元
- 计算单元:线性计算 + 激励函数(非线性函数、信号变换)
- 输出单元
- 激励函数:非线性函数(常用)(sigmoid、tanh、relu、leaky relu)、线性函数、偏置值
神经网络训练过程
- 定义网络结构
- 随机生成网络连接权重参数
- 针对训练样例计算预测值
- 根据实际值与预测值差异更新网络参数
- 损失函数:均方差损失函数、交叉熵损失函数
- 反向传播算法
- 梯度消失问题:sigmoid、tanh 存在问题、relu 可缓解问题
常见神经网络类别 & 适应场景
- 多层感知机 - 分类与回归问题
- 深度神经网络 - 分类与回归问题
- 卷积神经网络 - 图像识别
- 循环神经网络 - 语音、文本识别
卷积神经网络(Convolutional Neural Networks, CNN)
- LeNet、AlexNet、GoogLeNet、ResNets
- 卷积核、卷积计算
- 卷积层:用卷积核的矩阵自上而下、自左向右在图像上滑动
- 池化层:最大值池化、求和值池化、均值池化
- 完全连接:每个节点都与相邻层的其他节点连接
循环神经网络(recurrent neural network,RNN)
- 不仅将当前的输入样本作为网络输入,还将网络之前感知到的一并作为输入
- 发展历程:RNN - simple rnn - bidirectional rnn - lstm network
- 循环神经元
长短期记忆网络 LSTM
LSTM元胞
- forget gate
- input gate
- output gate
生成对抗网络(generative adversarial networks,GANs)
- 生成模型(generative model)
- 判别模型(discriminative model)
- 近年来复杂分布上无监督学习最具前景的方法之一
- 生成对抗网络类别:gan、dcgan、cgan、cyclegan、stylegan、biggan
应用场景
- 图像生成
- 图像转换
- 人脸合成
- 半监督学习
TensorFlow开发基础
- 特征:高度灵活性、可移植性好、丰富算法库、文档完善
- 可视化:tensorboard
系统架构
客户端 front end
- 提供编程模型
- 负责构造计算图
后端系统 exec system
- 提供运行时环境
- 负责运行计算图
- 编程模式:计算图(数据流图)
- 基本数据模型:张量(tensor)(维度、形状)
基本语法
- 变量:存储动态变化的数据
- 占位符:暂时存储变量
- 会话session
数据读取
- 预加载数据
- 供给数据
- 文件读取:从文件系统中读取、使用内存队列缓存数据、文件名队列+内存队列
开发模式 & 适用场景
- 基于预定义的estimator开发 - 深层神经网络DNN分类器、回归器
基于TensorFlow的神经网络nn模块提供的网络层函数开发 - 多层感知机、卷积神经网络、循环神经网络
- 损失函数
- 反向传播算法优化器
- 模型保存与加载
优化器
- GradientDescentOptimizer
- MomentumOptimizer
- AdamOptimizer
- AdagradOptimizer
- AdadeltaOptimizer
阿里云机器学习与深度学习开发平台PAI
PAI DSW - 云端交互式代码开发工具
- 适用于使用深度学习神经网络进行数据分析和使用SQL进行数据分析的用户
PAI Studio - 机器学习可视化开发工具
- 适用于使用经典机器学习、深度学习进行数据分析的用户
PAI EAS - 模型在线服务
- 适用于在PAI平台上已经完成模型构建和使用PAI Studio和PAI-DSW的用户
- PAI autolearning - 自动学习平台
PAI外围产品
- dataworks
- maxcompute
- oss
- nas
阿里云人工智能产品介绍与应用
阿里巴巴达摩院
- 研究领域:机器智能、数据计算、机器人、金融科技、X实验室
阿里云人工智能产品
智能语音产品
- 录音文件识别
- 实时语音转写
- 语音合成
智能图像产品
- 图像识别
- 图像搜索
- 印刷文字识别
自然语言处理
- NLP自学习平台
- 多语言分词
- 词性标注
- 命名实体
- 情感分析
机器翻译
- 机器翻译电商版
- 机器翻译通用版
相关链接
备注
工匠精神,精益求精,踏实学习,再接再厉 O(∩_∩)O
欢迎各位同学一起来交流学习心得!