AIGC背后的技术分析 | 机器学习背后的微分入门

简介: 用更简单的方法帮助你理解感知器。

640.jpg


# 1、机器学习背后的微分入门



为了理解更深层次的原理,让我们再来讨论一下最简单的神经网络——感知器(perceptron)。感知器是由Frank Rosenblatt在1957年发明的,要想理解它,请参考图1。

640.png


■ 图1 感知器概念表示

图1中有两个圆,一个在左边,另一个在右边,有一条线连接着这两个圆。如果你把它映射到生物学术语上,可以将圆看作神经元(neurons),而这条线将是一个突触(synapse)。这条线有一个叫作权重(weight)的值,它描述了两个神经元之间连线的重要程度。

简言之,神经元是一种特殊的细胞,是人类神经系统中可以携带信号的一个基本单元。突触是两个神经元之间的连接。

左边的神经元称为输入神经元。你不需要计算它的值,而是为它提供一个值,假设我们给了它一个0.2的值。右边的神经元称为输出神经元,它的值取决于与它相连的神经元的值。在本例中,只有一个神经元连接到输出神经元,输出神经元的值是输入神经元的值和突触的值的乘积。

换言之,你将每个输入神经元乘以其各自的权重,并将这些乘积相加在一起,就可以得到输出神经元的值。假设权重的值为0.4,现在让我们根据输入i和权重w计算输出神经元o的值:

640.png


就是这样!现在让我们代入值并查看结果:

640.png


现在我们得到了一个输出值。但是一个神经网络并没有这么简单,除非你可以训练它提供你想要的输出。在本例中,假设我们希望神经网络做一个简单的任务: 对提供的输入取负。所以,在这个例子中,我们想得到输出-0.2,但我们却得到了0.08。

下表给出了变量最初的简化视图。

640.png


为了获得更好的输出,我们需要改变权重的值,以更接近预期的结果。那么我们该怎么做呢?我们需要用到一些微分的知识。别担心,你不需要知道任何高级的微分知识。

在我们弄清楚新的权重应该是什么之前,我们需要首先看看神经网络距离预期输出有多少偏差,这被称为损失函数或误差函数。在本例中,我们取期望输出和神经网络输出之间的平方差,假设预期输出z为

640.png


让我们来计算一下损失:

640.png


这就是说,神经网络的“不正确性”是0.0784。但这是如何帮助我们计算新权重的呢?答案是通过计算损失函数的导数,我们有了一个新的函数,它可以告诉我们如何更新权重以更接近期望的输出。你不需要担心该函数是如何工作的,你只需要知道

640.png


这就是说,神经网络的“不正确性”是0.0784。但这是如何帮助我们计算新权重的呢?答案是通过计算损失函数的导数,我们有了一个新的函数,它可以告诉我们如何更新权重以更接近期望的输出。你不需要担心该函数是如何工作的,你只需要知道

640.png


是损失函数对权重的导数,我们继续来计算一下。

640.png


计算结果如下:

640.png

现在我们得到了损失函数的导数值。我们应该如何使用它更新权重呢?

在这里,你需要明白一些事情: 你不能只更新权重,你必须通过一定的量调整权重,这被称为学习率(learning rate)。就像人类一样,如果学习率太高(一个学得太快的人),神经网络根本就不会学到很多内容;如果学习率太低,神经网络则需要太长时间进行学习。所以你需要一个很合适的学习率。在本例中,我们使用0.1的学习率:

640.png


计算结果如下:
好吧!让我们尝试用神经网络进行预测:

640.png


哇,我们比之前更接近期望输出了。我们想要的输出是-0.2,但我们得到的输出是0.08,我们的输出值0.08距离-0.2为0.28。然而,在我们通过微分运算进行处理后,我们得到的输出为0.07776。现在,这个新输出0.07776距离-0.2是0.27776。

下表给出了一次迭代后系统如何学得比以前更好的简化视图。

640.png


从另一个角度来看,让我们再次计算损失:

640.png


我们从0.078降到了0.077。现在,如果我们继续重复这个过程,我们应该会得到一个可接受的值。对于更大的数据集,我们可能需要重复成千上万次才能获得较好的结果。

此外,你只是根据一个训练样本计算了一个新的权重值。数据并不是很多,神经网络需要更多的数据进行学习。如果你想用更多的样本进行训练,那么一种方法就是对多个训练样本的损失进行平均。

目录
相关文章
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与机器学习:探索未来的技术边界
【10月更文挑战第18天】 在这篇文章中,我们将深入探讨人工智能(AI)和机器学习(ML)的基础知识、应用领域以及未来趋势。通过对比分析,我们将揭示这些技术如何改变我们的生活和工作方式,并预测它们在未来可能带来的影响。文章旨在为读者提供一个全面而深入的理解,帮助他们更好地把握这一领域的发展趋势。
|
4天前
|
人工智能 搜索推荐 数据库
实时云渲染技术赋能AIGC,开启3D内容生态黄金时代
在AIGC技术革命的推动下,3D内容生态将迎来巨大变革。实时云渲染与Cloud XR技术将在三维数字资产的上云、交互及传播中扮演关键角色,大幅提升生产效率并降低门槛。作为云基础设施厂商,抓住这一机遇将加速元宇宙的构建与繁荣。AIGC不仅改变3D内容的生成方式,从手工转向自动生成,还将催生更多3D创作工具和基础设施,进一步丰富虚拟世界的构建。未来,通过文本输入即可生成引人注目的3D环境,多模态模型的应用将极大拓展创作的可能性。
|
1月前
|
机器学习/深度学习 传感器 运维
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例
本文探讨了时间序列分析中数据缺失的问题,并通过实际案例展示了如何利用机器学习技术进行缺失值补充。文章构建了一个模拟的能源生产数据集,采用线性回归和决策树回归两种方法进行缺失值补充,并从统计特征、自相关性、趋势和季节性等多个维度进行了详细评估。结果显示,决策树方法在处理复杂非线性模式和保持数据局部特征方面表现更佳,而线性回归方法则适用于简单的线性趋势数据。文章最后总结了两种方法的优劣,并给出了实际应用建议。
83 7
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例
|
30天前
|
机器学习/深度学习 数据可视化 大数据
机器学习与大数据分析的结合:智能决策的新引擎
机器学习与大数据分析的结合:智能决策的新引擎
156 15
|
3天前
|
编解码 人工智能 算法
国家扶持超高清产业背景下:视频云AIGC的超高清技术实践
本次分享由阿里云视频云高级产品解决方案架构师陈震主讲,聚焦国家扶持超高清产业背景下,视频云AIGC的超高清技术实践。内容涵盖超高清产业发展趋势与挑战、阿里视频云的应对方案及应用案例。通过全链路超高清解决方案,结合AI、云计算等技术,提供从内容生产、传输到播放的完整支持,助力行业应对超高清视频带来的技术与市场挑战。
|
3天前
|
人工智能 编解码 安全
全球AI新浪潮:智能媒体服务的技术创新与AIGC加速出海
本文介绍了智能媒体服务的国际化产品技术创新及AIGC驱动的内容出海技术实践。首先,探讨了媒体服务在视频应用中的升级引擎作用,分析了国际市场的差异与挑战,并提出模块化产品方案以满足不同需求。其次,重点介绍了AIGC技术如何推动媒体服务2.0智能化进化,涵盖多模态内容理解、智能生产制作、音视频处理等方面。最后,发布了阿里云智能媒体服务的国际产品矩阵,包括媒体打包、转码、实时处理和传输服务,支持多种广告规格和效果追踪分析,助力全球企业进行视频化创新。
|
1月前
|
机器学习/深度学习 数据采集 运维
机器学习在运维中的实时分析应用:新时代的智能运维
机器学习在运维中的实时分析应用:新时代的智能运维
87 12
|
1月前
|
编解码 机器人 测试技术
技术实践 | 使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型快速搭建专业领域知识问答机器人
Qwen2-VL是一款具备高级图像和视频理解能力的多模态模型,支持多种语言,适用于多模态应用开发。通过PAI和LLaMA Factory框架,用户可以轻松微调Qwen2-VL模型,快速构建文旅领域的知识问答机器人。本教程详细介绍了从模型部署、微调到对话测试的全过程,帮助开发者高效实现定制化多模态应用。
|
2月前
|
人工智能 自然语言处理 数据可视化
什么是AIGC?如何使用AIGC技术辅助办公?
2分钟了解AIGC技术及其如何提高日常办公效率!
150 4
什么是AIGC?如何使用AIGC技术辅助办公?
|
2月前
|
机器学习/深度学习 Python
机器学习中模型选择和优化的关键技术——交叉验证与网格搜索
本文深入探讨了机器学习中模型选择和优化的关键技术——交叉验证与网格搜索。介绍了K折交叉验证、留一交叉验证等方法,以及网格搜索的原理和步骤,展示了如何结合两者在Python中实现模型参数的优化,并强调了使用时需注意的计算成本、过拟合风险等问题。
88 6
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等