使用神经网络+遗传算法玩转Flappy Bird | 教程

简介:
本文来自AI新媒体量子位(QbitAI)

640?wx_fmt=png&wxfrom=5&wx_lazy=1

震惊!《Flappy Bird》火了这么多年,竟然没有中文名字。

没事。这不妨碍各路AI大触用这款游戏练手。比方说今天这个HTML5教程,就是教你使用神经网络+遗传算法,搭建一个玩转小鸟的AI。

提前说一下,教程最后有这个AI的代码下载。所有的代码都是使用Phaser框架使用HTML5完成的。另外,神经网络使用了突触神经网络(Synaptic Neural Network)库,而不是从零开始搭建。

Demo

640?wx_fmt=png&wxfrom=5&wx_lazy=1

上面是Demo演示的截图,访问下面这个网址,能够看到这套算法的实际效果。

http://www.askforgametask.com/html5/tutorials/flappy/

不方便观看上面在线Demo,或者没有耐心的同学,可以选择观看下面这个视频演示短片,中间有几倍速度的画面快进。


算法

这套系统的算法,主要是基于NeuroEvolution(神经进化)。这种机器学习方法,使用遗传算法(GA)等进化方法来训练人工神经网络(ANN)。

也就是说,这个例子中的机器学习=遗传算法+神经网络

人工神经网络

人工神经网络是机器学习算法的一个子集,它受到生物神经网络结构和功能的启发,这些网络是由很多彼此发送信号的神经元组成。

一个神经网络由输入层,一个或多个隐藏层,以及输出层组成。每层都有一些神经元,输入和输出层的神经元直接与外部环境相连。

在这个项目中,每个智能体(也就是小鸟)都有自己的神经网络作为闯关的AI大脑。这些大脑由三层组成,结构如下:

  1. 一个输入层,两个神经元,代表小鸟到豁口的水平距离和垂直距离
  2. 一个隐藏层,六个神经元
  3. 一个输出层,一个神经元,执行如下动作:如果输出>0.5就飞一下

上述文字,也可以用下面这张图表示:

640?wx_fmt=png&wxfrom=5&wx_lazy=1

遗传算法

我们在这里使用遗传算法,来训练和改进神经网络。

遗传算法顾名思义,是一种借鉴了自然选择和遗传过程的基于搜索的优化技术。这种算法使用相同的选择、组合交叉和变异的组合,来进行初始的随机演化。

以下是我们遗传算法实现的主要步骤:

  1. 使用随机神经网络创建10个初始的小鸟(种群)
  2. 让小鸟使用他们自己的神经网络,同时起飞玩游戏
  3. 对于每个小鸟,计算适应度函数来衡量飞行质量
  4. 当所有小鸟死亡时,使用遗传算子把当前种群评估到下一代
  5. 重复步骤2

适应度函数

对于上面的第3步,我们深入谈一下适应度函数的细节,以及如何定义。

由于我们想要使用最好的个体(小鸟)来进化种群,所以需要定义一个适应度函数。

一般来说,适应度函数用来衡量对象的质量。我们队每一只小鸟都进行测量,并从中选择合适的个体,用以生成下一代种群。

在这个项目中,我们按照小鸟的飞行距离给予奖励。另外,我们会根据小鸟和下一个豁口的距离给予惩罚。按照这种方式,就可以区别哪些飞行了同样距离的小鸟。

640?wx_fmt=png&wxfrom=5&wx_lazy=1

替代策略

对于上面第4步中遗传算法,下面是实现的步骤。基本上,最好的小鸟个体会生存下来,它们的后代会取代表现最差的那些。

  1. 现有种群的个体按照适应度进行排序
  2. 选择前四名给予奖励,直接把它们传给下一代种群
  3. 排名最高的两个个体,进行交叉组合,生成一个后代
  4. 前四名中随机选择两个个体,交叉组合产生三个后代
  5. 前四名中随机选择两个个体,生成两个直接复制的后代
  6. 对于每个后代,施加一些随机变异

代码

上述代码,可以访问如下地址获取:

https://github.com/ssusnic/Machine-Learning-Flappy-Bird

结论

在这个教程中,我们成功的让AI学会玩Flappy Bird这个游戏。在几次迭代之后,我们可以得到一个几乎无敌的小鸟。为了实现这一目标,我们采用了两种机器学习算法:人工神经网络+遗传算法。

如果你对这个项目感兴趣,未来可以尝试改变代码中的一些参数,看看会发生什么。例如,可以改变隐藏层中的神经元数量或者每一代种群的个体数量。当然还可以对适应度函数进行修改,比方加入障碍物之间的距离、重力等等因素。

以及,你可以尝试把类似的理念应用到其他游戏中去!

祝好运~

本文作者:问耕
原文发布时间:2017-08-21
相关文章
|
4天前
|
机器学习/深度学习 算法
基于BP神经网络和小波变换特征提取的烟草香型分类算法matlab仿真,分为浓香型,清香型和中间香型
```markdown 探索烟草香型分类:使用Matlab2022a中的BP神经网络结合小波变换。小波分析揭示香气成分的局部特征,降低维度,PCA等用于特征选择。BP网络随后处理这些特征,以区分浓香、清香和中间香型。 ```
|
5天前
|
机器学习/深度学习 算法
m基于PSO-GRU粒子群优化长门控循环单元网络的电力负荷数据预测算法matlab仿真
摘要: 在MATLAB 2022a中,对比了电力负荷预测算法优化前后的效果。优化前为"Ttttttt111222",优化后为"Tttttttt333444",明显改进体现为"Tttttttttt5555"。该算法结合了粒子群优化(PSO)和长门控循环单元(GRU)网络,利用PSO优化GRU的超参数,提升预测准确性和稳定性。PSO模仿鸟群行为寻找最优解,而GRU通过更新门和重置门处理长期依赖问题。核心MATLAB程序展示了训练和预测过程,包括使用'adam'优化器和超参数调整,最终评估并保存预测结果。
15 0
|
5天前
|
机器学习/深度学习 异构计算
【保姆级教程|YOLOv8改进】【5】精度与速度双提升,使用FasterNet替换主干网络
【保姆级教程|YOLOv8改进】【5】精度与速度双提升,使用FasterNet替换主干网络
|
5天前
|
机器学习/深度学习
【保姆级教程】【YOLOv8替换主干网络】【1】使用efficientViT替换YOLOV8主干网络结构(4)
【保姆级教程】【YOLOv8替换主干网络】【1】使用efficientViT替换YOLOV8主干网络结构
|
5天前
|
机器学习/深度学习
【保姆级教程】【YOLOv8替换主干网络】【1】使用efficientViT替换YOLOV8主干网络结构(3)
【保姆级教程】【YOLOv8替换主干网络】【1】使用efficientViT替换YOLOV8主干网络结构
|
5天前
|
机器学习/深度学习
【保姆级教程】【YOLOv8替换主干网络】【1】使用efficientViT替换YOLOV8主干网络结构(2)
【保姆级教程】【YOLOv8替换主干网络】【1】使用efficientViT替换YOLOV8主干网络结构
|
5天前
|
编解码 自动驾驶 计算机视觉
【保姆级教程】【YOLOv8替换主干网络】【1】使用efficientViT替换YOLOV8主干网络结构(1)
【保姆级教程】【YOLOv8替换主干网络】【1】使用efficientViT替换YOLOV8主干网络结构
|
5天前
|
Unix Python
Python基础教程(第3版)中文版 第14章 网络编程(笔记)
Python基础教程(第3版)中文版 第14章 网络编程(笔记)
|
6天前
|
机器学习/深度学习 监控 算法
基于yolov2深度学习网络的昆虫检测算法matlab仿真,并输出昆虫数量和大小判决
YOLOv2算法应用于昆虫检测,提供实时高效的方法识别和定位图像中的昆虫,提升检测精度。核心是统一检测网络,预测边界框和类别概率。通过预测框尺寸估算昆虫大小,适用于农业监控、生态研究等领域。在matlab2022A上运行,经过关键升级,如采用更优网络结构和损失函数,保证速度与精度。持续优化可增强对不同昆虫的检测能力。![image.png](https://ucc.alicdn.com/pic/developer-ecology/3tnl7rfrqv6tw_e760ff6682a3420cb4e24d1e48b10a2e.png)
|
9天前
|
传感器 算法 安全
基于WSN网络的定向步幻影路由算法matlab仿真
该文探讨了无线传感器网络中的位置隐私保护,对比了NDRW路由与定向步幻影路由在安全时间和能耗方面的性能。在MATLAB2022a中进行测试,结果显示NDRW路由提供最长的安全时间,尤其在长距离传输时,且在近距离下能耗低于幻影路由。幻影路由虽消耗更多能量,但通过随机步创造幻影源以增强安全性。NDRW路由利用非确定性随机游走策略,避免拥堵并提高效率,而幻影路由则引入方向性控制,通过启发式算法优化路径选择。

热门文章

最新文章