基于Qlearning强化学习的倒立摆控制系统matlab仿真

简介: 基于Qlearning强化学习的倒立摆控制系统matlab仿真

1.算法描述

    强化学习通常包括两个实体agent和environment。两个实体的交互如下,在environment的statestst下,agent采取actionatat进而得到rewardrtrt 并进入statest+1st+1。Q-learning的核心是Q-table。Q-table的行和列分别表示state和action的值,Q-table的值Q(s,a)Q(s,a)衡量当前states采取actiona到底有多好。

1.png

    在每一时刻,智能体观测环境的当下状态并选择一个动作,这会导致环境转移到一个新的状态,与此同时环境会返回给智能体一个奖励,该奖励反映了动作所导致的结果。在倒立摆任务中,每一个时间步的奖励均为+1,但是一旦小车偏离中心超过4.8个单位或者杆的倾斜超过15度,任务就会终止。因此,我们的目标是使得该任务能够尽可能地运行得更久,以便获得更多的收益。原始倒立摆任务中,智能体的输入包含4个实数(位置,速度等),但实际上,神经网络可以直接通过观察场景来完成任务,所以我们可以直接使用以小车为中心的屏幕补丁作为输入。严格来说,我们设计的状态是当前屏幕补丁与上一个屏幕补丁的差值,这使得智能体能够从一张图像中推断出杆的速度。

   为了训练DQN,我们将使用经验回放池(experience replay memory)来存储智能体所观测到的环境状态转移情况,在之后的训练中我们可以充分利用这些数据。通过对经验回放池中的数据进行随机采样,组成一个批次的转移情况是互不相关(decorrelated)的,这极大地提升了DQN训练的性能和稳定性。

主要步骤如下:

   采样得到一个批次的样本,将这些样本对应的张量连接成一个单独的张量;

分别利用策略Q网络与目标Q网络计算 与Q(st,at)​​​​与V(st+1)=maxaQ(st+1,a) ​​​​,利用它们计算损失函数.。另外,如果 s​​​​ 为终止状态,则令 V(s)=0 ​​​​
更新Q网络参数。目标Q网络的参数每隔一段时间从主Q网络处固定而来,在本例中,我们在每个episode更新一次目标Q网络。

2.仿真效果预览
matlab2022a仿真结果如下:

2.png

3.MATLAB部分代码预览

   count=0; 
   failure=0; 
   failReason=0; 
   lfts = 1; 
   newSt = inistate; 
   inputs = newSt./NF; 
   lc = Initlc; 
   la = Initla; 
        
   xhist=newSt; 
   
   %计算newAction 
   ha = inputs*wa1; 
   g = (1 - exp(-ha))./(1 + exp(-ha)); 
   va = g*wa2; 
   newAction = (1 - exp(-va))./(1 + exp(-va)); 
   %计算J 
   inp=[inputs newAction]; 
   qc=inp*wc1; 
   p = (1 - exp(-qc))./(1 + exp(-qc)); 
   J=p*wc2; 
    
   Jprev = J; 
   
   while(lfts<Tit),        %内部循环开始 
            
        if (rem(lfts,500)==0), 
           disp(['It is ' int2str(lfts) ' time steps now......']); 
        end 
         
        %生成控制信号 
               if (newAction >= 0) 
                   sgnf = 1; 
               else 
                   sgnf = -1; 
               end 
               u = Mag*sgnf;        %bang-bang control 

           %Plug in the model 
           [T,Xf]=ode45('cartpole_model',[0 tstep],newSt,[],u); 
           a=size(Xf); 
           newSt=Xf(a(1),:);         
           inputs=newSt./NF;    %input normalization    
            
               %计算newAction 
               ha = inputs*wa1; 
               g = (1 - exp(-ha))./(1 + exp(-ha)); 
               va = g*wa2; 
               newAction = (1 - exp(-va))./(1 + exp(-va)); 
               %calculate new J     
               inp=[inputs newAction]; 
               qc=inp*wc1; 
               p = (1 - exp(-qc))./(1 + exp(-qc)); 
               J=p*wc2; 
                
               xhist=[xhist;newSt]; 
            
           %%===========================================================%% 
           %%求取强化信号r(t),即reinf                                   %% 
           %%===========================================================%% 
         
           if (abs(newSt(1)) > FailTheta) 
               reinf = 1; 
               failure = 1; 
               failReason = 1; 
           elseif (abs(newSt(3)) > Boundary) 
               reinf = 1; 
               failure = 1; 
               failReason = 2; 
           else 
               reinf = 0; 
           end 
    
           %%================================%% 
           %% learning rate update scheme    %% 
           %%================================%% 
           
           if (rem(lfts,5)==0) 
               lc = lc - 0.05; 
               la = la - 0.05; 
           end 
          
             if (lc<0.01) 
               lc=0.005; 
           end 
          
           if (la<0.01) 
               la=0.005; 
           end 
          
           %%================================================%% 
           %% internal weights updating cycles for critnet   %% 
           %%================================================%% 
                   
           cyc = 0; 
           ecrit = alpha*J-(Jprev-reinf); 
           Ec = 0.5 * ecrit^2; 
           while (Ec>Tc & cyc<=Ncrit), 
                   gradEcJ=alpha*ecrit; 
                   %----for the first layer(input to hidden layer)----------- 
                   gradqwc1 = [inputs'; newAction]; 
                   for i=1:N_Hidden, 
                       gradJp = wc2(i); 
                       gradpq = 0.5*(1-p(i)^2); 
                       wc1(:,i) = wc1(:,i) - lc*gradEcJ*gradJp*gradpq*gradqwc1; 
                   end        
                   %----for the second layer(hidden layer to output)----------- 
                   gradJwc2=p'; 
                   wc2 = wc2- lc*gradEcJ*gradJwc2; 
                   %----compute new  J---- 
                   inp=[inputs newAction]; 
                   qc=inp*wc1; 
                   p = (1 - exp(-qc))./(1 + exp(-qc)); 
                   J=p*wc2; 

               cyc = cyc +1; 
               ecrit = alpha*J-(Jprev-reinf); 
               Ec = 0.5 * ecrit^2; 
           end                                 % end of "while (Ec>0.05 & cyc<=Ncrit)" 
            
           %normalization weights for critical network 
               if (max(max(abs(wc1)))>1.5) 
                   wc1=wc1/max(max(abs(wc1))); 
               end 
               if max(max(abs(wc2)))>1.5 
                   wc2=wc2/max(max(abs(wc2))); 
               end 
                     
           %%=============================================%% 
           %% internal weights updating cycles for actnet %% 
           %%=============================================%%                 
           cyc = 0;             
           eact = J - Uc; 
           Ea = 0.5*eact^2; 
           while (Ea>Ta & cyc<=Nact), 
               graduv = 0.5*(1-newAction^2);              
               gradEaJ = eact; 
               gradJu = 0; 
                  for i=1:N_Hidden, 
                      gradJu = gradJu + wc2(i)*0.5*(1-p(i)^2)*wc1(WC_Inputs,i); 
                  end 
                   %----for the first layer(input to hidden layer)----------- 
                   for (i=1:N_Hidden), 
                       gradvg = wa2(i); 
                       gradgh = 0.5*(1-g(i)^2); 
                       gradhwa1 = inputs'; 
                       wa1(:,i)=wa1(:,i)-la*gradEaJ*gradJu*graduv*gradvg*gradgh*gradhwa1; 
                   end 
                   %----for the second layer(hidden layer to output)----------- 
                   gradvwa2 = g'; 
                   wa2=wa2-la*gradEaJ*gradJu*graduv*gradvwa2; 
                   %----compute new J and newAction-------  
                   ha = inputs*wa1; 
                   g = (1 - exp(-ha))./(1 + exp(-ha)); 
                   va = g*wa2; 
                   newAction = (1 - exp(-va))./(1 + exp(-va)); 
                    
                   inp=[inputs newAction]; 
                   qc=inp*wc1; 
                   p = (1 - exp(-qc))./(1 + exp(-qc)); 
                   J=p*wc2; 
                        
               cyc = cyc+1; 
               eact = J - Uc; 
               Ea = 0.5*eact^2;   
           end                       %end of "while (Ea>Ta & cyc<=Nact)" 
           
           if ~failure 
               Jprev=J; 
           else 
               break;                %another trial 即跳出“while(lfts<Tit),” 
           end 
           lfts=lfts+1; 
       end                           %end of "while(lfts<Tit)" 结束内部循环 
          
       msgstr1=['Trial # ' int2str(trial) ' has  ' int2str(lfts) ' time steps.']; 
          msgstr21=['Trial # ' int2str(trial) ' has successfully balanced for at least ']; 
          msgstr22=[msgstr21 int2str(lfts) ' time steps ']; 
A_027
相关文章
|
1天前
|
监控 算法 数据安全/隐私保护
基于扩频解扩+turbo译码的QPSK图传通信系统matlab误码率仿真,扩频参数可设置
本项目基于MATLAB 2022a实现图像传输通信系统的仿真,涵盖QPSK调制解调、扩频技术和Turbo译码。系统适用于无人机图像传输等高要求场景,确保图像质量和传输稳定性。通过仿真,验证了系统在不同信噪比下的性能,展示了图像的接收与恢复效果。核心代码实现了二进制数据到RGB图像的转换与显示,并保存不同条件下的结果。
16 6
|
1天前
|
传感器 算法
基于GA遗传算法的多机无源定位系统GDOP优化matlab仿真
本项目基于遗传算法(GA)优化多机无源定位系统的GDOP,使用MATLAB2022A进行仿真。通过遗传算法的选择、交叉和变异操作,迭代优化传感器配置,最小化GDOP值,提高定位精度。仿真输出包括GDOP优化结果、遗传算法收敛曲线及三维空间坐标点分布图。核心程序实现了染色体编码、适应度评估、遗传操作等关键步骤,最终展示优化后的传感器布局及其性能。
|
2天前
|
算法
基于小波变换和峰值搜索的光谱检测matlab仿真,带GUI界面
本程序基于小波变换和峰值搜索技术,实现光谱检测的MATLAB仿真,带有GUI界面。它能够对CO2、SO2、CO和CH4四种成分的比例进行分析和提取。程序在MATLAB 2022A版本下运行,通过小波分解、特征提取和峰值检测等步骤,有效识别光谱中的关键特征点。核心代码展示了光谱数据的处理流程,包括绘制原始光谱、导数光谱及标注峰值位置,并保存结果。该方法结合了小波变换的时频分析能力和峰值检测的敏锐性,适用于复杂信号的非平稳特性分析。
|
2天前
|
机器学习/深度学习 算法 安全
基于深度学习的路面裂缝检测算法matlab仿真
本项目基于YOLOv2算法实现高效的路面裂缝检测,使用Matlab 2022a开发。完整程序运行效果无水印,核心代码配有详细中文注释及操作视频。通过深度学习技术,将目标检测转化为回归问题,直接预测裂缝位置和类别,大幅提升检测效率与准确性。适用于实时检测任务,确保道路安全维护。 简介涵盖了算法理论、数据集准备、网络训练及检测过程,采用Darknet-19卷积神经网络结构,结合随机梯度下降算法进行训练。
|
3天前
|
算法 数据可视化 数据安全/隐私保护
一级倒立摆平衡控制系统MATLAB仿真,可显示倒立摆平衡动画,对比极点配置,线性二次型,PID,PI及PD五种算法
本课题基于MATLAB对一级倒立摆控制系统进行升级仿真,增加了PI、PD控制器,并对比了极点配置、线性二次型、PID、PI及PD五种算法的控制效果。通过GUI界面显示倒立摆动画和控制输出曲线,展示了不同控制器在偏转角和小车位移变化上的性能差异。理论部分介绍了倒立摆系统的力学模型,包括小车和杆的动力学方程。核心程序实现了不同控制算法的选择与仿真结果的可视化。
31 15
|
3天前
|
算法
基于SOA海鸥优化算法的三维曲面最高点搜索matlab仿真
本程序基于海鸥优化算法(SOA)进行三维曲面最高点搜索的MATLAB仿真,输出收敛曲线和搜索结果。使用MATLAB2022A版本运行,核心代码实现种群初始化、适应度计算、交叉变异等操作。SOA模拟海鸥觅食行为,通过搜索飞行、跟随飞行和掠食飞行三种策略高效探索解空间,找到全局最优解。
|
4天前
|
算法
基于排队理论的客户结账等待时间MATLAB模拟仿真
本程序基于排队理论,使用MATLAB2022A模拟客户结账等待时间,分析平均队长、等待时长、不能结账概率、损失顾客数等关键指标。核心算法采用泊松分布和指数分布模型,研究顾客到达和服务过程对系统性能的影响,适用于银行、超市等多个领域。通过仿真,优化服务效率,减少顾客等待时间。
|
5天前
|
机器学习/深度学习 数据采集 算法
基于GWO灰狼优化的CNN-GRU-SAM网络时间序列回归预测算法matlab仿真
本项目基于MATLAB2022a,展示了时间序列预测算法的运行效果(无水印)。核心程序包含详细中文注释和操作视频。算法采用CNN-GRU-SAM网络,结合灰狼优化(GWO),通过卷积层提取局部特征、GRU处理长期依赖、自注意力机制捕捉全局特征,最终实现复杂非线性时间序列的高效预测。
|
5天前
|
算法 数据安全/隐私保护
基于AutoEncode自编码器的端到端无线通信系统matlab误码率仿真
本项目基于MATLAB 2022a实现自编码器在无线通信系统中的应用,仿真结果无水印。自编码器由编码器和解码器组成,通过最小化重构误差(如MSE)进行训练,采用Adam等优化算法。核心程序包括训练、编码、解码及误码率计算,并通过端到端训练提升系统性能,适应复杂无线环境。
102 65
|
5天前
|
传感器 算法 物联网
基于粒子群算法的网络最优节点部署优化matlab仿真
本项目基于粒子群优化(PSO)算法,实现WSN网络节点的最优部署,以最大化节点覆盖范围。使用MATLAB2022A进行开发与测试,展示了优化后的节点分布及其覆盖范围。核心代码通过定义目标函数和约束条件,利用PSO算法迭代搜索最佳节点位置,并绘制优化结果图。PSO算法灵感源于鸟群觅食行为,适用于连续和离散空间的优化问题,在通信网络、物联网等领域有广泛应用。该算法通过模拟粒子群体智慧,高效逼近最优解,提升网络性能。

热门文章

最新文章