动态规划算法

简介: 一、基本概念     动态规划过程是:每次决策依赖于当前状态,又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的,所以,这种多阶段最优化决策解决问题的过程就称为动态规划。 二、基本思想与策略     基本思想与分治法类似,也是将待求解的问题分解为若干个子问题(阶段),按顺序求解子阶段,前一子问题的解,为后一子问题的求解提供了有用的信息。

一、基本概念

    动态规划过程是:每次决策依赖于当前状态,又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的,所以,这种多阶段最优化决策解决问题的过程就称为动态规划。

二、基本思想与策略

    基本思想与分治法类似,也是将待求解的问题分解为若干个子问题(阶段),按顺序求解子阶段,前一子问题的解,为后一子问题的求解提供了有用的信息。在求解任一子问题时,列出各种可能的局部解,通过决策保留那些有可能达到最优的局部解,丢弃其他局部解。依次解决各子问题,最后一个子问题就是初始问题的解。

    由于动态规划解决的问题多数有重叠子问题这个特点,为减少重复计算,对每一个子问题只解一次,将其不同阶段的不同状态保存在一个二维数组中。

    与分治法最大的差别是:适合于用动态规划法求解的问题,经分解后得到的子问题往往不是互相独立的(即下一个子阶段的求解是建立在上一个子阶段的解的基础上,进行进一步的求解)

 


三、适用的情况

能采用动态规划求解的问题的一般要具有3个性质:

    (1) 最优化原理:如果问题的最优解所包含的子问题的解也是最优的,就称该问题具有最优子结构,即满足最优化原理。

    (2) 无后效性:即某阶段状态一旦确定,就不受这个状态以后决策的影响。也就是说,某状态以后的过程不会影响以前的状态,只与当前状态有关。

   (3)有重叠子问题:即子问题之间是不独立的,一个子问题在下一阶段决策中可能被多次使用到。(该性质并不是动态规划适用的必要条件,但是如果没有这条性质,动态规划算法同其他算法相比就不具备优势

 


四、求解的基本步骤

     动态规划所处理的问题是一个多阶段决策问题,一般由初始状态开始,通过对中间阶段决策的选择,达到结束状态。这些决策形成了一个决策序列,同时确定了完成整个过程的一条活动路线(通常是求最优的活动路线)。如图所示。动态规划的设计都有着一定的模式,一般要经历以下几个步骤。

   初始状态→│决策1│→│决策2│→…→│决策n│→结束状态

                      图1 动态规划决策过程示意图

    (1)划分阶段:按照问题的时间或空间特征,把问题分为若干个阶段。在划分阶段时,注意划分后的阶段一定要是有序的或者是可排序的,否则问题就无法求解。

    (2)确定状态和状态变量:将问题发展到各个阶段时所处于的各种客观情况用不同的状态表示出来。当然,状态的选择要满足无后效性。

    (3)确定决策并写出状态转移方程:因为决策和状态转移有着天然的联系,状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以如果确定了决策,状态转移方程也就可写出。但事实上常常是反过来做,根据相邻两个阶段的状态之间的关系来确定决策方法和状态转移方程

    (4)寻找边界条件:给出的状态转移方程是一个递推式,需要一个递推的终止条件或边界条件。

    一般,只要解决问题的阶段状态状态转移决策确定了,就可以写出状态转移方程(包括边界条件)。

实际应用中可以按以下几个简化的步骤进行设计:

    (1)分析最优解的性质,并刻画其结构特征。

    (2)递归的定义最优解。

    (3)以自底向上或自顶向下的记忆化方式(备忘录法)计算出最优值

    (4)根据计算最优值时得到的信息,构造问题的最优解

 


五、算法实现的说明

    动态规划的主要难点在于理论上的设计,也就是上面4个步骤的确定,一旦设计完成,实现部分就会非常简单。

     使用动态规划求解问题,最重要的就是确定动态规划三要素

    (1)问题的阶段 (2)每个阶段的状态

    (3)从前一个阶段转化到后一个阶段之间的递推关系

     递推关系必须是从次小的问题开始到较大的问题之间的转化,从这个角度来说,动态规划往往可以用递归程序来实现,不过因为递推可以充分利用前面保存的子问题的解来减少重复计算,所以对于大规模问题来说,有递归不可比拟的优势,这也是动态规划算法的核心之处

    确定了动态规划的这三要素,整个求解过程就可以用一个最优决策表来描述最优决策表是一个二维表,其中行表示决策的阶段,列表示问题状态,表格需要填写的数据一般对应此问题的在某个阶段某个状态下的最优值(如最短路径,最长公共子序列,最大价值等),填表的过程就是根据递推关系,从1行1列开始,以行或者列优先的顺序,依次填写表格,最后根据整个表格的数据通过简单的取舍或者运算求得问题的最优解。

          f(n,m)=max{f(n-1,m), f(n-1,m-w[n])+P(n,m)}

 


六、动态规划算法基本框架
复制代码
代码
   
   
1 for(j=1; j<=m; j=j+1) // 第一个阶段 2   xn[j] = 初始值; 3 4  for(i=n-1; i>=1; i=i-1)// 其他n-1个阶段 5   for(j=1; j>=f(i); j=j+1)//f(i)与i有关的表达式 6 xi[j]=j=max(或min){g(xi-1[j1:j2]), ......, g(xi-1[jk:jk+1])}; 8 9 t = g(x1[j1:j2]); // 由子问题的最优解求解整个问题的最优解的方案 10 11 print(x1[j1]); 12 13 for(i=2; i<=n-1; i=i+1 15 { 17 t = t-xi-1[ji]; 18 19 for(j=1; j>=f(i); j=j+1) 21 if(t=xi[ji]) 23 break; 25 } 七、动态规划经典题目

1.最大连续子序列之和

解法1—O(N^2)解法

因为最大连续子序列和只可能从数组0到n-1中某个位置开始,我们可以遍历0到n-1个位置,计算由这个位置开始的所有连续子序列和中的最大值。最终求出最大值即可。

更详细的讲,就是计算从位置0开始的最大连续子序列和,从位置1开始的最大连续子序列和。。。直到从位置n-1开始的最大连续子序列和,最后求出所有这些连续子序列和中的最大值就是答案。

解法2—O(NlgN)解法

该问题还可以通过分治法来求解,最大连续子序列和要么出现在数组左半部分,要么出现在数组右半部分,要么横跨左右两半部分。因此求出这三种情况下的最大值就可以得到最大连续子序列和。

解法3—O(N)解法

还有一种更好的解法,只需要O(N)的时间。因为最大 连续子序列和只可能是以位置0~n-1中某个位置结尾。当遍历到第i个元素时,判断在它前面的连续子序列和是否大于0,如果大于0,则以位置i结尾的最大连续子序列和为元素i和前门的连续子序列和相加;否则,则以位置i结尾的最大连续子序列和为元素i。

package 动态规划;
public class 最大连续子序列之和 {
	
	public static void main(String args[]) {
		// TODO Auto-generated method stub
		int arr[] = {3,-4,1,5,2};
		System.out.println("解法1—O(N^2)解法 : " + maxsequence1(arr, 5) );
		System.out.println("解法2—O(NlgN)解法 : " + maxsequence2(arr, 1,4) );
		System.out.println("解法3—O(N)解法 : " + maxsequence3(arr, 5) );
			
		
	}
	
	//解法1—O(N^2)解法 :
	public static int maxsequence1(int arr[], int len)  
    {  
        int max = arr[0]; //初始化最大值为第一个元素  
        for (int i=0; i
      
        max)  
                    max = sum;  
            }  
        }  
        return max;  
    }  
	
	//解法2—O(NlgN)解法 
   public static int maxsequence2(int a[], int l, int u)  
    {  
        if (l > u) return 0;  
        if (l == u) return a[l];  
        int m = (l + u) / 2;  
      
        /*求横跨左右的最大连续子序列左半部分*/     
        int lmax=a[m], lsum=0;  
        for (int i=m; i>=l; i--) {  
            lsum += a[i];  
            if (lsum > lmax)  
                lmax = lsum;  
        }  
          
        /*求横跨左右的最大连续子序列右半部分*/     
        int rmax=a[m+1], rsum = 0;   
        for (int i=m+1; i rmax)   
                rmax = rsum;   
        }  
        return max3(lmax+rmax, maxsequence2(a, l, m), maxsequence2(a, m+1, u)); //返回三者最大值  
    }  
      
    /*求三个数最大值*/  
   public static  int max3(int i, int j, int k)  
    {  
        if (i>=j && i>=k)  
            return i;  
        return max3(j, k, i);  
    }   
   
   //解法3—O(N)解法
   public static int maxsequence3(int a[], int len)  
   {  
       int maxsum, maxhere;  
       maxsum = maxhere = a[0];   //初始化最大和为a【0】  
       for (int i=1; i
       
       
         maxsum) {  
               maxsum = maxhere;  //更新最大连续子序列和  
           }  
       }  
       return maxsum;  
   }  
}

       
       
      
      

2.数塔问题

  • /* 
  • 数塔问题: 
  • 9 
  • 12 15 
  • 10 6 8 
  • 2 18 9 5 
  • 19 7 10 4 16 
  • 有形如图所示的数塔,从顶部出发,在每一结点可以选择向左走或是向右走, 
  • 一直走到底层,要求找出一条路径,使路径上的值最大。 
  • 这道题如果用枚举法,在数塔层数稍大的情况下(如40),则需要列举出的路径条数将是一个非常庞大的数目。 
  • 如果用贪心法又往往得不到最优解。 
  • 在用动态规划考虑数塔问题时可以自顶向下的分析,自底向上的计算。 
  • 从顶点出发时到底向左走还是向右走应取决于是从左走能取到最大值还是从右走能取到最大值, 
  • 只要左右两道路径上的最大值求出来了才能作出决策。 
  • 同样的道理下一层的走向又要取决于再下一层上的最大值是否已经求出才能决策。 
  • 这样一层一层推下去,直到倒数第二层时就非常明了。 
  • 如数字2,只要选择它下面较大值的结点19前进就可以了。 
  • 所以实际求解时,可从底层开始,层层递进,最后得到最大值。 
  • 总结:此题是最为基础的动态规划题目,阶段、状态的划分一目了然。 
  •       而决策的记录,充分体现了动态规划即“记忆化搜索”的本质。 
  • */ 
    package 动态规划;
    
    public class 数塔问题 {
    
    	public static void main(String[] args) {
    		// TODO Auto-generated method stub
    		int i,j;  
    	    int data[][] = {  
    	            {9,0,0,0,0},  
    	            {12,15,0,0,0},  
    	            {10,6,8,0,0},  
    	            {2,18,9,5,0},  
    	            {19,7,10,4,16}  
    	        };  
    	        for(i = 4; i > 0; i--)  
    	            for(j = 0; j  data[i][j+1] ? data[i][j] : data[i][j+1];  
    	          
    	       System.out.println(data[0][0]);  
    	}
    
    }
    

    3.背包问题

    package 动态规划;
    
    public class 背包问题 {
    
    	public static void main(String[] args) {
    		// TODO Auto-generated method stub
    		int v = 10 ;    
    	    int n = 5 ;      
    	       
    	    int value[] = {0, 8 , 10 , 4 , 5 , 5};       
    	    int weight[] = {0, 6 , 4 , 2 , 4 , 3};     
    	    int i,j;      
    	    int[][] dp= new int[n+1][v+1];  
    	    for(i = 0; i = weight[i])  {
    	            	int max = dp[i-1][j]>(dp[i-1][j-weight[i]] + value[i]) ? dp[i-1][j] :(dp[i-1][j-weight[i]] + value[i]);
    	            	dp[i][j]=max;
    	            }
    	            else  
    	                dp[i][j] = dp[i-1][j];  
    	        }  
    	    }  
    	  
    	    System.out.println(dp[n][v]);  
    	}
    
    }
    
    更多参考:http://blog.csdn.net/zmazon/article/details/8247015
  • 相关文章
    |
    2月前
    |
    存储 算法
    深入了解动态规划算法
    深入了解动态规划算法
    62 1
    |
    2月前
    |
    算法 测试技术 C++
    【动态规划算法】蓝桥杯填充问题(C/C++)
    【动态规划算法】蓝桥杯填充问题(C/C++)
    |
    5月前
    |
    算法 开发者 Python
    惊呆了!Python算法设计与分析,分治法、贪心、动态规划...这些你都会了吗?不会?那还不快来学!
    【7月更文挑战第10天】探索编程巅峰,算法至关重要。Python以其易读性成为学习算法的首选。分治法,如归并排序,将大问题拆解;贪心算法,如找零问题,每步求局部最优;动态规划,如斐波那契数列,利用子问题解。通过示例代码,理解并掌握这些算法,提升编程技能,面对挑战更加从容。动手实践,体验算法的神奇力量吧!
    74 8
    |
    5月前
    |
    算法 Python
    算法不再难!Python分治法、贪心、动态规划实战解析,轻松应对各种算法挑战!
    【7月更文挑战第8天】掌握Python算法三剑客:分治、贪心、动态规划。分治如归并排序,将大问题拆解递归解决;贪心策略在每步选最优解,如高效找零;动态规划利用子问题解,避免重复计算,解决最长公共子序列问题。实例展示,助你轻松驾驭算法!**
    72 3
    |
    29天前
    |
    算法 Python
    在Python编程中,分治法、贪心算法和动态规划是三种重要的算法。分治法通过将大问题分解为小问题,递归解决后合并结果
    在Python编程中,分治法、贪心算法和动态规划是三种重要的算法。分治法通过将大问题分解为小问题,递归解决后合并结果;贪心算法在每一步选择局部最优解,追求全局最优;动态规划通过保存子问题的解,避免重复计算,确保全局最优。这三种算法各具特色,适用于不同类型的问题,合理选择能显著提升编程效率。
    41 2
    |
    2月前
    |
    算法
    动态规划算法学习三:0-1背包问题
    这篇文章是关于0-1背包问题的动态规划算法详解,包括问题描述、解决步骤、最优子结构性质、状态表示和递推方程、算法设计与分析、计算最优值、算法实现以及对算法缺点的思考。
    81 2
    动态规划算法学习三:0-1背包问题
    |
    2月前
    |
    算法
    动态规划算法学习四:最大上升子序列问题(LIS:Longest Increasing Subsequence)
    这篇文章介绍了动态规划算法中解决最大上升子序列问题(LIS)的方法,包括问题的描述、动态规划的步骤、状态表示、递推方程、计算最优值以及优化方法,如非动态规划的二分法。
    76 0
    动态规划算法学习四:最大上升子序列问题(LIS:Longest Increasing Subsequence)
    |
    2月前
    |
    算法
    动态规划算法学习二:最长公共子序列
    这篇文章介绍了如何使用动态规划算法解决最长公共子序列(LCS)问题,包括问题描述、最优子结构性质、状态表示、状态递归方程、计算最优值的方法,以及具体的代码实现。
    158 0
    动态规划算法学习二:最长公共子序列
    |
    2月前
    |
    存储 人工智能 算法
    【算法——动态规划】蓝桥ALGO-1007 印章(C/C++)
    【算法——动态规划】蓝桥ALGO-1007 印章(C/C++)
    【算法——动态规划】蓝桥ALGO-1007 印章(C/C++)
    |
    2月前
    |
    存储 算法
    动态规划算法学习一:DP的重要知识点、矩阵连乘算法
    这篇文章是关于动态规划算法中矩阵连乘问题的详解,包括问题描述、最优子结构、重叠子问题、递归方法、备忘录方法和动态规划算法设计的步骤。
    124 0