如何压缩程序占用内存的方法-阿里云开发者社区

开发者社区> 人工智能> 正文

如何压缩程序占用内存的方法

简介:
我在项目设计时设计系统容量计算出
当一个域名使用10个IP段时,4G的内存应该能支持到150个域名,但是写完代码后发现实际测试最多只是支持到90个。经过计算发现实际申请的内存总和达不到4G,其他的内存消耗在哪里呢?
最后发现消耗在malloc的次数上。
下面是我做的一个实验:《多次申请小块内存和少量申请大块内存比较测试》
1.被测试程序many_malloc.c :
 

  1. #include<stdio.h>  
  2.  
  3. #include<stdlib.h>  
  4.  
  5. #include<math.h>  
  6.  
  7. int main(int argc,char**argv){  
  8.  
  9.         if(argc < 3){  
  10.  
  11.                 printf("need malloc size and per malloc size");  
  12.  
  13.                 return 1;  
  14.  
  15.         }  
  16.  
  17.         //内存申请总量  
  18.  
  19.         int total_size=atoi(argv[1]);  
  20.  
  21.         //每次申请的大小  
  22.  
  23.         int per_size=atoi(argv[2]);  
  24.  
  25.         //申请的次数  
  26.  
  27.         int n=(int)total_size/per_size;  
  28.  
  29.         int i=0;  
  30.  
  31.         printf("malloc %d block\n",n);  
  32.  
  33.         //malloc memory  
  34.  
  35.         char**p=(char**)malloc(sizeof(char*)*n);  
  36.  
  37.         for(i=0;i<n;i++){  
  38.  
  39.            p[i]=(char*)malloc(sizeof(char)*per_size);  
  40.  
  41.         }  
  42.  
  43.         //这里等待10秒,这段时间,可以测试程序实际占用内存大小  
  44.  
  45.         sleep(10);  
  46.  
  47.         //free memory  
  48.  
  49.         for(i=0;i<n;i++){  
  50.  
  51.            free(p[i]);  
  52.  
  53.         }  
  54.  
  55.         free(p);  
  56.  

2.测试内存使用大小shell脚本,其中$!是上一个程序的pid

 


  1. $1 &  
  2. echo "$1 pid:$!" 
  3. sleep 3  
  4. pmap $!|grep total|awk -v pid="$!" '{print "pid",pid," memory:",$2}' 

3.测试结果

 

 

 

4.结果分析
1)申请内存总量相同的情况下,申请的次数越多,则要申请的指针越多,因而占用的内存就更大,甚至比要申请的总量还大,例如每次申请1字节的时候,就得申请1M个指针(而在32位下每个指针为4B),也就多出了4MB的内存。
2)每次申请1字节的时候,按照上面的计算应该是多出4MB,但是时间测试时,却多出了21MB,这样还差17MB没有找到
我找了malloc.c的源码,里面定义了
 

  1. #define MINSIZE (sizeof(struct malloc_chunk) + SIZE_SZ) /* MUST == 16! */ 
 
也就是说malloc里最小占用的是16字节,也就是说malloc每次申请的大小不是按照申请的大小来申请的,而是多申请了额外的16字节。还差的17MB应该是这个原因导致的。
3)理论上申请一块内存应该是占用最小的,但是上面出现一次申请1MB反而比4096小,这个目前尚未找到原因。
5.结论
1)写程序时(无论是那种语音),申请内存时,最好一次申请好需要使用的内存,不要一次次申请内存。可以一次申请一块大内存,用偏移访问。
2)不要申请过多的指针,指针可以加快访问速度,但是同时也占用了内存,最好反复使用。
3)申请内存时,最好申请大小为2的幂的内存块,这样可以尽量减少内存碎片,而最大限度地降低潜在的malloc性能丧失。也就是说,所分配的内存块大小最好为4字节、8字节、16字节,尽管看起来这好像浪费了空间,但也容易看出浪费的空间永远不会超过50%。最好的是每次分配的大小是系统页的大小的整数倍,那就更好。






     本文转自yifangyou 51CTO博客,原文链接:http://blog.51cto.com/yifangyou/609348,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章