DELL R410服务器宕机案例(3)

简介:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
我的博客已迁移到xdoujiang.com请去那边和我交流
Apr 20 16:20:06 10.1.1.1 DMA32: 
Apr 20 16:20:06 10.1.1.1 1*4kB 
Apr 20 16:20:06 10.1.1.1 0*8kB 
Apr 20 16:20:06 10.1.1.1 1*16kB 
Apr 20 16:20:06 10.1.1.1 0*32kB 
Apr 20 16:20:06 10.1.1.1 2*64kB 
Apr 20 16:20:06 10.1.1.1 0*128kB 
Apr 20 16:20:06 10.1.1.1 0*256kB 
Apr 20 16:20:06 10.1.1.1 0*512kB 
Apr 20 16:20:06 10.1.1.1 1*1024kB 
Apr 20 16:20:06 10.1.1.1 1*2048kB 
Apr 20 16:20:06 10.1.1.1 5*4096kB 
Apr 20 16:20:06 10.1.1.1 = 23700kB
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 Normal: 
Apr 20 16:20:06 10.1.1.1 0*4kB 
Apr 20 16:20:06 10.1.1.1 0*8kB 
Apr 20 16:20:06 10.1.1.1 0*16kB 
Apr 20 16:20:06 10.1.1.1 1*32kB 
Apr 20 16:20:06 10.1.1.1 0*64kB 
Apr 20 16:20:06 10.1.1.1 0*128kB 
Apr 20 16:20:06 10.1.1.1 1*256kB 
Apr 20 16:20:06 10.1.1.1 1*512kB 
Apr 20 16:20:06 10.1.1.1 1*1024kB 
Apr 20 16:20:06 10.1.1.1 0*2048kB 
Apr 20 16:20:06 10.1.1.1 1*4096kB 
Apr 20 16:20:06 10.1.1.1 = 5920kB
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 HighMem: 
Apr 20 16:20:06 empty  
Apr 20 16:20:06 Swap cache: add 39530881, delete 39532596,  find  16672794 /18285464 , race 28+613
Apr 20 16:20:06 Free swap  = 0kB
Apr 20 16:20:06 Total swap = 7823612kB
Apr 20 16:20:06 Free swap:            0kB
Apr 20 16:20:06 2293760 pages of RAM
Apr 20 16:20:06 251202 reserved pages
Apr 20 16:20:06 39722 pages shared
Apr 20 16:20:06 10.1.1.1 [] pages swap cached
Apr 20 16:20:06 10.1.1.1 oom-killer: gfp_mask=0x280d2, order=0
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Call Trace: 
Apr 20 16:20:06 10.1.1.1  [<ffffffff802a66b4>] out_of_memory+0x33 /0x216
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020e020>] __alloc_pages+0x220 /0x2a9
Apr 20 16:20:06 10.1.1.1  [<ffffffff80208546>] __handle_mm_fault+0x1a3 /0x91a
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020a69c>] do_page_fault+0x39d /0x706
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020b009>] vfs_read+0x13c /0x171
Apr 20 16:20:06 10.1.1.1  [<ffffffff80258925>] error_exit+0x0 /0x84
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 10.1.1.1 Mem-info: 
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 DMA per-cpu: 
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 cpu 0 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 0 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 1 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 1 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 2 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 2 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 3 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 3 cold: high 0, batch 1 used:0
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 DMA32 per-cpu: 
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 cpu 0 hot: high 186, batch 31 used:35
Apr 20 16:20:06 cpu 0 cold: high 62, batch 15 used:19
Apr 20 16:20:06 cpu 1 hot: high 186, batch 31 used:17
Apr 20 16:20:06 cpu 1 cold: high 62, batch 15 used:55
Apr 20 16:20:06 cpu 2 hot: high 186, batch 31 used:30
Apr 20 16:20:06 cpu 2 cold: high 62, batch 15 used:48
Apr 20 16:20:06 cpu 3 hot: high 186, batch 31 used:12
Apr 20 16:20:06 cpu 3 cold: high 62, batch 15 used:56
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 Normal per-cpu: 
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 cpu 0 hot: high 186, batch 31 used:22
Apr 20 16:20:06 cpu 0 cold: high 62, batch 15 used:21
Apr 20 16:20:06 cpu 1 hot: high 186, batch 31 used:14
Apr 20 16:20:06 cpu 1 cold: high 62, batch 15 used:59
Apr 20 16:20:06 cpu 2 hot: high 186, batch 31 used:15
Apr 20 16:20:06 cpu 2 cold: high 62, batch 15 used:29
Apr 20 16:20:06 cpu 3 hot: high 186, batch 31 used:56
Apr 20 16:20:06 cpu 3 cold: high 62, batch 15 used:53
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 HighMem per-cpu: 
Apr 20 16:20:06 10.1.1.1  empty
Apr 20 16:20:06 Free pages:       42168kB (0kB HighMem)
Apr 20 16:20:06 10.1.1.1 Active: 794087 inactive:1196940 dirty:0 writeback:0 unstable:0  free :10542 slab:13489 mapped:53 pagetables:15831
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 DMA  free : 12548kB min:16kB low:20kB high:24kB active:0kB inactive:0kB present:12200kB pages_scanned:0 all_unreclaimable?  yes
Apr 20 16:20:06 10.1.1.1 lowmem_reserve[]: 
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  3246
Apr 20 16:20:06 10.1.1.1  8044
Apr 20 16:20:06 10.1.1.1  8044
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 DMA32  free : 23700kB min:4628kB low:5784kB high:6940kB active:3205620kB inactive:23368kB present:3324740kB pages_scanned:810574620 all_unreclaimable? no
Apr 20 16:20:06 10.1.1.1 lowmem_reserve[]: 
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  4797
Apr 20 16:20:06 10.1.1.1  4797
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 Normal  free : 5920kB min:6840kB low:8548kB high:10260kB active:5744kB inactive:4729248kB present:4912640kB pages_scanned:1232655726 all_unreclaimable? no
Apr 20 16:20:06 10.1.1.1 lowmem_reserve[]: 
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 HighMem  free : 0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
Apr 20 16:20:06 10.1.1.1 lowmem_reserve[]: 
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  0
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 DMA: 
Apr 20 16:20:06 10.1.1.1 3*4kB 
Apr 20 16:20:06 10.1.1.1 5*8kB 
Apr 20 16:20:06 10.1.1.1 5*16kB 
Apr 20 16:20:06 10.1.1.1 4*32kB 
Apr 20 16:20:06 10.1.1.1 4*64kB 
Apr 20 16:20:06 10.1.1.1 2*128kB 
Apr 20 16:20:06 10.1.1.1 0*256kB 
Apr 20 16:20:06 10.1.1.1 1*512kB 
Apr 20 16:20:06 10.1.1.1 1*1024kB 
Apr 20 16:20:06 10.1.1.1 1*2048kB 
Apr 20 16:20:06 10.1.1.1 2*4096kB 
Apr 20 16:20:06 10.1.1.1 = 12548kB
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 DMA32: 
Apr 20 16:20:06 10.1.1.1 1*4kB 
Apr 20 16:20:06 10.1.1.1 0*8kB 
Apr 20 16:20:06 10.1.1.1 1*16kB 
Apr 20 16:20:06 10.1.1.1 0*32kB 
Apr 20 16:20:06 10.1.1.1 2*64kB 
Apr 20 16:20:06 10.1.1.1 0*128kB 
Apr 20 16:20:06 10.1.1.1 0*256kB 
Apr 20 16:20:06 10.1.1.1 0*512kB 
Apr 20 16:20:06 10.1.1.1 1*1024kB 
Apr 20 16:20:06 10.1.1.1 1*2048kB 
Apr 20 16:20:06 10.1.1.1 5*4096kB 
Apr 20 16:20:06 10.1.1.1 = 23700kB
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 Normal: 
Apr 20 16:20:06 10.1.1.1 0*4kB 
Apr 20 16:20:06 10.1.1.1 0*8kB 
Apr 20 16:20:06 10.1.1.1 0*16kB 
Apr 20 16:20:06 10.1.1.1 1*32kB 
Apr 20 16:20:06 10.1.1.1 0*64kB 
Apr 20 16:20:06 10.1.1.1 0*128kB 
Apr 20 16:20:06 10.1.1.1 1*256kB 
Apr 20 16:20:06 10.1.1.1 1*512kB 
Apr 20 16:20:06 10.1.1.1 1*1024kB 
Apr 20 16:20:06 10.1.1.1 0*2048kB 
Apr 20 16:20:06 10.1.1.1 1*4096kB 
Apr 20 16:20:06 10.1.1.1 = 5920kB
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 10.1.1.1 HighMem: 
Apr 20 16:20:06 empty  
Apr 20 16:20:06 Swap cache: add 39530881, delete 39532596,  find  16672794 /18285464 , race 28+613
Apr 20 16:20:06 Free swap  = 0kB
Apr 20 16:20:06 Total swap = 7823612kB
Apr 20 16:20:06 Free swap:            0kB
Apr 20 16:20:06 2293760 pages of RAM
Apr 20 16:20:06 251202 reserved pages
Apr 20 16:20:06 39699 pages shared
Apr 20 16:20:06 10.1.1.1 [] pages swap cached
Apr 20 16:20:06 10.1.1.1 oom-killer: gfp_mask=0x280d2, order=0
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 Call Trace: 
Apr 20 16:20:06 10.1.1.1  [<ffffffff802a66b4>] out_of_memory+0x33 /0x216
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020e020>] __alloc_pages+0x220 /0x2a9
Apr 20 16:20:06 10.1.1.1  [<ffffffff80208546>] __handle_mm_fault+0x1a3 /0x91a
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020a69c>] do_page_fault+0x39d /0x706
Apr 20 16:20:06 10.1.1.1  [<ffffffff8020b009>] vfs_read+0x13c /0x171
Apr 20 16:20:06 10.1.1.1  [<ffffffff80258925>] error_exit+0x0 /0x84
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 10.1.1.1 Mem-info: 
Apr 20 16:20:06 Node 0 
Apr 20 16:20:06 DMA per-cpu: 
Apr 20 16:20:06 10.1.1.1  
Apr 20 16:20:06 cpu 0 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 0 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 1 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 1 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 2 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 2 cold: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 3 hot: high 0, batch 1 used:0
Apr 20 16:20:06 cpu 3 cold: high 0, batch 1 used:0
==============================================================================
DELL R410的机器 查看日志发现是内存和swap(原来是8G)都用完宕机,之后找到相应项目沟通
1、修改相应程序
2、加大物理内存









本文转自 xdoujiang 51CTO博客,原文链接:http://blog.51cto.com/7938217/1650782,如需转载请自行联系原作者
目录
相关文章
|
1天前
|
运维 数据挖掘 索引
服务器数据恢复—Lustre分布式文件系统服务器数据恢复案例
5台节点服务器,每台节点服务器上有一组RAID5阵列。每组RAID5阵列上有6块硬盘(其中1块硬盘设置为热备盘,其他5块硬盘为数据盘)。上层系统环境为Lustre分布式文件系统。 机房天花板漏水导致这5台节点服务器进水,每台服务器都有至少2块硬盘出现故障。每台服务器中的RAID5阵列短时间内同时掉线2块或以上数量的硬盘,导致RAID崩溃,服务器中数据无法正常读取。
|
6天前
|
存储 数据挖掘
服务器数据恢复—V7000存储上多块Mdisk成员盘出现故障的数据恢复案例
服务器存储数据恢复环境: 一台V7000存储上共12块SAS机械硬盘(其中1块是热备盘),组建了2组Mdisk,创建了一个pool。挂载在小型机上作为逻辑盘使用,小型机上安装的AIX+Sybase。 服务器存储故障: V7000存储中磁盘出现故障,管理员发现问题后立即更换磁盘。新更换的硬盘在上线同步数据的时候,存储上另一块磁盘也出现问题,导致逻辑盘无法挂接在小型机上,业务暂时中断。V7000存储的管理界面上显示两块硬盘故障脱机。 pool无法加载,其中三个通用卷均无法挂载。
|
1月前
|
存储 Oracle 关系型数据库
服务器数据恢复—EVA存储硬盘读写性能不稳定掉线的数据恢复案例
服务器存储数据恢复环境: 一台EVA某型号控制器+EVA扩展柜+FC磁盘。 服务器存储故障&检测: 磁盘故障导致该EVA存储中LUN不可用,导致上层应用无法正常使用。
97 47
|
15天前
|
安全 数据挖掘
服务器数据恢复—RAID5阵列中两块硬盘离线导致阵列崩溃的数据恢复案例
服务器数据恢复环境: 两组分别由4块SAS接口硬盘组建的raid5阵列,两组raid5阵列划分LUN并由LVM管理,格式化为EXT3文件系统。 服务器故障: RAID5阵列中一块硬盘未知原因离线,热备盘自动激活上线替换离线硬盘。在热备盘上线过程中,raid5阵列中又有一块硬盘离线。热备盘同步失败,该raid阵列崩溃,LVM结构变得不完整,文件系统无法正常使用。
|
20天前
|
存储 监控 调度
云服务器成本优化深度解析与实战案例
本文深入探讨了云服务器成本优化的策略与实践,涵盖基本原则、具体策略及案例分析。基本原则包括以实际需求为导向、动态调整资源、成本控制为核心。具体策略涉及选择合适计费模式、优化资源配置、存储与网络配置、实施资源监控与审计、应用性能优化、利用优惠政策及考虑多云策略。文章还通过电商、制造企业和初创团队的实际案例,展示了云服务器成本优化的有效性,最后展望了未来的发展趋势,包括智能化优化、多云管理和绿色节能。
|
23天前
|
存储 运维 数据挖掘
服务器数据恢复—EVA存储中多块硬盘离线导致存储崩溃的数据恢复案例
一台HP EVA存储中有23块硬盘,挂接到一台windows server操作系统的服务器。 EVA存储上有三个硬盘指示灯亮黄灯,此刻存储还能正常使用。管理员在更换硬盘的过程中,又出现一块硬盘对应的指示灯亮黄灯,存储崩溃,无法使用了。
|
1月前
|
数据挖掘 Linux 数据库
服务器数据恢复—reiserfs文件系统数据恢复案例
服务器数据恢复环境: 一台服务器中有一组由4块SAS硬盘组建的RAID5阵列,上层安装linux操作系统统。分区结构:boot分区+LVM卷+swap分区(按照顺序),LVM卷中划分了一个reiserfs文件系统作为根分区。 服务器故障: 服务器操作系统在运行过程中由于未知原因崩溃,管理员重装操作系统后发现分区结构变为:boot分区+swap分区+LVM卷(按照顺序),LVM卷中文件系统位置有个空的reiserfs超级块。 用户方需要恢复reiserfs文件系统中所有数据,包含数据库、网站程序与网页、OA系统中所有办公文档。
服务器数据恢复—reiserfs文件系统数据恢复案例
|
24天前
|
数据挖掘 Linux Windows
服务器数据恢复—服务器raid0数据恢复及数据迁移的案例
某品牌服务器上有一组由两块SAS硬盘组建的raid0阵列,上层是windows server操作系统+ntfs文件系统。服务器上一个硬盘指示灯显示黄颜色,该指示灯对应的硬盘离线,raid不可用。
|
7天前
|
存储 数据挖掘
服务器数据恢复—ZFS文件系统下数据恢复案例
服务器存储数据恢复环境: ZFS Storage 7320存储阵列中有32块硬盘。32块硬盘分为4组,每组8块硬盘,共组建了3组RAIDZ,每组raid都配置了热备盘。 服务器存储故障: 服务器存储运行过程中突然崩溃,排除人为误操作、断电、进水和其他机房不稳定因素。管理员重启服务器存储,系统无法进入,需要恢复服务器存储中的数据。
|
1月前
|
存储 Oracle 关系型数据库
服务器数据恢复—DS5300存储raid5阵列数据恢复案例
服务器存储数据恢复环境: 某单位一台某品牌型号为DS5300的服务器存储,1个机头+4个扩展柜,底层是2组分别由数十块硬盘组建的RAID5阵列。存储系统上层一共分了11个卷。 服务器存储故障&分析: 存储设备上一组raid5阵列上的2块磁盘出现故障,对应的硬盘指示灯亮黄灯,阵列崩溃,存储不可用。该组故障阵列上层存放的是Oracle数据库文件。

热门文章

最新文章