Linux中vi命令详解
最近vi用的多,很多技巧不知道,备注一份,
vi编辑器是所有Unix及Linux系统下标准的编辑器,它的强大不逊色于任何最新的文本编辑器,这里只是简单地介绍一下它的用法和一小部分指令。由于 对Unix及Linux系统的任何版本,vi编辑器是完全相同的,因此您可以在其他任何介绍vi的地方进一步了解它。Vi也是Linux中最基本的文本编 辑器,学会它后,您将在Linux的世界里畅行无阻。
vi的基本概念
基本上vi可以分为三种状态,分别是命令模式(command mode)、插入模式(Insert mode)和底行模式(last line mode),各模式的功能区分如下:
1) 命令行模式command mode)
控制屏幕光标的移动,字符、字或行的删除,移动复制某区段及进入Insert mode下,或者到 last line mode。
2) 插入模式(Insert mode)
只有在Insert mode下,才可以做文字输入,按「ESC」键可回到命令行模式。
3) 底行模式(last line mode)
将文件保存或退出vi,也可以设置编辑环境,如寻找字符串、列出行号……等。
不过一般我们在使用时把vi简化成两个模式,就是将底行模式(last line mode)也算入命令行模式command mode)。
进入vi的命令
vi filename :打开或新建文件,并将光标置于第一行首
vi +n filename :打开文件,并将光标置于第n行首
vi + filename :打开文件,并将光标置于最后一行首
vi +/pattern filename:打开文件,并将光标置于第一个与pattern匹配的串处
vi -r filename :在上次正用vi编辑时发生系统崩溃,恢复filename
vi filename....filename :打开多个文件,依次进行编辑
移动光标类命令
h :光标左移一个字符
l :光标右移一个字符
space:光标右移一个字符
Backspace:光标左移一个字符
k或Ctrl+p:光标上移一行
j或Ctrl+n :光标下移一行
Enter :光标下移一行
w或W :光标右移一个字至字首
b或B :光标左移一个字至字首
e或E :光标右移一个字至字尾
) :光标移至句尾
( :光标移至句首
}:光标移至段落开头
{:光标移至段落结尾
nG:光标移至第n行首
n+:光标下移n行
n-:光标上移n行
n$:光标移至第n行尾
H :光标移至屏幕顶行
M :光标移至屏幕中间行
L :光标移至屏幕最后行
0:(注意是数字零)光标移至当前行首
$:光标移至当前行尾
屏幕翻滚类命令
Ctrl+u:向文件首翻半屏
Ctrl+d:向文件尾翻半屏
Ctrl+f:向文件尾翻一屏
Ctrl+b;向文件首翻一屏
nz:将第n行滚至屏幕顶部,不指定n时将当前行滚至屏幕顶部。
插入文本类命令
i :在光标前
I :在当前行首
a:光标后
A:在当前行尾
o:在当前行之下新开一行
O:在当前行之上新开一行
r:替换当前字符
R:替换当前字符及其后的字符,直至按ESC键
s:从当前光标位置处开始,以输入的文本替代指定数目的字符
S:删除指定数目的行,并以所输入文本代替之
ncw或nCW:修改指定数目的字
nCC:修改指定数目的行
删除命令
ndw或ndW:删除光标处开始及其后的n-1个字
do:删至行首
d$:删至行尾
ndd:删除当前行及其后n-1行
x或X:删除一个字符,x删除光标后的,而X删除光标前的
Ctrl+u:删除输入方式下所输入的文本
搜索及替换命令
/pattern:从光标开始处向文件尾搜索pattern
?pattern:从光标开始处向文件首搜索pattern
n:在同一方向重复上一次搜索命令
N:在反方向上重复上一次搜索命令
:s/p1/p2/g:将当前行中所有p1均用p2替代
:n1,n2s/p1/p2/g:将第n1至n2行中所有p1均用p2替代
:g/p1/s//p2/g:将文件中所有p1均用p2替换
选项设置
all:列出所有选项设置情况
term:设置终端类型
ignorance:在搜索中忽略大小写
list:显示制表位(Ctrl+I)和行尾标志($)
number:显示行号
report:显示由面向行的命令修改过的数目
terse:显示简短的警告信息
warn:在转到别的文件时若没保存当前文件则显示NO write信息
nomagic:允许在搜索模式中,使用前面不带“\”的特殊字符
nowrapscan:禁止vi在搜索到达文件两端时,又从另一端开始
mesg:允许vi显示其他用户用write写到自己终端上的信息
最后行方式命令
:n1,n2 co n3:将n1行到n2行之间的内容拷贝到第n3行下
:n1,n2 m n3:将n1行到n2行之间的内容移至到第n3行下
:n1,n2 d :将n1行到n2行之间的内容删除
:w :保存当前文件
:e filename:打开文件filename进行编辑
:x:保存当前文件并退出
:q:退出vi
:q!:不保存文件并退出vi
:!command:执行shell命令command
:n1,n2 w!command:将文件中n1行至n2行的内容作为command的输入并执行之,若不指定n1,n2,则表示将整个文件内容作为command的输入
:r!command:将命令command的输出结果放到当前行
寄存器操作
"?nyy:将当前行及其下n行的内容保存到寄存器?中,其中?为一个字母,n为一个数字
"?nyw:将当前行及其下n个字保存到寄存器?中,其中?为一个字母,n为一个数字
"?nyl:将当前行及其下n个字符保存到寄存器?中,其中?为一个字母,n为一个数字
"?p:取出寄存器?中的内容并将其放到光标位置处。这里?可以是一个字母,也可以是一个数字
ndd:将当前行及其下共n行文本删除,并将所删内容放到1号删除寄存器中。
VI的使用
--------------------------------------------------------------------------------
一、插入文本
┌──┬────────────┐
│命令│描述 │
├──┼────────────┤
│i │在当前字符前插入文本 │
├──┼────────────┤
│I │在行首插入文本 │
├──┼────────────┤
│a │在当前字符后添加文本 │
├──┼────────────┤
│A │在行末添加文本 │
├──┼────────────┤
│o │在当前行后面插入一空行 │
├──┼────────────┤
│O │在当前行前面插入一空行 │
├──┼────────────┤
│R │以改写方式输入文本 │
└──┴────────────┘
二、移动光标
┌─────┬───────────┐
│命令 │描述 │
├─────┼───────────┤
│j或下箭头 │向下移动一行 │
├─────┼───────────┤
│k或上箭头 │向上移动一行 │
├─────┼───────────┤
│h或左箭头 │左移一个字符 │
├─────┼───────────┤
│l或右箭头 │右移一个字符 │
├─────┼───────────┤
│w │右移一个词 │
├─────┼───────────┤
│W │右移一个以空格分隔的词│
├─────┼───────────┤
│b │左移一个词 │
├─────┼───────────┤
│B │左移一个以空格分隔的词│
├─────┼───────────┤
│0 │移到行首 │
│Ctrl-F │向前翻页 │
├─────┼───────────┤
│Ctrl-B │向后翻页 │
├─────┼───────────┤
│nG │到第n行 │
├─────┼───────────┤
│G │到最后一行 │
└─────┴───────────┘
三、替换文本
┌─────┬──────┐
│命令 │描述 │
├─────┼──────┤
│$ │到行尾 │
├─────┼──────┤
│( │到句子的开头│
├─────┼──────┤
│) │到句子的末尾│
├─────┼──────┤
│{ │到段落的开头│
├─────┼──────┤
│} │到段落的末尾│
└─────┴──────┘
四、删除文本
┌───┬───────────┐
│命令 │描述 │
├───┼───────────┤
│r │替换一个字符 │
├───┼───────────┤
│c │修改文本直到按下Esc健 │
├───┼───────────┤
│cw │修改下一个词 │
├───┼───────────┤
│cnw │修改接下来的n个词 │
└───┴───────────┘
五、文本编辑
┌──┬──────────────────────┐
│命寺│描述 │
├──┼──────────────────────┤
│yy │将一行文本移到缺省缓冲区中 │
├──┼──────────────────────┤
│yn │将下一个词移到缺省缓冲区中 │
├──┼──────────────────────┤
│ynw │将后面的n个词移到缺省缓冲区中 │
├──┼──────────────────────┤
│p │如果缺省缓冲区中包含一行文本,则在当前 │
│ │行后面插入一个空行井将缺省缓冲区中的声 │
│ │容粘贴到这一行中;如果缺省缓冲区中包含 │
│ │多个词,把这些词粘贴到光标的右边. │
├──┼──────────────────────┤
│P │如果缺省缓冲区中包含一行文本,则正当前 │
│ │行前面插入一个空行井将缺省缓冲区中的内 │
│ │容粘贴到这一行中;如果缺省缓冲区中包含 │
│ │多个词,把这些词粘贴到光标的左边
│
└──┴──────────────────────┘
六、保存退出
┌───────────┬───────────────┐
│命令 │描述 │
├───────────┼───────────────┤
│zz │保存并退出 │
├───────────┼───────────────┤
│:w filename │写入文件 │
├───────────┼───────────────┤
│:W │写入文件 │
├───────────┼───────────────┤
│:x │保存(如果当前文件修改过)并退出│
├───────────┼───────────────┤
│:q! │不保存文件,直接退出 │
├───────────┼───────────────┤
│:q │退出vi │
VI常用技巧
VI命令可以说是Unix/Linux世界里最常用的编辑文件的命令了,但是因为它的命令集众多,很多人都不习惯使用它,其实您只需要掌握基本命令,然后加以灵活运用,就会发现它的优势,并会逐渐喜欢使用这种方法。本文旨在介绍VI的一些最常用命令和高级应用技巧。
一、基本命令介绍
---- 1.光标命令
k、j、h、l——上、下、左、右光标移动命令。虽然您可以在Linux中使用键盘右边的4个光标键,但是记住这4个命令还是非常有用的。这4个键正是右手在键盘上放置的基本位置。
nG——跳转命令。n为行数,该命令立即使光标跳到指定行。
Ctrl+G——光标所在位置的行数和列数报告。
w、b——使光标向前或向后跳过一个单词。
---- 2.编辑命令
i、a、r——在光标的前、后以及所在处插入字符命令(i=insert、a=append、r=replace)。
cw、dw——改变(置换)/删除光标所在处的单词的命令 (c=change、d=delete)。
x、d$、dd——删除一个字符、删除光标所在处到行尾的所有字符以及删除整行的命令。
---- 3.查找命令
---- /string、?string——从光标所在处向后或向前查找相应的字符串的命令。
---- 4.拷贝复制命令
---- yy、p——拷贝一行到剪贴板或取出剪贴板中内容的命令。
二、常见问题及应用技巧
---- 1.在一个新文件中读/etc/passwd中的内容,取出用户名部分。
---- vi file
---- :r /etc/passwd 在打开的文件file中光标所在处读入/etc/passwd
---- :%s/:.*//g 删除/etc/passwd中用户名后面的从冒号开始直到行尾的所有部分。
---- 您也可以在指定的行号后读入文件内容,例如使用命令“:3r /etc/passwd”从新文件的第3行开始读入 /etc/passwd的所有内容。
---- 我们还可以使用以下方法删掉文件中所有的空行及以#开始的注释行。
---- #cat squid.conf.default | grep -v ^$ | grep -v ^#
---- 2.在打开一个文件编辑后才知道登录的用户对该文件没有写的权限,不能存盘,需要将所做修改存入临时文件。
---- vi file
---- :w /tmp/1 保存所做的所有修改,也可以将其中的某一部分修改保存到临时文件,例如仅仅把第20~59行之间的内容存盘成文件/tmp/1,我们可以键入如下命令。
---- vi file
---- :20,59w /tmp/1
---- 3.用VI编辑一个文件,但需要删除大段的内容。
---- 首先利用编辑命令“vi file”打开文件,然后将光标移到需要删除的行处按Ctrl+G显示行号,再到结尾处再按Ctrl+G,显示文件结尾的行号。
---- :23,1045d 假定2次得到的行号为23和1045,则把这期间的内容全删除,也可以在要删除的开始行和结束行中用ma、mb命令标记,然后利用“:a,bd”命令删除。
---- 4.在整个文件的各行或某几行的行首或行尾加一些字符串。
---- vi file
---- :3,$s/^/some string / 在文件的第一行至最后一行的行首插入“some string”。
---- :%s/$/some string/g 在整个文件每一行的行尾添加“some string”。
---- :%s/string1/string2/g 在整个文件中替换“string1”成“string2”。
---- :3,7s/string1/string2/ 仅替换文件中的第3行到第7行中的“string1”成“string2”。
---- 注意: 其中s为substitute,%表示所有行,g表示global。
---- 5.同时编辑2个文件,拷贝一个文件中的文本并粘贴到另一个文件中。
---- vi file1 file2
---- yy 在文件1的光标处拷贝所在行
---- :n 切换到文件2 (n=next)
---- p 在文件2的光标所在处粘贴所拷贝的行
---- :n 切换回文件1
---- 6.替换文件中的路径。
---- 使用命令“:%s#/usr/bin#/bin#g”可以把文件中所有路径/usr/bin换成/bin。也可以使用命令“:%s//usr/bin//bin/g”实现,其中“”是转义字符,表明其后的“/”字符是具有实际意义的字符,不是分隔符。
以上所述是小编给大家介绍的Linux中vi命令大全的全部叙述,希望大家喜欢。
freebsd 遇到的问题总结
freebsd遇到的问题?
1。reebsd里改变您用的Shell
现/usr/local/bin/bash:NO such file or directory解决方法
登陆FreeBSD时出现/usr/local/bin/bash:NO such file or directory,是因为上回用root登陆时执行了
chsh -s /usr/local/bin/bash
又没安装bash,导致root用户无法登陆
解决方法:启动FreeBSD时选择4进入单用户模式,输入“boot -s”进入单用户的提示符“#”,依次键入如下命令:
fsck -p
mount -u /
mount -a -t ufs
swapon -a
chsh -s /bin/csh
完成!
改变您的Shell的最简单方法是使用 chsh 命令。 执行 chsh 将根据您设定的EDITOR 环境变量进入到那个编辑器,假如没有设定,就会进入vi编辑器。请改变“Shell:”这行对应值。
您可使用chsh 的-s选项,这样就能设置您的shell却又不用编辑器。假如您想把shell改为bash 可用下面的技巧。
% chsh -s /usr/local/bin/bash
注意: 您使用的shells必须 在/etc/shells 文件里列出。 假如您从 ports里装一个shell, 那就不用做这步了。假如您手工装一个shell,那就要手工添加进去。
举个例了子,假如您手工把 bash装到 /usr/local/bin里,您还要进行这一步:
# echo "/usr/local/bin/bash" >> /etc/shells
然后运行chsh。
2sshd的配置文件一般位于/etc/ssh/sshd_config。
终端下:#ee /etc/ssh/sshd_config
---------------------------------------------
#Protocol 2,1
修改为:
Protocol 2
#ListenAddress 0.0.0.0
修改为:
ListenAddress 0.0.0.0
#PermitRootLogin yes
修改为
PermitRootLogin yes
(Linux上默认允许root用户登录,此处可不修改。)
修改完成后重启sshd:
/etc/rc.d/sshd restart
-------------------------------
现在即可ssh登陆.
3安装unzip的方法是:
-->whereis unzip 查找port源
一般是/usr/ports/archivers/unzip
cd /usr/ports/archivers/unzip
make install clean
rehash ---在不重启服务器的条件使安装了的命令生效
就可以用unzip命令了 。。
然后通过ftp上传PHPWind_GBK_5[1].3.zip
用unzip PHPWind_GBK_5[1].3.zip
在服务器上解压。。
4FreeBSD vi的使用
FreeBSD下的最基本编辑器为ee,ee编辑器是一种简单易用的编辑器,它在启动之后,将一些操作的组合热键放在了屏幕的上方,用户可以随时得到提示。而如果需要进行保存、退出等操作时,使用Esc键则可以激活菜单,进行相应的操作。Ee还是系统安装程序所使用的缺省编辑器。
另一种更为流行的编辑器是vi,vi是Unix下的一种标准编辑工具,几乎所有的Unix都支持这个编辑器,并将其作为基本配置。因此,对于一个Unix系统管理员来讲,掌握vi应该是基本功之一。
然而,由于vi是为了使用终端的使用者来设计的,就与习惯于使用个人计算机的用户的一些习惯有些矛盾,因此很多用户都抱怨讲vi是非常难用的一种编辑器,例如,打算使用箭头键移动光标,却有时成功,有时输入了一些乱七八糟的字符等等。
这些错误的原因是用户没有了解vi操作的一些基本原则,原则上,vi是为了只使用键盘进行输入的用户进行设计的,如果使用者的手总是在键盘、鼠标之间换来换去,在主键盘和小键盘之间换来换去,在主键盘和方向键之间换来换去,就很难认识到vi的魅力的。因此,对于达到了接近盲打层次的输入者,就会自然而然的认识到vi在输入方面的优势。
由于vi只使用主键盘,那么当需要控制vi的时候,就需要输入一些与普通输入过程不同的指令,在Windows编辑器中,是使用菜单,有些编辑器是使用组合键,而vi则使用一个不同的命令模式,允许用户输入控制指令。
因此,vi分为两个基本模式,一个为命令模式,另一个为编辑模式,当处于编辑模式的时候,不能做移动光标、删除字符等操作,而处于命令模式的时候,键盘输入的都是控制命令,当然包括使用”:”使用户能输入一系列的指令,例如使用”:w”保存文件,”:x”保存文件并退出系统,”:q”放弃保存文件并退出系统,等等。
使用Esc键使vi从编辑模式转换到命令模式,使用’i’、’A’等键盘命令使vi从命令模式转换到编辑模式。
设计vi的目的是仅仅利用基本键盘,不需要扩展键盘的帮助就能完成所有的基本操作,使用vi的时候不需要Ctrl、箭头等特殊的键,唯一需要的特殊键为Esc键,这对于一个熟悉键盘的输入者来讲,是非常友好的。当一个使用者使用’F’和’J’键上的特殊突起确定了手的位置之后,他的右手不需要移动的,他的左手只需要在按ESC键的是否略微离开一些标准的输入位置,使用者能很轻松的可以使用h,j,k,l来移动光标的位置,使用x删除自负,使用i转换到编辑模式,等等,由于不需要额外的移动,输入的效率事实上更高。
一个熟练的vi使用者是不需要将手离开基本键盘,去使用箭头键或鼠标进行操作的,个人计算机的标准101键盘对于熟悉键盘的操作人员来讲,明显是一种浪费。
以下是一些常用的vi指令例子:
在vi中按 u 是撤销上一次操作
Ctrl+R恢复到撤销操作之前的状态
bash 命令行的撤销修改:ESC + CTRL + R:D
Esc 返回命令状态,如果不清楚当前状态,最好使用这个键确保处于命令状态;
h 向左移动光标;
j 向上移动光标;
k 向下移动光标;
l 向右移动光标;
i 在当前位置上进入输入状态;
A 在行尾进入输入状态;
x 删除当前字符;
dd 删除当前行,并放入缓冲区;
d7d 删除7行并放入缓冲区,可以改变7为任意其他数字;
yy 复制当前行并放入缓冲区;
y17y 复制17行并放入缓冲区,可以改变17为任意其他数字;
p 将dd、yy等放在缓冲区的数据粘贴在下一行;
1G 跳到文件的第一行,0表示文件的末尾;
+10G 向前跳10行;
-10G 向后跳10行;
/somestring 向后搜索somestring;
?somestring 向前搜索somestring;
n 重复上次搜索动作;
:w 保存文件;
:w filename 保存当前编辑的文件到filename中;
:q 退出vi,如果文件已经改变则退出失败;
:q! 强制退出vi,不管文件是否被更改过,!用于强制vi执行操作;
保存退出,相当于:wq;
:e filename,编辑另一个文件filename,如果放弃当前改变,使用!强制;
:% s/string1/string2/g 在整个文件范围内查找string1,用string2替换;
———————————–
vi指令大全
vi指令大全
进入vi的命令
============
vi filename: 打开或新建文件,并将光标置于第一行首
vi +n filename: 打开文件,并将光标置于第n行首
vi + filename: 打开文件,并将光标置于最后一行首
vi +/pattern filename: 打开文件,并将光标置于第一个与pattern匹配的串处
vi -r filename: 在上次正用vi编辑时发生系统崩溃,恢复filename
vi filename….filename: 打开多个文件,依次进行编辑
移动光标类命令
==============
h: 光标左移一个字符
l: 光标右移一个字符
space: 光标右移一个字符
Backspace: 光标左移一个字符
k或Ctrl+p: 光标上移一行
j或Ctrl+n: 光标下移一行
Enter: 光标下移一行
w或W : 光标右移一个字至字首
b或B : 光标左移一个字至字首
e或E : 光标右移一个字至字尾
): 光标移至句尾
(: 光标移至句首
}: 光标移至段落开头
{: 光标移至段落结尾
nG: 光标移至第n行首
n+: 光标下移n行
n-: 光标上移n行
n$: 光标移至第n行尾
H: 光标移至屏幕顶行
M: 光标移至屏幕中间行
L: 光标移至屏幕最后行
0: 光标移至当前行首
$: 光标移至当前行尾
屏幕翻滚类命令
==============
Ctrl+u: 向文件首翻半屏
Ctrl+d: 向文件尾翻半屏
Ctrl+f: 向文件尾翻一屏
Ctrl+b: 向文件首翻一屏
nz: 将第n行滚至屏幕顶部,不指定n时将当前行滚至屏幕顶部。
插入文本类命令
==============
i: 在光标前
I: 在当前行首
a: 光标后
A: 在当前行尾
o: 在当前行之下新开一行
O: 在当前行之上新开一行
r: 替换当前字符
R: 替换当前字符及其后的字符,直至按ESC键
s: 从当前光标位置处开始,以输入的文本替代指定数目的字符
S: 删除指定数目的行,并以所输入文本代替之
ncw或nCW: 修改指定数目的字
nCC: 修改指定数目的行
删除命令
========
ndw或ndW: 删除光标处开始及其后的n-1个字
do: 删至行首
d$: 删至行尾
ndd: 删除当前行及其后n-1行
x或X: 删除一个字符,x删除光标后的,而X删除光标前的
Ctrl+u: 删除输入方式下所输入的文本
搜索及替换命令
==============
/pattern: 从光标开始处向文件尾搜索pattern
?pattern: 从光标开始处向文件首搜索pattern
n: 在同一方向重复上一次搜索命令
N: 在反方向上重复上一次搜索命令
:s/p1/p2/g: 将当前行中所有p1均用p2替代
:n1,n2s/p1/p2/g: 将第n1至n2行中所有p1均用p2替代
:g/p1/s//p2/g: 将文件中所有p1均用p2替换
选项设置
========
all: 列出所有选项设置情况
term: 设置终端类型
ignorance: 在搜索中忽略大小写
list: 显示制表位(Ctrl+I)和行尾标志($)
number: 显示行号
report: 显示由面向行的命令修改过的数目
terse: 显示简短的警告信息
warn: 在转到别的文件时若没保存当前文件则显示NO write信息
nomagic: 允许在搜索模式中,使用前面不带“\”的特殊字符
nowrapscan: 禁止vi在搜索到达文件两端时,又从另一端开始
mesg: 允许vi显示其他用户用write写到自己终端上的信息
最后行方式命令
==============
:n1,n2 co n3: 将n1行到n2行之间的内容拷贝到第n3行下
:n1,n2 m n3:将n1行到n2行之间的内容移至到第n3行下
:n1,n2 d: 将 n1行到n2行之间的内容删除
:w: 保存当前文件
:e filename: 打开文件filename进行编辑
: 保存当前文件并退出
:q: 退出vi
:q!: 不保存文件并退出vi
:!command: 执行shell命令command
:n1,n2 w!command: 将文件中n1行至n2行的内容作为command的输入并执行之,若不指定n1,n2,则表示将整个文件内容作为command的输入
:r!command: 将命令command的输出结果放到当前行
寄存器操作
==========
“?nyy: 将当前行及其下n行的内容保存到寄存器?中,其中?为一个字母,n为一个数字
“?nyw: 将当前行及其下n个字保存到寄存器?中,其中?为一个字母,n为一个数字
“?nyl: 将当前行及其下n个字符保存到寄存器?中,其中?为一个字母,n为一个数字
“?p: 取出寄存器?中的内容并将其放到光标位置处。这里?可以是一个字母,也可以是一个数字
ndd: 将当前行及其下共n行文本删除,并将所删内容放到1号删除寄存器中
。
4在自己的freebsd虚拟机上安装webmin来管理自己的freebsd。
OS:FreeBSD 6.1-RELEASE
soft:webmin1.44
1.使用root登陆系统
下载webmin-1.441.tar.gz
# fetch [url]http://prdownloads.sourceforge.net/webadmin/webmin-1.441.tar.gz[/url]
下载后解压
#tar zxfv webmin-1.441.tar.gz
#cd webmin-1.441
#./setup.sh /usr/local/webmin
# ./setup.sh /usr/local/webmin
***********************************************************************
* Welcome to the Webmin setup script, version 1.441 *
***********************************************************************
Webmin is a web-based interface that allows Unix-like operating
systems and common Unix services to be easily administered.
Installing Webmin from /usr/home/admin/webmin-1.441 to /usr/local/webmin ...
***********************************************************************
Webmin uses separate directories for configuration files and log files.
Unless you want to run multiple versions of Webmin at the same time
you can just accept the defaults.
Config file directory [/etc/webmin]: webmin的配置文件目录,我的webmin安装目录/usr/local/webmin
Log file directory [/var/webmin]:webmin的日记文件目录
***********************************************************************
Webmin is written entirely in Perl. Please enter the full path to the
Perl 5 interpreter on your system.
Full path to perl (default /usr/bin/perl): perl的目录
Testing Perl ...
Perl seems to be installed ok
***********************************************************************
Operating system name: FreeBSD
Operating system version: 6.1
***********************************************************************
Webmin uses its own password protected web server to provide access
to the administration programs. The setup script needs to know :
- What port to run the web server on. There must not be another
web server already using this port.
- The login name required to access the web server.
- The password required to access the web server.
- If the webserver should use SSL (if your system supports it).
- Whether to start webmin at boot time.
Web server port (default 10000): webmin的端口
Login name (default admin): fbh 登陆用户及密码
Login password:
Password again:
The Perl SSLeay library is not installed. SSL not available.
Start Webmin at boot time (y/n): y
***********************************************************************
Copying files to /usr/local/webmin ..
..done
Creating web server config files..
..done
Creating access control file..
..done
Inserting path to perl into scripts..
..done
Creating start and stop scripts..
..done
Copying config files..
..done
Configuring Webmin to start at boot time..
..done
Creating uninstall script /etc/webmin/uninstall.sh .. 删除webmin的脚本
..done
Changing ownership and permissions ..
..done
Running postinstall scripts ..
: Permission denied
syslog-ng: not found
: Permission denied
..done
Attempting to start Webmin mini web server..
Starting Webmin server in /usr/local/webmin
..done
***********************************************************************
Webmin has been installed and started successfully. Use your web
browser to go to
http://服务器名称:10000/
and login with the name and password you entered previously.
2.使用浏览器登陆
接下来就可以远程管理我们的服务器了。
如果你想删除webmin
#/etc/webmin
#./uninstall.sh
Are you sure you want to uninstall Webmin? (y/n) : y
Stopping Webmin server in /usr/local/webmin
Running uninstall scripts ..
syslog-ng: not found
Deleting /usr/local/webmin ..
Deleting /etc/webmin ..
5我在一个freebsd 7上用源码安装了apache,mysql等软件,安装目录分别是/usr/local/apache及/usr/local/mysql .现在想把apache、mysql随系统开机自动启动。在网上查了一下,发现不少人用port安装,然后修改rc.conf文件,不知道是我固执还是他人固执,非得按freebsd的办法,哎!
随着sco unix的日渐衰微,很多厂家不再支持sco,原来那帮执着的sco unix使用者麻烦来了。个人认为没有必要成为某个厂商的殉葬品。怎么办呢?幸好有GNU.
总所周知,redhat有个文件/etc/rc.local,如果我们想定制安装的软件随系统开机启动的话,只需把启动程序的命令行追加到这个文件。回到freebsd下,没有rc.local这个文件。与linux不同,freebsd要自动启动的程序位于/etc/rc.d目录(linux是/etc/init.d,还要在运行级别做处理:脚本或链接文件)。先看看/etc/rc.d里面都有啥:
# ll /etc/rc.d
total 362
-r-xr-xr-x 1 root wheel 241 Feb 24 09:41 DAEMON
-r-xr-xr-x 1 root wheel 405 Feb 24 09:41 FILESYSTEMS
-r-xr-xr-x 1 root wheel 404 Feb 24 09:41 LOGIN
-r-xr-xr-x 1 root wheel 339 Feb 24 09:41 NETWORKING
-r-xr-xr-x 1 root wheel 243 Feb 24 09:41 SERVERS
-r-xr-xr-x 1 root wheel 981 Feb 24 09:41 abi
....................................................................
-r-xr-xr-x 1 root wheel 1803 Feb 24 09:41 ldconfig
-r-xr-xr-x 1 root wheel 535 Feb 24 09:41 local
-r-xr-xr-x 1 root wheel 1147 Feb 24 09:41 localpkg
有点好奇,打开文件local看看(耶!是个shell脚本),其内容如下:
# more /etc/rc.d/local
#!/bin/sh
#
# $FreeBSD: src/etc/rc.d/local,v 1.6.14.1 2008/01/28 07:58:31 dougb Exp $
#
# PROVIDE: local
# REQUIRE: DAEMON
# BEFORE: LOGIN
# KEYWORD: shutdown
. /etc/rc.subr
name="local"
start_cmd="local_start"
stop_cmd="local_stop"
local_start()
{
echo -n 'Starting local daemons:'
if [ -f /etc/rc.local ]; then
. /etc/rc.local
fi
echo '.'
}
local_stop()
{
echo -n 'Shutting down local daemons:'
if [ -f /etc/rc.shutdown.local ]; then
. /etc/rc.shutdown.local
fi
echo '.'
}
load_rc_config $name
run_rc_command "$1"
这个脚本的意图是:如果存在文件/etc/rc.local,就执行吧,阿门!没有就算了,一切归于平静。既然这样,我们不妨自己创建文件/etc/rc.local并给予执行权限。/etc/rc.local文件的大致内容为:
#!/bin/sh
/usr/local/apache/bin/apachectl start
/usr/local/mysql/bin/mysqld_safe --user=mysql&
重启一下系统,嘿嘿,apache和mysql都乖乖的起来了。。
6软件安装命令:
FreeBSD pkg_add
Solaris pkgadd
AIX installp
HP-UX swinstall
Linux rpm --install / -i
Debian dpkg --install / -i
。
7webmin忘记密码怎么办呀
使用Webmin來Config Server作一些管理,可以簡化很多時間,
但是若忘記管理者密碼那可就很麻煩了!
以下提供一個方法來reset Webmin的使用者密碼,很簡單的!
1.使用find找出Webmin安裝目錄下的密碼修改檔changepass.pl
代碼:
find / -name changepass.pl
2.切換到該檔所在目錄,執行:
代碼:
./changepass.pl /etc/webmin 欲修改的帳號 欲修改的密碼
以下是另一种方法
webmin忘记密码怎么办呀,
修改 /etc/webmin/miniserver.users
或者
重新设置密码,用setup.sh
。8SSH命令使用技巧
一 前言
关于 ssh 的好处, 相信不用我多说了吧?
简而言之, 之前的 rpc command 与 telnet 都全可用 ssh 代替.
比方如下的这些常见功能:
- 远程登录
ssh user@remote.machine
- 远程执行
ssh user@remote.machine 'command ...'
- 远程复制
scp user@remote.machine:/remote/path /local/path
scp /local/path user@remote.machine:/remote/path
- X forward
ssh -X user@remote.machine
xcommand ...
- Tunnel / Portforward
ssh -L 1234:remote.machine:4321 user@remote.machine
ssh -R 1234:local.machine:4321 user@remote.machine
ssh -L 1234:other.machine:4321 user@remote.machine
。9目前 Linux 系统上面有两个时间喔,一个是 Linux 系统,另一个则是 BIOS 时间(真正的硬件记录的时间)! 我们可以使用 date 这个指令来手动修正目前主机的时间,不过, date 这个指令仅修正 Linux 时间而已,我们还需要以 hwclock 这个指令来将 BIOS 时间也更新才行! hwclock [-rw]
-r:查看现有BIOS时间
-w:将现在的linux系统时间写入BIOS中 当我们进行完 Linux 时间的校时后,还需要以 hwclock -w 来更新 BIOS 的时间,因为每次开机的时候,系统会重新由 BIOS 将时间读出来,所以, BIOS 才是重要的时间依据。 1. 开机的时候自动网络校时:
vi /etc/rc.d/rc.local
/usr/sbin/ntpdate -u 192.168.0.2 192.168.0.3 192.168.0.4; /sbin/hwclock -w 2. 设定计划任务
crontab -e
10 5 * * * root ntpdate 192.168.0.2 ;hwclock -w
这样每天5:10自动进行网络校时
ntpdate命令: 通过轮询指定的确定正确时间的 NTP 服务器, ntpdate 命令设置本地日期和时间。它从指定的每个服务器获得了一些样本,并应用标准 NTP 时钟过滤器和选择算法来选择最好的样本。此 ntpdate 命令使用以下方法进行时间调整:
* 如果它确定时钟偏差超过 0.5 秒,它通过调用 settimeofday 子例程设置时钟时间。在引导时间,这是一个首选的方法。
* 如果它确定时钟偏差小于 0.5 秒,它通过调用 adjtime 子例程和偏移量来调整时钟时间。此方法倾向于用牺牲一些稳定性来保持漂移时钟更加准确。
当不是通过运行一个守护程序而是从 cron 命令有规则的运行 ntpdate 命令时,每一小时或两小时执行一次可以保证足够的走时精度,从而避免调整时钟。 48 */1 * * * /usr/sbin/ntpdate -u 172.16.58.40 172.16.58.14 172.23.32.142 172.24.18.141 172.24.147.11
1 1 * * * /sbin/hwclock -w 注意事项:
1. 使用很多服务器可以大幅度改善 ntpdate 命令的可靠性与精度。尽管能使用单一服务器,但您能通过提供至少三个或四个服务器以获得更好的性能。
2. 如果一个类似 xntpd 守护程序的 NTP 服务器守护程序正在同一主机上运行,命令将拒绝 ntpdate 设置日期。
3. 你必须有 root 权限才能在主机上运行这个命令。 注意, ntpdate 的准确性和可靠性取决于服务器的数量、每次运行它时的轮询数以及运行之间的时间间隔。ntpdate 根据需要可以手动运行来设置主机时钟,也可以从主机启动脚本中运行,在引导时设置时钟。某些情况下,它可用于在启动NTP 守护程序xntpd 之前对时钟进行初始设置。也可以从cron 脚本中运行ntpdate 。但是务必要注意,包含人为产生的cron 脚本的ntpdate 不能替代NTP 守护程序,后者使用高级算法,在尽量减少使用资源的同时,尽量提高准确性和可靠性。最后,由于ntpdate 不会像xntpd 一样控制主机时钟频率,因此使用ntpdate 的准确性很有限。
。10Rsync命令参数详解
在对rsync服务器配置结束以后,下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具,其命令也有很多功能特色选项,我们下面就对它的选项一一进行分析说明。Rsync的命令格式可以为以下六种: rsync [OPTION]... SRC DEST rsync [OPTION]... SRC [USER@]HOST:DEST rsync [OPTION]... [USER@]HOST:SRC DEST rsync [OPTION]... [USER@]HOST::SRC DEST rsync [OPTION]... SRC [USER@]HOST::DEST rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
对应于以上六种命令格式,rsync有六种不同的工作模式: 1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如:rsync -a /data /backup 2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如:rsync -avz *.c foo:src 3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如:rsync -avz foo:src/bar /data 4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如:rsync -av root@172.16.78.192::www /databack 5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如:rsync -av /databack root@172.16.78.192::www6)列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。如:rsync -v rsync://172.16.78.192/wwwrsync参数的具体解释如下:-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关,强制对文件传输进行校验
-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结 -p, --perms 保持文件权限
-o, --owner 保持文件属主信息 -g, --group 保持文件属组信息
-D, --devices 保持设备文件信息 -t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件,不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输
--force 强制删除目录,即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间,单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽,KBytes per second -h, --help 显示帮助信息
。11linux gzip 命令详解
减少文件大小有两个明显的好处,一是可以减少存储空间,二是通过网络传输文件时,可以减少传输的时间。
gzip是在Linux系统中经常使用的一个对文件进行压缩和解压缩的命令,既方便又好用。
语法:gzip [选项] 压缩(解压缩)的文件名
各选项的含义:
-c 将输出写到标准输出上,并保留原有文件。
-d 将压缩文件解压。
-l 对每个压缩文件,显示下列字段:压缩文件的大小未压缩文件的大小压缩比未压缩文件的名字
-r 递归式地查找指定目录并压缩其中的所有文件或者是解压缩。
-t 测试,检查压缩文件是否完整。
-v 对每一个压缩和解压的文件,显示文件名和压缩比。
-num 用指定的数字num调整压缩的速度,
-1或--fast表示最快压缩方法(低压缩比),
-9或--best表示最慢压缩方法(高压缩比)。系统缺省值为6。
假设一个目录/home下有文件mm.txt、sort.txt、xx.com。
例1:把/home目录下的每个文件压缩成.gz文件。
$ cd /home $ gzip * $ ls m.txt.gz sort.txt.gz xx.com.gz
例2:把例1中每个压缩的文件解压,并列出详细的信息。
$ gzip -dv *
mm.txt.gz 43.1%-----replaced with mm.txt
sort.txt.gz 43.1%-----replaced with sort.txt
xx.com.gz 43.1%-----replaced with xx.com
$ ls
mm.txt sort.txt xx.com
例3:详细显示例1中每个压缩的文件的信息,并不解压。
$ gzip -l *
compressed uncompr. ratio uncompressed_name 277 445 43.1% mm.txt 278 445 43.1% sort.txt 277 445 43.1% xx.com
$ ls mm.txt.gz sort.txt.gz xx.com.gz
例4:压缩一个tar备份文件,如usr.tar,此时压缩文件的扩展名为.tar.gz
$ gzip usr.tar
$ ls
usr.tar.gz。
本文转自zh888 51CTO博客,原文链接:http://blog.51cto.com/zh888/327941,如需转载请自行联系原作者
linux常用命令加实例大全
目 录引言 1一、安装和登录 2(一) login 2(二) shutdown 2(三) halt 3(四) reboot 3(五) install 4(六) mount 4(七) umount 6(八) chsh 6(九) exit 7(十) last 7(十一) 动手练习 7二、文件处理 9(一) file 9(二) mkdir 9(三) grep 10(四) dd 11(五) find 11(六) mv 13(七) ls 13(八) diff 14(九) cmp 15(十) cat 15(十一) ln 16(十二) 动手练习 16三、系统管理 18(一) df 18(二) top 19(三) free 20(四) quota 20(五) at 21(六) lp 21(七) useradd 22(八) groupadd 23(九) kill 23(十) crontab 24(十一) 动手练习 25四、网络操作 27(一) ifconfig 27(二) ip 27(三) ping 28(四) netstat 29(五) telnet 30(六) ftp 31(七) route 32(八) rlogin 33(九) rcp 33(十) finger 34(十一) mail 34(十二) nslookup 34(十三) 动手练习 35五、系统安全 38(一) passwd 38(二) su 38(三) umask 39(四) chgrp 39(五) chmod 40(六) chown 41(七) chattr 42(八) sudo 43(九) ps 43(十) who 44(十一) 动手练习 45六、其他 47(一) tar 47(二) unzip 48(三) gunzip 49(四) unarj 50(五) mtools 50(六) man 51(七) unencode 53(八) uudecode 53(九) 动手练习 53 引言Linux提供了大量的命令,利用它可以有效地完成大量的工作,如磁盘操作、文件存取、目录操作、进程管理、文件权限设定等。所以,在Linux系 统上工作离不开使用系统提供的命令。要想真正理解Linux系统,就必须从Linux命令学起,通过基础的命令学习可以进一步理解Linux系统。不同Linux发行版的命令数量不一样,但Linux发行版本最少的命令也有200多个。这里笔者把比较重要和使用频率最多的命令,按照它们在系统中的作用分成下面六个部分一一介绍。◆ 安装和登录命令:login、shutdown、halt、reboot、install、mount、umount、chsh、exit、last;◆ 文件处理命令:file、mkdir、grep、dd、find、mv、ls、diff、cat、ln;◆ 系统管理相关命令:df、top、free、quota、at、lp、adduser、groupadd、kill、crontab;◆ 网络操作命令:ifconfig、ip、ping、netstat、telnet、ftp、route、rlogin、rcp、finger、mail、 nslookup;◆ 系统安全相关命令:passwd、su、umask、chgrp、chmod、chown、chattr、sudo ps、who;◆ 其它命令:tar、unzip、gunzip、unarj、mtools、man、unendcode、uudecode。 一、安装和登录本文以Mandrake Linux 9.1(Kenrel 2.4.21)为例,介绍Linux下的安装和登录命令。(一) login1.作用login的作用是登录系统,它的使用权限是所有用户。2.格式login [name][-p ][-h 主机名称]3.主要参数-p:通知login保持现在的环境参数。-h:用来向远程登录的之间传输用户名。如果选择用命令行模式登录Linux的话,那么看到的第一个Linux命令就是login:。一般界面是这样的:Manddrake Linux release 9.1(Bamboo) for i586renrel 2.4.21-0.13mdk on i686 / tty1localhost login:rootpassword:上面代码中,第一行是Linux发行版本号,第二行是内核版本号和登录的虚拟控制台,我们在第三行输入登录名,按“Enter”键在Password后输入账户密码,即可登录系统。出于安全考虑,输入账户密码时字符不会在屏幕上回显,光标也不移动。登录后会看到下面这个界面(以超级用户为例):[root@localhost root]#last login:Tue ,Nov 18 10:00:55 on vc/1上面显示的是登录星期、月、日、时间和使用的虚拟控制台。4.应用技巧Linux是一个真正的多用户操作系统,可以同时接受多个用户登录,还允许一个用户进行多次登录。这是因为Linux和许多版本的Unix一样,提 供了虚拟控制台的访问方式,允许用户在同一时间从控制台(系统的控制台是与系统直接相连的监视器和键盘)进行多次登录。每个虚拟控制台可以看作是一个独立 的工作站,工作台之间可以切换。虚拟控制台的切换可以通过按下Alt键和一个功能键来实现,通常使用F1-F6 。例如,用户登录后,按一下“Alt+F2”键,用户就可以看到上面出现的“login:”提示符,说明用户看到了第二个虚拟控制台。然后只需按 “Alt+ F1”键,就可以回到第一个虚拟控制台。一个新安装的Linux系统允许用户使用“Alt+F1”到“Alt+F6”键来访问前六个虚拟控制台。虚拟控制 台最有用的是,当一个程序出错造成系统死锁时,可以切换到其它虚拟控制台工作,关闭这个程序。(二) shutdown1.作用shutdown命令的作用是关闭计算机,它的使用权限是超级用户。2.格式shutdown [-h][-i][-k][-m][-t]3.重要参数-t:在改变到其它运行级别之前,告诉init程序多久以后关机。-k:并不真正关机,只是送警告信号给每位登录者。-h:关机后关闭电源。-c:cancel current process取消目前正在执行的关机程序。所以这个选项当然没有时间参数,但是可以输入一个用来解释的讯息,而这信息将会送到每位使用者。-F:在重启计算机时强迫fsck。-time:设定关机前的时间。-m: 将系统改为单用户模式。-i:关机时显示系统信息。4.命令说明shutdown命令可以安全地将系统关机。有些用户会使用直接断掉电源的方式来关闭Linux系统,这是十分危险的。因为Linux与 Windows不同,其后台运行着许多进程,所以强制关机可能会导致进程的数据丢失,使系统处于不稳定的状态,甚至在有的系统中会损坏硬件设备(硬盘)。 在系统关机前使用 shutdown命令,系统管理员会通知所有登录的用户系统将要关闭,并且login指令会被冻结,即新的用户不能再登录。(三) halt1.作用halt命令的作用是关闭系统,它的使用权限是超级用户。2.格式halt [-n] [-w] [-d] [-f] [-i] [-p]3.主要参数说明-n:防止sync系统调用,它用在用fsck修补根分区之后,以阻止内核用老版本的超级块覆盖修补过的超级块。-w:并不是真正的重启或关机,只是写wtmp(/var/log/wtmp)纪录。-f:没有调用shutdown,而强制关机或重启。-i:关机(或重启)前,关掉所有的网络接口。-f:强迫关机,不呼叫shutdown这个指令。-p: 当关机的时候顺便做关闭电源的动作。-d:关闭系统,但不留下纪录。 4.命令说明halt就是调用shutdown -h。halt执行时,杀死应用进程,执行sync(将存于buffer中的资料强制写入硬盘中)系统调用,文件系统写操作完成后就会停止内核。若系统的 运行级别为0或6,则关闭系统;否则以shutdown指令(加上-h参数)来取代。 (四) reboot1.作用reboot命令的作用是重新启动计算机,它的使用权限是系统管理者。2.格式reboot [-n] [-w] [-d] [-f] [-i]3.主要参数-n: 在重开机前不做将记忆体资料写回硬盘的动作。-w: 并不会真的重开机,只是把记录写到/var/log/wtmp文件里。-d: 不把记录写到/var/log/wtmp文件里(-n这个参数包含了-d)。-i: 在重开机之前先把所有与网络相关的装置停止。(五) install1.作用install命令的作用是安装或升级软件或备份数据,它的使用权限是所有用户。2.格式(1)install [选项]... 来源 目的地(2)install [选项]... 来源... 目录(3)install -d [选项]... 目录...在前两种格式中,会将<来源>复制至<目的地>或将多个<来源>文件复制至已存在的<目录>,同 时设定权限模式及所有者/所属组。在第三种格式中,会创建所有指定的目录及它们的主目录。长选项必须用的参数在使用短选项时也是必须的。3.主要参数--backup[=CONTROL]:为每个已存在的目的地文件进行备份。-b:类似 --backup,但不接受任何参数。-c:(此选项不作处理)。-d,--directory:所有参数都作为目录处理,而且会创建指定目录的所有主目录。-D:创建<目的地>前的所有主目录,然后将<来源>复制至 <目的地>;在第一种使用格式中有用。-g,--group=组:自行设定所属组,而不是进程目前的所属组。-m,--mode=模式:自行设定权限模式 (像chmod),而不是rwxr-xr-x。-o,--owner=所有者:自行设定所有者 (只适用于超级用户)。-p,--preserve-timestamps:以<来源>文件的访问/修改时间作为相应的目的地文件的时间属性。-s,--strip:用strip命令删除symbol table,只适用于第一及第二种使用格式。-S,--suffix=后缀:自行指定备份文件的<后缀>。-v,--verbose:处理每个文件/目录时印出名称。--help:显示此帮助信息并离开。--version:显示版本信息并离开。(六) mount1.作用mount命令的作用是加载文件系统,其使用权限是超级用户或/etc/fstab中允许的使用者。2.格式mount -a [-fv] [-t vfstype] [-n] [-rw] [-F] device dir3.主要参数-h:显示辅助信息。-v:显示信息,通常和-f用来除错。-a:将/etc/fstab中定义的所有文件系统挂上。-F:这个命令通常和-a一起使用,它会为每一个mount的动作产生一个行程负责执行。在系统需要挂上大量NFS文件系统时可以加快加载的速度。-f:通常用于除错。它会使mount不执行实际挂上的动作,而是模拟整个挂上的过程,通常会和-v一起使用。-t vfstype:显示被加载文件系统的类型。-n:一般而言,mount挂上后会在/etc/mtab中写入一笔资料,在系统中没有可写入文件系统的情况下,可以用这个选项取消这个动作。4.应用技巧在Linux和Unix系统上,所有文件都是作为一个大型树(以/为根)的一部分访问的。要访问CD-ROM上的文件,需要将CD-ROM设备挂装 在文件树中的某个挂装点。如果发行版安装了自动挂装包,那么这个步骤可自动进行。在Linux中,如果要使用硬盘、光驱等储存设备,就得先将它加载,当储存设备挂上了之后,就可以把它当成一个目录来访问。挂上一个设备使用mount命令。在使用mount这个指令时,至少要先知道下列三种信息:要加载对象 的文件系统类型、要加载对象的设备名称及要将设备加载到哪个目录下。(1)Linux可以识别的文件系统◆ Windows 95/98常用的FAT 32文件系统:vfat ;◆ Win NT/2000 的文件系统:ntfs ;◆ OS/2用的文件系统:hpfs;◆ Linux用的文件系统:ext2、ext3;◆ CD-ROM光盘用的文件系统:iso9660。虽然vfat是指FAT 32系统,但事实上它也兼容FAT 16的文件系统类型。(2)确定设备的名称在Linux中,设备名称通常都存在/dev里。这些设备名称的命名都是有规则的,可以用“推理”的方式把设备名称找出来。例如,/dev /hda1这个 IDE设备,hd是Hard Disk(硬盘)的,sd是SCSI Device,fd是Floppy Device(或是Floppy Disk?)。a代表第一个设备,通常IDE接口可以接上4个IDE设备(比如4块硬盘)。所以要识别IDE硬盘的方法分别就是hda、hdb、hdc、 hdd。hda1中的“1”代表hda的第一个硬盘分区 (partition),hda2代表hda的第二主分区,第一个逻辑分区从hda5开始,依此类推。此外,可以直接检查/var/log /messages文件,在该文件中可以找到计算机开机后系统已辨认出来的设备代号。(3)查找挂接点在决定将设备挂接之前,先要查看一下计算机是不是有个/mnt的空目录,该目录就是专门用来当作挂载点(Mount Point)的目录。建议在/mnt里建几个/mnt/cdrom、/mnt/floppy、/mnt/mo等目录,当作目录的专用挂载点。举例而言,如要挂载下列5个设备,其执行指令可能如下 (假设都是Linux的ext2系统,如果是Windows XX请将ext2改成vfat):软盘 ===>mount -t ext2 /dev/fd0 /mnt/floppycdrom ===>mount -t iso9660 /dev/hdc /mnt/cdromSCSI cdrom ===>mount -t iso9660 /dev/sdb /mnt/scdromSCSI cdr ===>mount -t iso9660 /dev/sdc /mnt/scdr不过目前大多数较新的Linux发行版本(包括红旗 Linux、中软Linux、Mandrake Linux等)都可以自动挂装文件系统,但Red Hat Linux除外。(七) umount1.作用umount命令的作用是卸载一个文件系统,它的使用权限是超级用户或/etc/fstab中允许的使用者。2.格式unmount -a [-fFnrsvw] [-t vfstype] [-n] [-rw] [-F] device dir3.使用说明umount命令是mount命令的逆操作,它的参数和使用方法和mount命令是一样的。Linux挂装CD-ROM后,会锁定CD—ROM,这 样就不能用CD-ROM面板上的Eject按钮弹出它。但是,当不再需要光盘时,如果已将/cdrom作为符号链接,请使用umount/cdrom来卸 装它。仅当无用户正在使用光盘时,该命令才会成功。该命令包括了将带有当前工作目录当作该光盘中的目录的终端窗口。(八) chsh1.作用chsh命令的作用是更改使用者shell设定,它的使用权限是所有使用者。2.格式chsh [ -s ] [ -list] [ --help ] [ -v ] [ username ]3.主要参数-l:显示系统所有Shell类型。-v:显示Shell版本号。4.应用技巧前面介绍了Linux下有多种Shell,一般缺省的是Bash,如果想更换Shell类型可以使用chsh命令。先输入账户密码,然后输入新Shell类型,如果操作正确系统会显示“Shell change”。其界面一般如下:Changing fihanging shell for caoPassword:New shell [/bin/bash]: /bin/tcsh上面代码中,[ ]内是目前使用的Shell。普通用户只能修改自己的Shell,超级用户可以修改全体用户的Shell。要想查询系统提供哪些Shell,可以使用chsh -l 命令,见图1所示。 图1 系统可以使用的Shell类型从图1中可以看到,笔者系统中可以使用的Shell有bash(缺省)、csh、sh、tcsh四种。(九) exit1.作用exit命令的作用是退出系统,它的使用权限是所有用户。2.格式exit3.参数exit命令没有参数,运行后退出系统进入登录界面。(十) last1.作用last命令的作用是显示近期用户或终端的登录情况,它的使用权限是所有用户。通过last命令查看该程序的log,管理员可以获知谁曾经或企图连接系统。2.格式1ast[—n][-f file][-t tty] [—h 节点][-I —IP][—1][-y][1D]3.主要参数-n:指定输出记录的条数。-f file:指定用文件file作为查询用的log文件。-t tty:只显示指定的虚拟控制台上登录情况。-h 节点:只显示指定的节点上的登录情况。-i IP:只显示指定的IP上登录的情况。-1:用IP来显示远端地址。-y:显示记录的年、月、日。-ID:知道查询的用户名。-x:显示系统关闭、用户登录和退出的历史。(十一) 动手练习上面介绍了Linux安装和登录命令,下面介绍几个实例,动手练习一下刚才讲过的命令。1.一次运行多个命令在一个命令行中可以执行多个命令,用分号将各个命令隔开即可,例如:#last -x;halt上面代码表示在显示系统关闭、用户登录和退出的历史后关闭计算机。2.利用mount挂装文件系统访问Windows系统许多Linux发行版本现在都可以自动加载Vfat分区来访问Windows系统,而Red Hat各个版本都没有自动加载Vfat分区,因此还需要进行手工操作。mount可以将Windows分区作为Linux的一个“文件”挂接到Linux的一个空文件夹下,从而将Windows的分区和/mnt这个目 录联系起来。因此,只要访问这个文件夹就相当于访问该分区了。首先要在/mnt下建立winc文件夹,在命令提示符下输入下面命令:#mount -t vfat /dev/hda1 /mnt/winc即表示将Windows的C分区挂到Liunx的/mnt/winc目录下。这时,在/mnt/winc目录下就可以看到Windows中C盘的内 容了。使用类似的方法可以访问Windows系统的D、E盘。在Linux系统显示Windows的分区一般顺序这样的:hda1为C盘、hda5为D 盘、 hda6为E盘……以此类推。上述方法可以查看Windows系统有一个很大的问题,就是Windows中的所有中文文件名或文件夹名全部显示为问号 “?”,而英文却可以正常显示。我们可以通过加入一些参数让它显示中文。还以上面的操作为例,此时输入命令:#mount -t vfat -o iocharset=cp936 /dev/hda1 /mnt/winc现在它就可以正常显示中文了。3.使用mount加挂闪盘上的文件系统在Linux下使用闪盘非常简单。Linux对USB设备有很好的支持,当插入闪盘后,闪盘被识别为一个SCSI盘,通常输入以下命令:# mount /dev/sda1 /usb就能够加挂闪盘上的文件系统。(十二) 小知识Linux命令与Shell所谓Shell,就是命令解释程序,它提供了程序设计接口,可以使用程序来编程。学习Shell对于Linux初学者理解Linux系统是非常重要 的。 Linux系统的Shell作为操作系统的外壳,为用户提供了使用操作系统的接口。Shell是命令语言、命令解释程序及程序设计语言的统称,是用户和 Linux内核之间的接口程序。如果把Linux内核想象成一个球体的中心,Shell就是围绕内核的外层。当从Shell或其它程序向Linux传递命令时,内核会做出相应的反应。Shell在Linux系统的作用和MS DOS下的COMMAND.COM和Windows 95/98 的 explorer.exe相似。Shell虽然不是系统核心的一部分,只是系统核心的一个外延,但它能够调用系统内核的大部分功能。因此,可以说 Shell是Unux/Linux最重要的实用程序。Linux中的Shell有多种类型,其中最常用的是Bourne Shell(sh)、C Shell(csh)和Korn Shell(ksh)。大多数Linux发行版本缺省的Shell是Bourne Again Shell,它是Bourne Shell的扩展,简称bash,与Bourne Shell完全向后兼容,并且在Bourne Shell的基础上增加了很多特性。bash放在/bin/bash中,可以提供如命令补全、命令编辑和命令历史表等功能。它还包含了很多C Shell和Korn Shell中的优点,有灵活和强大的编程接口,同时又有很友好的用户界面。Linux系统中200多个命令中有40个是bash的内部命令,主要包括 exit、less、lp、kill、 cd、pwd、fc、fg等。 二、文件处理Linux 系统信息存放在文件里,文件与普通的公务文件类似。每个文件都有自己的名字、内容、存放地址及其它一些管理信息,如文件的用户、文件的大小等。文件可以是一封信、一个通讯录,或者是程序的源语句、程序的数据,甚至可以包括可执行的程序和其它非正文内容。 Linux文件系统具有良好的结构,系统提供了很多文件处理程序。这里主要介绍常用的文件处理命令。(一) file1.作用根据文件内容判断文件类型,使用权限是所有用户。2.格式file通过探测文file [options] 文件名3.[options]主要参数-v:在标准输出后显示版本信息,并且退出。-z:探测压缩过的文件类型。-L:允许符合连接。-f name:从文件namefile中读取要分析的文件名列表。4.简单说明使用file命令可以知道某个文件究竟是二进制(ELF格式)的可执行文件, 还是Shell Script文件,或者是其它的什么格式。file能识别的文件类型有目录、Shell脚本、英文文本、二进制可执行文件、C语言源文件、文本文件、DOS的可执行文件。5.应用实例如果我们看到一个没有后缀的文件grap,可以使用下面命令:$ file grapgrap: English text此时系统显示这是一个英文文本文件。需要说明的是,file命令不能探测包括图形、音频、视频等多媒体文件类型。(二) mkdir1.作用mkdir命令的作用是建立名称为dirname的子目录,与MS DOS下的md命令类似,它的使用权限是所有用户。2.格式mkdir [options] 目录名3.[options]主要参数-m, --mode=模式:设定权限<模式>,与chmod类似。-p, --parents:需要时创建上层目录;如果目录早已存在,则不当作错误。-v, --verbose:每次创建新目录都显示信息。--version:显示版本信息后离开。4.应用实例在进行目录创建时可以设置目录的权限,此时使用的参数是“-m”。假设要创建的目录名是“tsk”,让所有用户都有rwx(即读、写、执行的权限),那么可以使用以下命令:$ mkdir -m 777 tsk(三) grep1.作用grep命令可以指定文件中搜索特定的内容,并将含有这些内容的行标准输出。grep全称是Global Regular Expression Print,表示全局正则表达式版本,它的使用权限是所有用户。2.格式grep [options]3.主要参数[options]主要参数:-c:只输出匹配行的计数。-I:不区分大小写(只适用于单字符)。-h:查询多文件时不显示文件名。-l:查询多文件时只输出包含匹配字符的文件名。-n:显示匹配行及行号。-s:不显示不存在或无匹配文本的错误信息。-v:显示不包含匹配文本的所有行。pattern正则表达式主要参数:\:忽略正则表达式中特殊字符的原有含义。^:匹配正则表达式的开始行。$: 匹配正则表达式的结束行。\<:从匹配正则表达式的行开始。\>:到匹配正则表达式的行结束。[ ]:单个字符,如[A]即A符合要求 。[ - ]:范围,如[A-Z],即A、B、C一直到Z都符合要求 。. :所有的单个字符。* :有字符,长度可以为0。正则表达式是Linux/Unix系统中非常重要的概念。正则表达式(也称为“regex”或“regexp”)是一个可以描述一类字符串的模式 (Pattern)。如果一个字符串可以用某个正则表达式来描述,我们就说这个字符和该正则表达式匹配(Match)。这和DOS中用户可以使用通配符 “*”代表任意字符类似。在Linux系统上,正则表达式通常被用来查找文本的模式,以及对文本执行“搜索-替换”操作和其它功能。4.应用实例查询DNS服务是日常工作之一,这意味着要维护覆盖不同网络的大量IP地址。有时IP地址会超过2000个。如果要查看nnn.nnn网络地址,但 是却忘了第二部分中的其余部分,只知到有两个句点,例如nnn nn..。要抽取其中所有nnn.nnn IP地址,使用[0-9 ]\{3 \}\.[0-0\{3\}\。含义是任意数字出现3次,后跟句点,接着是任意数字出现3次,后跟句点。$grep '[0-9 ]\{3 \}\.[0-0\{3\}\' ipfile补充说明,grep家族还包括fgrep和egrep。fgrep是fix grep,允许查找字符串而不是一个模式;egrep是扩展grep,支持基本及扩展的正则表达式,但不支持\q模式范围的应用及与之相对应的一些更加规范的模式。(四) dd1.作用dd命令用来复制文件,并根据参数将数据转换和格式化。2.格式dd [options]3.[opitions]主要参数bs=字节:强迫 ibs=<字节>及obs=<字节>。cbs=字节:每次转换指定的<字节>。conv=关键字:根据以逗号分隔的关键字表示的方式来转换文件。count=块数目:只复制指定<块数目>的输入数据。ibs=字节:每次读取指定的<字节>。if=文件:读取<文件>内容,而非标准输入的数据。obs=字节:每次写入指定的<字节>。of=文件:将数据写入<文件>,而不在标准输出显示。seek=块数目:先略过以obs为单位的指定<块数目>的输出数据。skip=块数目:先略过以ibs为单位的指定<块数目>的输入数据。4.应用实例dd命令常常用来制作Linux启动盘。先找一个可引导内核,令它的根设备指向正确的根分区,然后使用dd命令将其写入软盘:$ rdev vmlinuz /dev/hda$dd if=vmlinuz of=/dev/fd0上面代码说明,使用rdev命令将可引导内核vmlinuz中的根设备指向/dev/hda,请把“hda”换成自己的根分区,接下来用dd命令将该内核写入软盘。(五) find1.作用find命令的作用是在目录中搜索文件,它的使用权限是所有用户。2.格式find [path][options][expression]path指定目录路径,系统从这里开始沿着目录树向下查找文件。它是一个路径列表,相互用空格分离,如果不写path,那么默认为当前目录。3.主要参数[options]参数:-depth:使用深度级别的查找过程方式,在某层指定目录中优先查找文件内容。-maxdepth levels:表示至多查找到开始目录的第level层子目录。level是一个非负数,如果level是0的话表示仅在当前目录中查找。-mindepth levels:表示至少查找到开始目录的第level层子目录。-mount:不在其它文件系统(如Msdos、Vfat等)的目录和文件中查找。-version:打印版本。[expression]是匹配表达式,是find命令接受的表达式,find命令的所有操作都是针对表达式的。它的参数非常多,这里只介绍一些常用的参数。—name:支持统配符*和?。-atime n:搜索在过去n天读取过的文件。-ctime n:搜索在过去n天修改过的文件。-group grpoupname:搜索所有组为grpoupname的文件。-user 用户名:搜索所有文件属主为用户名(ID或名称)的文件。-size n:搜索文件大小是n个block的文件。-print:输出搜索结果,并且打印。4.应用技巧find命令查找文件的几种方法:(1)根据文件名查找例如,我们想要查找一个文件名是lilo.conf的文件,可以使用如下命令:find / -name lilo.conffind命令后的“/”表示搜索整个硬盘。(2)快速查找文件根据文件名查找文件会遇到一个实际问题,就是要花费相当长的一段时间,特别是大型Linux文件系统和大容量硬盘文件放在很深的子目录中时。如果我 们知道了这个文件存放在某个目录中,那么只要在这个目录中往下寻找就能节省很多时间。比如smb.conf文件,从它的文件后缀“.conf”可以判断这 是一个配置文件,那么它应该在/etc目录内,此时可以使用下面命令:find /etc -name smb.conf这样,使用“快速查找文件”方式可以缩短时间。(3)根据部分文件名查找方法有时我们知道只某个文件包含有abvd这4个字,那么要查找系统中所有包含有这4个字符的文件可以输入下面命令:find / -name '*abvd*'输入这个命令以后,Linux系统会将在/目录中查找所有的包含有abvd这4个字符的文件(其中*是通配符),比如abvdrmyz等符合条件的文件都能显示出来。(4) 使用混合查找方式查找文件find命令可以使用混合查找的方法,例如,我们想在/etc目录中查找大于500000字节,并且在24小时内修改的某个文件,则可以使用-and (与)把两个查找参数链接起来组合成一个混合的查找方式。find /etc -size +500000c -and -mtime +1(六) mv1.作用mv命令用来为文件或目录改名,或者将文件由一个目录移入另一个目录中,它的使用权限是所有用户。该命令如同DOS命令中的ren和move的组合。2.格式mv[options] 源文件或目录 目标文件或目录3.[options]主要参数-i:交互方式操作。如果mv操作将导致对已存在的目标文件的覆盖,此时系统询问是否重写,要求用户回答“y”或“n”,这样可以避免误覆盖文件。-f:禁止交互操作。mv操作要覆盖某个已有的目标文件时不给任何指示,指定此参数后i参数将不再起作用。4.应用实例(1)将/usr/cbu中的所有文件移到当前目录(用“.”表示)中:$ mv /usr/cbu/ * .(2)将文件cjh.txt重命名为wjz.txt:$ mv cjh.txt wjz.txt(七) ls1.作用ls命令用于显示目录内容,类似DOS下的dir命令,它的使用权限是所有用户。2.格式ls [options][filename]3.options主要参数-a, --all:不隐藏任何以“.” 字符开始的项目。-A, --almost-all:列出除了“ . ”及 “.. ”以外的任何项目。--author:印出每个文件著作者。-b, --escape:以八进制溢出序列表示不可打印的字符。--block-size=大小:块以指定<大小>的字节为单位。-B, --ignore-backups:不列出任何以 ~ 字符结束的项目。-f:不进行排序,-aU参数生效,-lst参数失效。-F, --classify:加上文件类型的指示符号 (*/=@| 其中一个)。-g:like -l, but do not list owner。-G, --no-group:inhibit display of group information。-i, --inode:列出每个文件的inode号。-I, --ignore=样式:不印出任何符合Shell万用字符<样式>的项目。-k:即--block-size=1K。-l:使用较长格式列出信息。-L, --dereference:当显示符号链接的文件信息时,显示符号链接所指示的对象,而并非符号链接本身的信息。-m:所有项目以逗号分隔,并填满整行行宽。-n, --numeric-uid-gid:类似-l,但列出UID及GID号。-N, --literal:列出未经处理的项目名称,例如不特别处理控制字符。-p, --file-type:加上文件类型的指示符号 (/=@| 其中一个)。-Q, --quote-name:将项目名称括上双引号。-r, --reverse:依相反次序排列。-R, --recursive:同时列出所有子目录层。-s, --size:以块大小为序。4.应用举例ls 命令是Linux系统使用频率最多的命令,它的参数也是Linux命令中最多的。使用ls命令时会有几种不同的颜色,其中蓝色表示是目录,绿色表示是可执 行文件,红色表示是压缩文件,浅蓝色表示是链接文件,加粗的黑色表示符号链接,灰色表示是其它格式文件。ls最常使用的是ls- l,见图1所示。 图1 使用ls-l命令文件类型开头是由10个字符构成的字符串。其中第一个字符表示文件类型,它可以是下述类型之一:-(普通文件)、d(目录)、l(符号链接)、 b(块设备文件)、c(字符设备文件)。后面的9个字符表示文件的访问权限,分为3组,每组3位。第一组表示文件属主的权限,第二组表示同组用户的权限, 第三组表示其他用户的权限。每一组的三个字符分别表示对文件的读(r)、写(w)和执行权限(x)。对于目录,表示进入权限。s表示当文件被执行时,把该 文件的UID 或GID赋予执行进程的UID(用户ID)或GID(组 ID)。t表示设置标志位(留在内存,不被换出)。如果该文件是目录,那么在该目录中的文件只能被超级用户、目录拥有者或文件属主删除。如果它是可执行文 件,那么在该文件执行后,指向其正文段的指针仍留在内存。这样再次执行它时,系统就能更快地装入该文件。接着显示的是文件大小、生成时间、文件或命令名 称。(八) diff1.作用diff命令用于两个文件之间的比较,并指出两者的不同,它的使用权限是所有用户。2.格式diff [options] 源文件 目标文件3.[options]主要参数-a:将所有文件当作文本文件来处理。-b:忽略空格造成的不同。-B:忽略空行造成的不同。-c:使用纲要输出格式。-H:利用试探法加速对大文件的搜索。-I:忽略大小写的变化。-n --rcs:输出RCS格式。(九) cmp1.作用cmp(“compare”的缩写)命令用来简要指出两个文件是否存在差异,它的使用权限是所有用户。2.格式cmp[options] 文件名3.[options]主要参数-l: 将字节以十进制的方式输出,并方便将两个文件中不同的以八进制的方式输出。(十) cat1.作用cat(“concatenate”的缩写)命令用于连接并显示指定的一个和多个文件的有关信息,它的使用权限是所有用户。2.格式cat [options] 文件1 文件2……3.[options]主要参数-n:由第一行开始对所有输出的行数编号。-b:和-n相似,只不过对于空白行不编号。-s:当遇到有连续两行以上的空白行时,就代换为一行的空白行。4.应用举例(1)cat命令一个最简单的用处是显示文本文件的内容。例如,我们想在命令行看一下README文件的内容,可以使用命令:$ cat README (2)有时需要将几个文件处理成一个文件,并将这种处理的结果保存到一个单独的输出文件。cat命令在其输入上接受一个或多个文件,并将它们作为一 个单独的文件打印到它的输出。例如,把README和INSTALL的文件内容加上行号(空白行不加)之后,将内容附加到一个新文本文件File1 中:$ cat README INSTALL File1(3)cat还有一个重要的功能就是可以对行进行编号,见图2所示。这种功能对于程序文档的编制,以及法律和科学文档的编制很方便,打印在左边的行号使得参考文档的某一部分变得容易,这些在编程、科学研究、业务报告甚至是立法工作中都是非常重要的。 图2 使用cat命令/etc/named.conf文件进行编号对行进行编号功能有-b(只能对非空白行进行编号)和-n(可以对所有行进行编号)两个参数:$ cat -b /etc/named.conf(十一) ln1.作用ln命令用来在文件之间创建链接,它的使用权限是所有用户。2.格式ln [options] 源文件 [链接名]3.参数-f:链结时先将源文件删除。-d:允许系统管理者硬链结自己的目录。-s:进行软链结(Symbolic Link)。-b:将在链结时会被覆盖或删除的文件进行备份。链接有两种,一种被称为硬链接(Hard Link),另一种被称为符号链接(Symbolic Link)。默认情况下,ln命令产生硬链接。硬连接指通过索引节点来进行的连接。在Linux的文件系统中,保存在磁盘分区中的文件不管是什么类型都给它分配一个编号,称为索引节点号 (Inode Index)。在Linux中,多个文件名指向同一索引节点是存在的。一般这种连接就是硬连接。硬连接的作用是允许一个文件拥有多个有效路径名,这样用户 就可以建立硬连接到重要文件,以防止“误删”的功能。其原因如上所述,因为对应该目录的索引节点有一个以上的连接。只删除一个连接并不影响索引节点本身和 其它的连接,只有当最后一个连接被删除后,文件的数据块及目录的连接才会被释放。也就是说,文件才会被真正删除。与硬连接相对应,Lnux系统中还存在另一种连接,称为符号连接(Symbilc Link),也叫软连接。软链接文件有点类似于Windows的快捷方式。它实际上是特殊文件的一种。在符号连接中,文件实际上是一个文本文件,其中包含的有另一文件的位置信息。(十二) 动手练习上面我们介绍了Linux文件处理命令,下面介绍几个实例,大家可以动手练习一下刚才讲过的命令。1.利用符号链接快速访问关键目录符号链接是一个非常实用的功能。假设有一些目录或文件需要频繁使用,但由于Linux的文件和目录结构等原因,这个文件或目录在很深的子目录中。比 如, Apache Web服务器文档位于系统的/usr/local/httpd/htdocs中,并且不想每次都要从主目录进入这样一个长的路径之中(实际上,这个路径也 非常不容易记忆)。为了解决这个问题,可以在主目录中创建一个符号链接,这样在需要进入该目录时,只需进入这个链接即可。为了能方便地进入Web服务器(/usr/local/httpd/htdocs)文档所在的目录,在主目录下可以使用以下命令:$ ln -s /usr/local/httpd/htdocs gg这样每次进入gg目录就可访问Web服务器的文档,以后如果不再访问Web服务器的文档时,删除gg即可,而真正的Web服务器的文档并没有删除。2.使用dd命令将init.rd格式的root.ram内容导入内存dd if=/dev/fd0 of=floppy.fddd if=root.ram of=/dev/ram0 #3.grep命令系统调用grep是Linux/Unix中使用最广泛的命令之一,许多Linux系统内部都可以调用它。(1)如果要查询目录列表中的目录,方法如下:$ ls -l | grep '∧d'(2)如果在一个目录中查询不包含目录的所有文件,方法如下:$ ls -l | grep '∧[∧d]'(3)用find命令调用grep,如所有C源代码中的“Chinput”,方法如下:$find /ZhXwin -name *.c -exec grep -q -s Chinput {} \;-print 三、系统管理对于Linux系统来说,无论是中央处理器、内存、磁盘驱动器、键盘、鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心。熟悉了Linux常用的文件处理命令以后,这一讲介绍对系统和用户进行管理的命令。(一) df1.作用df命令用来检查文件系统的磁盘空间占用情况,使用权限是所有用户。2.格式df [options]3.主要参数-s:对每个Names参数只给出占用的数据块总数。-a:递归地显示指定目录中各文件及子目录中各文件占用的数据块数。若既不指定-s,也不指定-a,则只显示Names中的每一个目录及其中的各子目录所占的磁盘块数。-k:以1024字节为单位列出磁盘空间使用情况。-x:跳过在不同文件系统上的目录不予统计。-l:计算所有的文件大小,对硬链接文件则计算多次。-i:显示inode信息而非块使用量。-h:以容易理解的格式印出文件系统大小,例如136KB、254MB、21GB。-P:使用POSIX输出格式。-T:显示文件系统类型。4.说明df命令被广泛地用来生成文件系统的使用统计数据,它能显示系统中所有的文件系统的信息,包括总容量、可用的空闲空间、目前的安装点等。超级权限用户使用df命令时会发现这样的情况:某个分区的容量超过了100%。这是因为Linux系统为超级用户保留了10%的空间,由其单独支 配。也就是说,对于超级用户而言,他所见到的硬盘容量将是110%。这样的安排对于系统管理而言是有好处的,当硬盘被使用的容量接近100%时系统管理员 还可以正常工作。5.应用实例Linux支持的文件系统非常多,包括JFS、ReiserFS、ext、ext2、ext3、ISO9660、XFS、Minx、vfat、MSDOS等。使用df -T命令查看磁盘空间时还可以得到文件系统的信息:#df -T文件系统 类型 容量 已用 可用 已用% 挂载点/dev/hda7 reiserfs 5.2G 1.6G 3.7G 30% //dev/hda1 vfat 2.4G 1.6G 827M 66% /windows/C/dev/hda5 vfat 3.0G 1.7G 1.3G 57% /windows/D/dev/hda9 vfat 3.0G 2.4G 566M 82% /windows/E/dev/hda10 NTFS 3.2G 573M 2.6G 18% /windows/F/dev/hda11 vfat 1.6G 1.5G 23M 99% /windows/G从上面除了可以看到磁盘空间的容量、使用情况外,分区的文件系统类型、挂载点等信息也一览无遗。(二) top1.作用top命令用来显示执行中的程序进程,使用权限是所有用户。2.格式top [-] [d delay] [q] [c] [S] [s] [i] [n]3.主要参数d:指定更新的间隔,以秒计算。q:没有任何延迟的更新。如果使用者有超级用户,则top命令将会以最高的优先序执行。c:显示进程完整的路径与名称。S:累积模式,会将己完成或消失的子行程的CPU时间累积起来。s:安全模式。i:不显示任何闲置(Idle)或无用(Zombie)的行程。n:显示更新的次数,完成后将会退出top。4.说明top命令是Linux系统管理的一个主要命令,通过它可以获得许多信息。这里我们结合图1来说明它给出的信息。图1 top命令的显示在图1中,第一行表示的项目依次为当前时间、系统启动时间、当前系统登录用户数目、平均负载。第二行显示的是所有启动的进程、目前运行的、挂起 (Sleeping)的和无用(Zombie)的进程。第三行显示的是目前CPU的使用情况,包括系统占用的比例、用户使用比例、闲置(Idle)比例。 第四行显示物理内存的使用情况,包括总的可以使用的内存、已用内存、空闲内存、缓冲区占用的内存。第五行显示交换分区使用情况,包括总的交换分区、使用 的、空闲的和用于高速缓存的大小。第六行显示的项目最多,下面列出了详细解释。PID(Process ID):进程标示号。USER:进程所有者的用户名。PR:进程的优先级别。NI:进程的优先级别数值。VIRT:进程占用的虚拟内存值。RES:进程占用的物理内存值。SHR:进程使用的共享内存值。S:进程的状态,其中S表示休眠,R表示正在运行,Z表示僵死状态,N表示该进程优先值是负数。%CPU:该进程占用的CPU使用率。%MEM:该进程占用的物理内存和总内存的百分比。TIME+:该进程启动后占用的总的CPU时间。Command:进程启动的启动命令名称,如果这一行显示不下,进程会有一个完整的命令行。top命令使用过程中,还可以使用一些交互的命令来完成其它参数的功能。这些命令是通过快捷键启动的。<空格>:立刻刷新。P:根据CPU使用大小进行排序。T:根据时间、累计时间排序。q:退出top命令。m:切换显示内存信息。t:切换显示进程和CPU状态信息。c:切换显示命令名称和完整命令行。M:根据使用内存大小进行排序。W:将当前设置写入~/.toprc文件中。这是写top配置文件的推荐方法。可以看到,top命令是一个功能十分强大的监控系统的工具,对于系统管理员而言尤其重要。但是,它的缺点是会消耗很多系统资源。5.应用实例使用top命令可以监视指定用户,缺省情况是监视所有用户的进程。如果想查看指定用户的情况,在终端中按“U”键,然后输入用户名,系统就会切换为指定用户的进程运行界面,见图2所示。图2 使用top命令监视指定用户(三) free1.作用free命令用来显示内存的使用情况,使用权限是所有用户。2.格式free [-b|-k|-m] [-o] [-s delay] [-t] [-V]3.主要参数-b -k -m:分别以字节(KB、MB)为单位显示内存使用情况。-s delay:显示每隔多少秒数来显示一次内存使用情况。-t:显示内存总和列。-o:不显示缓冲区调节列。4.应用实例free命令是用来查看内存使用情况的主要命令。和top命令相比,它的优点是使用简单,并且只占用很少的系统资源。通过-S参数可以使用free命令不间断地监视有多少内存在使用,这样可以把它当作一个方便实时监控器。#free -b -s5使用这个命令后终端会连续不断地报告内存使用情况(以字节为单位),每5秒更新一次。(四) quota1.作用quota命令用来显示磁盘使用情况和限制情况,使用权限超级用户。2.格式quota [-g][-u][-v][-p] 用户名 组名3.参数-g:显示用户所在组的磁盘使用限制。-u:显示用户的磁盘使用限制。-v:显示没有分配空间的文件系统的分配情况。-p:显示简化信息。4.应用实例在企业应用中磁盘配额非常重要,普通用户要学会看懂自己的磁盘使用情况。要查询自己的磁盘配额可以使用下面命令(下例中用户账号是caojh):#quota caojhDisk quotas for user caojh(uid 502):Filesystem blocks quota limit grace files quota limit grace/dev/hda3 58 200000 400000 41 500 1000以上显示ID号为502的caojh账号,文件个数设置为500~1000个,硬盘空间限制设置为200MB~400MB。一旦磁盘配额要用完时,就需要删除一些垃圾文件或向系统管理员请求追加配额。(五) at1.作用at命令用来在指定时刻执行指定的命令序列。2.格式at [-V] [-q x] [-f file] [-m] time3.主要参数-V:显示标准错误输出。-q:许多队列输出。-f:从文件中读取作业。-m:执行完作业后发送电子邮件到用户。time:设定作业执行的时间。time格式有严格的要求,由小时、分钟、日期和时间的偏移量组成,其中日期的格式为MM.DD.YY,MM是分钟,DD是日期,YY是指年份。偏移量的格式为时间+偏移量,单位是minutes、hours和days。4.应用实例#at -f data 15:30 +2 days上面命令表示让系统在两天后的17:30执行文件data中指明的作业。(六) lp1.作用lp是打印文件的命令,使用权限是所有用户。2.格式lp [-c][-d][-m][-number][-title][-p]3.主要参数-c:先拷贝文件再打印。-d:打印队列文件。-m:打印结束后发送电子邮件到用户。-number:打印份数。-title:打印标题。-p:设定打印的优先级别,最高为100。4.应用实例(1)使用lp命令打印多个文件#lp 2 3 4request id is 11 (3 file(s))其中2、3、4分别是文件名;“request id is 11 (3 file(s)) ”表示这是第11个打印命令,依次打印这三个文件。(2)设定打印优先级别#lp lp -d LaserJet -p 90 /etc/aliases通过添加“-p 90”,规定了打印作业的优先级为90。它将在优先级低于90的打印作业之前打印,包括没有设置优先级的作业,缺省优先级是50(七) useradd1.作用useradd命令用来建立用户帐号和创建用户的起始目录,使用权限是超级用户。2.格式useradd [-d home] [-s shell] [-c comment] [-m [-k template]] [-f inactive] [-e expire ] [-p passwd] [-r] name3.主要参数-c:加上备注文字,备注文字保存在passwd的备注栏中。 -d:指定用户登入时的启始目录。-D:变更预设值。-e:指定账号的有效期限,缺省表示永久有效。-f:指定在密码过期后多少天即关闭该账号。-g:指定用户所属的群组。-G:指定用户所属的附加群组。-m:自动建立用户的登入目录。-M:不要自动建立用户的登入目录。-n:取消建立以用户名称为名的群组。-r:建立系统账号。-s:指定用户登入后所使用的shell。-u:指定用户ID号。4.说明useradd可用来建立用户账号,它和adduser命令是相同的。账号建好之后,再用passwd设定账号的密码。使用useradd命令所建立的账号,实际上是保存在/etc/passwd文本文件中。5.应用实例建立一个新用户账户,并设置ID:#useradd caojh -u 544需要说明的是,设定ID值时尽量要大于500,以免冲突。因为Linux安装后会建立一些特殊用户,一般0到499之间的值留给bin、mail这样的系统账号。(八) groupadd1.作用groupadd命令用于将新组加入系统。2.格式groupadd [-g gid] [-o]] [-r] [-f] groupname3.主要参数-g gid:指定组ID号。-o:允许组ID号,不必惟一。-r:加入组ID号,低于499系统账号。-f:加入已经有的组时,发展程序退出。4.应用实例建立一个新组,并设置组ID加入系统:#groupadd -g 344 cjh此时在/etc/passwd文件中产生一个组ID(GID)是344的项目。(九) kill1.作用kill命令用来中止一个进程。2.格式kill [ -s signal | -p ] [ -a ] pid ...kill -l [ signal ]3.参数-s:指定发送的信号。-p:模拟发送信号。-l:指定信号的名称列表。pid:要中止进程的ID号。Signal:表示信号。4.说明进程是Linux系统中一个非常重要的概念。Linux是一个多任务的操作系统,系统上经常同时运行着多个进程。我们不关心这些进程究竟是如何分配的,或者是内核如何管理分配时间片的,所关心的是如何去控制这些进程,让它们能够很好地为用户服务。Linux 操作系统包括三种不同类型的进程,每种进程都有自己的特点和属性。交互进程是由一个Shell启动的进程。交互进程既可以在前台运行,也可以在后台运行。 批处理进程和终端没有联系,是一个进程序列。监控进程(也称系统守护进程)时Linux系统启动时启动的进程,并在后台运行。例如,httpd是著名的 Apache服务器的监控进程。kill命令的工作原理是,向Linux系统的内核发送一个系统操作信号和某个程序的进程标识号,然后系统内核就可以对进程标识号指定的进程进行操 作。比如在top命令中,我们看到系统运行许多进程,有时就需要使用kill中止某些进程来提高系统资源。在讲解安装和登陆命令时,曾提到系统多个虚拟控 制台的作用是当一个程序出错造成系统死锁时,可以切换到其它虚拟控制台工作关闭这个程序。此时使用的命令就是kill,因为kill是大多数Shell内 部命令可以直接调用的。5.应用实例(1)强行中止(经常使用杀掉)一个进程标识号为324的进程:#kill -9 324(2)解除Linux系统的死锁在Linux 中有时会发生这样一种情况:一个程序崩溃,并且处于死锁的状态。此时一般不用重新启动计算机,只需要中止(或者说是关闭)这个有问题的程序即可。当 kill处于X-Window界面时,主要的程序(除了崩溃的程序之外)一般都已经正常启动了。此时打开一个终端,在那里中止有问题的程序。比如,如果 Mozilla浏览器程序出现了锁死的情况,可以使用kill命令来中止所有包含有Mozolla浏览器的程序。首先用top命令查处该程序的PID,然 后使用kill命令停止这个程序:#kill -SIGKILL XXX其中,XXX是包含有Mozolla浏览器的程序的进程标识号。(3)使用命令回收内存我们知道内存对于系统是非常重要的,回收内存可以提高系统资源。kill命令可以及时地中止一些“越轨”的程序或很长时间没有相应的程序。例如,使用top命令发现一个无用 (Zombie) 的进程,此时可以使用下面命令:#kill -9 XXX其中,XXX是无用的进程标识号。然后使用下面命令:#free此时会发现可用内存容量增加了。(4)killall命令Linux下还提供了一个killall命令,可以直接使用进程的名字而不是进程标识号,例如:# killall -HUP inetd(十) crontab1.作用使用crontab命令可以修改crontab配置文件,然后该配置由cron公用程序在适当的时间执行,该命令使用权限是所有用户。2.格式crontab [ -u user ] 文件crontab [ -u user ] { -l | -r | -e }3.主要参数-e:执行文字编辑器来设定时程表,内定的文字编辑器是vi。-r:删除目前的时程表。-l:列出目前的时程表。crontab 文件的格式为“M H D m d cmd”。其中,M代表分钟(0~59),H代表小时(0~23),D代表天(1~31),m代表月(1~12),d代表一星期内的天(0~6,0为星期 天)。cmd表示要运行的程序,它被送入sh执行,这个Shell只有USER、HOME、SHELL三个环境变量。4.说明和at命令相比,crontab命令适合完成固定周期的任务。5.应用实例设置一个定时、定期的系统提示:[cao @www cao]#crontab -e此时系统会打开一个vi编辑器。如果输入以下内容:35 17 * * 5 wall "Tomorrow is Saturday I will go CS",然后存盘退出。这时在/var/spool/cron/目录下会生产一个cao的文件,内容如下:# DO NOT EDIT THIS FILE - edit the master and reinstall.# (/tmp/crontab.2707 installed on Thu Jan 1 22:01:51 2004)# (Cron version -- $Id: crontab.c,v 2.13 1994/01/17 03:20:37 vixie Exp $)35 17 * * 5 wall "Tomorrow is Saturday I will play CS "这样每个星期五17:35系统就会弹出一个终端,提醒星期六可以打打CS了!显示结果见图3所示。图3 一个定时、定期的系统提示(十一) 动手练习1.联合使用kill和top命令观察系统性能的变化首先启动一个终端运行top命令,然后再启动一个终端使用kill命令,见图4所示。图4 观察kill命令对top终端的影响这时利用上面介绍的kill命令来中止一些程序:#kill SIGKILL XXX然后再看top命令终端的变化,包括内存容量、CPU使用率、系统负载等。注意,有些进程是不能中止的,不过学习Linux命令时可以试试,看看系统有什么反应。2.使用at和halt命令定时关机首先设定关机时间是17:35,输入下面代码:#at 17:35warning: commands will be executed using (in order) a) $SHELL b) login shell c) /bin/shat>halt `-i -pat> <EOT>job 6 at 2004-01-01 17:35此时实际上就已经进入Linux系统的Shell,并且编写一个最简单程序:halt -i -p。上面Shell中的文本结束符号表示按“Ctrl+D”组合键关闭命令,提交任务退出Shell。“Job 6 at 2004-01-01 17:35”表示系统接受第6个at命令,在“2004-01-01 17:35”时执行命令:先把所有网络相关的装置停止,关闭系统后关闭电源。3.用crontab命令实现每天定时的病毒扫描前面已经介绍了一个简单的crontab命令操作,这里看一些更重要的操作。(1)建立一个文件,文件名称自己设定,假设为caoproject:#crontab -e(2)文件内容如下:05 09 * * * antivir用vi编辑后存盘退出。antivir是一个查杀Linux病毒的软件,当然需要时先安装在系统中。(3)使用crontab命令添加到任务列表中:#crontab caoproject这样系统内所有用户在每天的9点05分会自动进行病毒扫描。4.用kill使修改的配置文件马上生效Windows用户一般都知道,重要配置文件修改后往往都要重新启动计算机才能使修改生效。而Linux由于采用了模块化设计,可以自己根据需要实时设定服务。这里以网络服务inetd为例介绍一些操作技巧。inetd 是一个监听守护进程,监听与提供互联网服务进程(如rlogin、telnet、ftp、rsh)进行连接的要求,并扩展所需的服务进程。默认情况 下,inetd监听的这些daemon均列于/etc /inetd.conf文件中。编辑/etc/inetd.conf文件,可以改变inetd启动服务器守护进程的选项,然后驱使inetd以 SIGHUP(signal 1)向当前的inetd进程发送信号,使inetd重读该文件。这一过程由kill命令来实现。用vi或其它编辑器修改inetd.conf后,首先使用下面命令:#ps -ef |grep inetd上面代码表明查询inetd.conf的进程号(PID),这里假设是1426,然后使用下面命令:# kill -1426 inetd这样配置文件就生效了。这一讲介绍的系统管理命令都是比较重要的,特别是crontab命令和quota命令使用起来会有一定难度,需要多做一些练习。另外,使用kill命令要注意“-9“这个参数,练习时最好不要运行一些重要的程序。 四、网络操作因为Linux系统是在Internet上起源和发展的,它与生俱来拥有强大的网络功能和丰富的网络应用软件,尤其是TCP/IP网络协 议的实现尤为成 熟。Linux的网络命令比较多,其中一些命令像ping、 ftp、telnet、route、netstat等在其它操作系统上也能看到,但也有一些Unix/Linux系统独有的命令,如ifconfig、 finger、mail等。Linux网络操作命令的一个特点是,命令参数选项和功能很多,一个命令往往还可以实现其它命令的功能。(一) ifconfig1.作用ifconfig用于查看和更改网络接口的地址和参数,包括IP地址、网络掩码、广播地址,使用权限是超级用户。2.格式ifconfig -interface [options] address3.主要参数-interface:指定的网络接口名,如eth0和eth1。up:激活指定的网络接口卡。down:关闭指定的网络接口。broadcast address:设置接口的广播地址。pointopoint:启用点对点方式。address:设置指定接口设备的IP地址。netmask address:设置接口的子网掩码。4.应用说明ifconfig是用来设置和配置网卡的命令行工具。为了手工配置网络,这是一个必须掌握的命令。使用该命令的好处是无须重新启动机器。要赋给eth0接口IP地址207.164.186.2,并且马上激活它,使用下面命令:#fconfig eth0 210.34.6.89 netmask 255.255.255.128 broadcast 210.34.6.127该命令的作用是设置网卡eth0的IP地址、网络掩码和网络的本地广播地址。若运行不带任何参数的ifconfig命令,这个命令将显示机器所有激 活接口的信息。带有“-a”参数的命令则显示所有接口的信息,包括没有激活的接口。注意,用ifconfig命令配置的网络设备参数,机器重新启动以后将 会丢失。如果要暂停某个网络接口的工作,可以使用down参数:#ifconfig eth0 down(二) ip1.作用ip是iproute2软件包里面的一个强大的网络配置工具,它能够替代一些传统的网络管理工具,例如ifconfig、route等,使用权限为超级用户。几乎所有的Linux发行版本都支持该命令。2.格式ip [OPTIONS] OBJECT [COMMAND [ARGUMENTS]]3.主要参数OPTIONS是修改ip行为或改变其输出的选项。所有的选项都是以-字符开头,分为长、短两种形式。目前,ip支持如表1所示选项。OBJECT是要管理者获取信息的对象。目前ip认识的对象见表2所示。表1 ip支持的选项-V,-Version 打印ip的版本并退出。-s,-stats,-statistics 输出更为详尽的信息。如果这个选项出现两次或多次,则输出的信息将更为详尽。-f,-family 这个选项后面接协议种类,包括inet、inet6或link,强调使用的协议种类。如果没有足够的信息告诉ip使用的协议种类,ip就会使用默认值inet或any。link比较特殊,它表示不涉及任何网络协议。-4 是-family inet的简写。-6 是-family inet6的简写。-0 是-family link的简写。-o,-oneline 对每行记录都使用单行输出,回行用字符代替。如果需要使用wc、grep等工具处理ip的输出,则会用到这个选项。-r,-resolve 查询域名解析系统,用获得的主机名代替主机IP地址COMMAND 设置针对指定对象执行的操作,它和对象的类型有关。一般情况下,ip支持对象的增加(add)、删除(delete)和展示(show或list)。有些 对象不支持这些操作,或者有其它的一些命令。对于所有的对象,用户可以使用help命令获得帮助。这个命令会列出这个对象支持的命令和参数的语法。如果没 有指定对象的操作命令,ip会使用默认的命令。一般情况下,默认命令是list,如果对象不能列出,就会执行help命令。ARGUMENTS 是命令的一些参数,它们倚赖于对象和命令。ip支持两种类型的参数:flag和parameter。flag由一个关键词组成;parameter由一个 关键词加一个数值组成。为了方便,每个命令都有一个可以忽略的默认参数。例如,参数dev是ip link命令的默认参数,因此ip link ls eth0等于ip link ls dev eth0。我们将在后面的详细介绍每个命令的使用,命令的默认参数将使用default标出。4.应用实例添加IP地址192.168.2.2/24到eth0网卡上:#ip addr add 192.168.1.1/24 dev eth0丢弃源地址属于192.168.2.0/24网络的所有数据报:#ip rule add from 192.168.2.0/24 prio 32777 reject(三) ping1.作用ping检测主机网络接口状态,使用权限是所有用户。2.格式ping [-dfnqrRv][-c][-i][-I][-l][-p][-s][-t] IP地址3.主要参数-d:使用Socket的SO_DEBUG功能。-c:设置完成要求回应的次数。-f:极限检测。-i:指定收发信息的间隔秒数。-I:网络界面使用指定的网络界面送出数据包。-l:前置载入,设置在送出要求信息之前,先行发出的数据包。-n:只输出数值。-p:设置填满数据包的范本样式。-q:不显示指令执行过程,开头和结尾的相关信息除外。-r:忽略普通的Routing Table,直接将数据包送到远端主机上。-R:记录路由过程。-s:设置数据包的大小。-t:设置存活数值TTL的大小。-v:详细显示指令的执行过程。ping 命令是使用最多的网络指令,通常我们使用它检测网络是否连通,它使用ICMP协议。但是有时会有这样的情况,我们可以浏览器查看一个网页,但是却无法 ping通,这是因为一些网站处于安全考虑安装了防火墙。另外,也可以在自己计算机上试一试,通过下面的方法使系统对ping没有反应:# echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all(四) netstat1.作用检查整个Linux网络状态。2.格式netstat [-acCeFghilMnNoprstuvVwx][-A][--ip]3.主要参数-a--all:显示所有连线中的Socket。-A:列出该网络类型连线中的IP相关地址和网络类型。-c--continuous:持续列出网络状态。-C--cache:显示路由器配置的快取信息。-e--extend:显示网络其它相关信息。-F--fib:显示FIB。-g--groups:显示多重广播功能群组组员名单。-h--help:在线帮助。-i--interfaces:显示网络界面信息表单。-l--listening:显示监控中的服务器的Socket。-M--masquerade:显示伪装的网络连线。-n--numeric:直接使用IP地址,而不通过域名服务器。-N--netlink--symbolic:显示网络硬件外围设备的符号连接名称。-o--timers:显示计时器。-p--programs:显示正在使用Socket的程序识别码和程序名称。-r--route:显示Routing Table。-s--statistice:显示网络工作信息统计表。-t--tcp:显示TCP传输协议的连线状况。-u--udp:显示UDP传输协议的连线状况。-v--verbose:显示指令执行过程。-V--version:显示版本信息。-w--raw:显示RAW传输协议的连线状况。-x--unix:和指定“-A unix”参数相同。--ip--inet:和指定“-A inet”参数相同。4.应用实例netstat 主要用于Linux察看自身的网络状况,如开启的端口、在为哪些用户服务,以及服务的状态等。此外,它还显示系统路由表、网络接口状态等。可以说,它是一 个综合性的网络状态的察看工具。在默认情况下,netstat只显示已建立连接的端口。如果要显示处于监听状态的所有端口,使用-a参数即可:#netstat -aActive Internet connections (only servers)Proto Recv-Q Send-Q Local Address Foreign Address Statetcp 0 0 *:32768 *:* LISTENtcp 0 0 *:32769 *:* LISTENtcp 0 0 *:nfs *:* LISTENtcp 0 0 *:32770 *:* LISTENtcp 0 0 *:868 *:* LISTENtcp 0 0 *:617 *:* LISTENtcp 0 0 *:mysql *:* LISTENtcp 0 0 *:netbios-ssn *:* LISTENtcp 0 0 *:sunrpc *:* LISTENtcp 0 0 *:10000 *:* LISTENtcp 0 0 *:http *:* LISTEN......上面显示出,这台主机同时提供HTTP、FTP、NFS、MySQL等服务。(五) telnet1.作用telnet表示开启终端机阶段作业,并登入远端主机。telnet是一个Linux命令,同时也是一个协议(远程登陆协议)。2.格式telnet [-8acdEfFKLrx][-b][-e][-k][-l][-n][-S][-X][主机名称IP地址<通信端口>]3.主要参数-8:允许使用8位字符资料,包括输入与输出。-a:尝试自动登入远端系统。-b:使用别名指定远端主机名称。-c:不读取用户专属目录里的.telnetrc文件。-d:启动排错模式。-e:设置脱离字符。-E:滤除脱离字符。-f:此参数的效果和指定“-F”参数相同。-F:使用Kerberos V5认证时,加上此参数可把本地主机的认证数据上传到远端主机。-k:使用Kerberos认证时,加上此参数让远端主机采用指定的领域名,而非该主机的域名。-K:不自动登入远端主机。-l:指定要登入远端主机的用户名称。-L:允许输出8位字符资料。-n:指定文件记录相关信息。-r:使用类似rlogin指令的用户界面。-S:服务类型,设置telnet连线所需的IP TOS信息。-x:假设主机有支持数据加密的功能,就使用它。-X:关闭指定的认证形态。4.应用说明用户使用telnet命令可以进行远程登录,并在远程计算机之间进行通信。用户通过网络在远程计算机上登录,就像登录到本地机 上执行命令一样。为了通过 telnet登录到远程计算机上,必须知道远程机上的合法用户名和口令。虽然有些系统确实为远程用户提供登录功能,但出于对安全的考虑,要限制来宾的操作 权限,因此,这种情况下能使用的功能是很少的。telnet只为普通终端提供终端仿真,而不支持X-Window等图形环境。当允许远程用户登录时,系统通常把这些用户放在一个受限制的 Shell中,以防系统被怀有恶意的或不小心的用户破坏。用户还可以使用telnet从远程站点登录到自己的计算机上,检查电子邮件、编辑文件和运行程 序,就像在本地登录一样。(六) ftp1.作用ftp命令进行远程文件传输。FTP是ARPANet的标准文件传输协议,该网络就是现今Internet的前身,所以ftp既是协议又是一个命令。2.格式ftp [-dignv][主机名称IP地址]3.主要参数-d:详细显示指令执行过程,便于排错分析程序执行的情形。-i:关闭互动模式,不询问任何问题。-g:关闭本地主机文件名称支持特殊字符的扩充特性。-n:不使用自动登陆。-v:显示指令执行过程。4.应用说明ftp 命令是标准的文件传输协议的用户接口,是在TCP/IP网络计算机之间传输文件简单有效的方法,它允许用户传输ASCⅡ文件和二进制文件。为了使用ftp 来传输文件,用户必须知道远程计算机上的合法用户名和口令。这个用户名/口令的组合用来确认ftp会话,并用来确定用户对要传输的文件进行什么样的访问。 另外,用户需要知道对其进行ftp会话的计算机名字的IP地址。用户可以通过使用ftp客户程序,连接到另一台计算机上;可以在目录中上下移动、列出目录内容;可以把文件从远程计算机机拷贝到本地机上;还可以把文件从本地机传输到远程系统中。ftp内部命令有72个,下面列出主要几个内部命令:ls:列出远程机的当前目录。cd:在远程机上改变工作目录。lcd:在本地机上改变工作目录。close:终止当前的ftp会话。hash:每次传输完数据缓冲区中的数据后就显示一个#号。get(mget):从远程机传送指定文件到本地机。put(mput):从本地机传送指定文件到远程机。quit:断开与远程机的连接,并退出ftp。(七) route1.作用route表示手工产生、修改和查看路由表。2.格式#route [-add][-net|-host] targetaddress [-netmask Nm][dev]If]#route [-delete][-net|-host] targetaddress [gw Gw] [-netmask Nm] [dev]If]3.主要参数-add:增加路由。-delete:删除路由。-net:路由到达的是一个网络,而不是一台主机。-host:路由到达的是一台主机。-netmask Nm:指定路由的子网掩码。gw:指定路由的网关。[dev]If:强迫路由链指定接口。4.应用实例route命令是用来查看和设置Linux系统的路由信息,以实现与其它网络的通信。要实现两个不同的子网之间的通信,需要一台连接两个网络的路由器,或者同时位于两个网络的网关来实现。在Linux系统中,设置路由通常是为了解决以下问题:该Linux系统在一个局域网中,局域网中有一个网关,能够让机器访问Internet,那么就需要将这台机器的IP地址设置为Linux机器的默认路由。使用下面命令可以增加一个默认路由:route add 0.0.0.0 192.168.1.1(八) rlogin1.作用rlogin用来进行远程注册。2.格式rlogin [ -8EKLdx ] [ -e char ] [-k realm ] [ - l username ] host3.主要参数-8:此选项始终允许8位输入数据通道。该选项允许发送格式化的ANSI字符和其它的特殊代码。如果不用这个选项,除非远端的不是终止和启动字符,否则就去掉奇偶校验位。-E:停止把任何字符当作转义字符。当和-8选项一起使用时,它提供一个完全的透明连接。-K:关闭所有的Kerberos确认。只有与使用Kerberos 确认协议的主机连接时才使用这个选项。-L:允许rlogin会话在litout模式中运行。要了解更多信息,请查阅tty联机帮助。-d:打开与远程主机进行通信的TCP sockets的socket调试。要了解更多信息,请查阅setsockopt的联机帮助。-e:为rlogin会话设置转义字符,默认的转义字符是“~”。-k:请求rlogin获得在指定区域内远程主机的Kerberos许可,而不是获得由krb_realmofhost(3)确定的远程主机区域内的远程主机的Kerberos许可。-x:为所有通过rlogin会话传送的数据打开DES加密。这会影响响应时间和CPU利用率,但是可以提高安全性。4.使用说明如果在网络中的不同系统上都有账号,或者可以访问别人在另一个系统上的账号,那么要访问别的系统中的账号,首先就要注册到系统中,接着通过网络远程注册到账号所在的系统中。rlogin可以远程注册到别的系统中,它的参数应是一个系统名。(九) rcp1.作用rcp代表远程文件拷贝,用于计算机之间文件拷贝,使用权限是所有用户。2.格式rcp [-px] [-k realm] file1 file2 rcp [-px] [-r] [-k realm] file3.主要参数-r:递归地把源目录中的所有内容拷贝到目的目录中。要使用这个选项,目的必须是一个目录。-p:试图保留源文件的修改时间和模式,忽略umask。-k:请求rcp获得在指定区域内的远程主机的Kerberos许可,而不是获得由krb_relmofhost(3)确定的远程主机区域内的远程主机的Kerberos许可。-x:为传送的所有数据打开DES加密。(十) finger1.作用finger用来查询一台主机上的登录账号的信息,通常会显示用户名、主目录、停滞时间、登录时间、登录Shell等信息,使用权限为所有用户。2.格式finger [选项] [使用者] [用户@主机]3.主要参数-s:显示用户注册名、实际姓名、终端名称、写状态、停滞时间、登录时间等信息。-l:除了用-s选项显示的信息外,还显示用户主目录、登录Shell、邮件状态等信息,以及用户主目录下的.plan、.project和.forward文件的内容。-p:除了不显示.plan文件和.project文件以外,与-l选项相同。4.应用实例在计算机上使用finger:[root@localhost root]# FingerLogin Name Tty Idle Login Time Office Office Phoneroot root tty1 2 Dec 15 11root root pts/0 1 Dec 15 11root root *pts/1 Dec 15 115.应用说明如果要查询远程机上的用户信息,需要在用户名后面接“@主机名”,采用[用户名@主机名]的格式,不过要查询的网络主机需要运行finger守护进程的支持。(十一) mail1.作用mail作用是发送电子邮件,使用权限是所有用户。此外,mail还是一个电子邮件程序。2.格式mail [-s subject] [-c address] [-b address]mail -f [mailbox]mail [-u user]3.主要参数-b address:表示输出信息的匿名收信人地址清单。-c address:表示输出信息的抄送()收信人地址清单。-f [mailbox]:从收件箱者指定邮箱读取邮件。-s subject:指定输出信息的主体行。[-u user]:端口指定优化的收件箱读取邮件。(十二) nslookup1.作用nslookup命令的功能是查询一台机器的IP地址和其对应的域名。使用权限所有用户。它通常需要一台域名服务器来提供域名服务。如果用户已经设置好域名服务器,就可以用这个命令查看不同主机的IP地址对应的域名。2.格式nslookup [IP地址/域名]3.应用实例(1)在本地计算机上使用nslookup命令$ nslookupDefault Server: name.cao.com.cnAddress: 192.168.1.9>在符号“>”后面输入要查询的IP地址域名,并回车即可。如果要退出该命令,输入“exit”,并回车即可。(2)使用nslookup命令测试named输入下面命令:nslookup然后就进入交换式nslookup环境。如果named正常启动,则nslookup会显示当前DNS服务器的地址和域名,否则表示named没能正常启动。下面简单介绍一些基本的DNS诊断。◆ 检查正向DNS解析,在nslookup提示符下输入带域名的主机名,如hp712.my.com,nslookup应能显示该主机名对应的IP地址。如 果只输入hp712,nslookup会根据/etc/resolv.conf的定义,自动添加my.com域名,并回答对应的IP地址。◆检查反向DNS解析,在nslookup提示符下输入某个IP地址,如192.22.33.20,nslookup应能回答该IP地址所对应的主机名。◆检查MX邮件地址记录在nslookup提示符下输入:set q=mx然后输入某个域名,输入my.com和mail.my.com,nslookup应能够回答对应的邮件服务器地址,即support.my.com和support2.my.com。(十三) 动手练习1.危险的网络命令互联网的发展使安全成为一个不能忽视的问题,finger、ftp、rcp和telnet在本质上都是不安全的,因为它 们在网络上用明文传送口令和数据,嗅探器可以非常容易地截获这些口令和数据。而且,这些服务程序的安全验证方式也是有弱点的,很容易受到“中间服务器”方 式的攻击。这里笔者把一些不安全的命令根据危险等级列出,见表3所示。现在ftp、telnet可以被SSH命令代替绑定在端口22上,其连接采用协商方式,使用RSA加密。身份鉴别完成之后,后面的所有流量都使用 IDEA 进行加密。SSH(Secure Shell)程序可以通过网络登录到远程主机,并执行命令。rcp、rlogin等远程调用命令也逐渐被VNC软件代 替。2.在一张网卡上绑定多个IP地址在Linux下,可以使用ifconfig方便地绑定多个IP地址到一张网卡。例如,eth0接口的原有IP地址为192.168.0 .254,可以执行下面命令:ifconfig eth0:0 192.168.0.253 netmask 255.255.255.0ifconfig eth0:1 192.168.0.252 netmask 255.255.255.0......3.修改网卡MAC地址首先必须关闭网卡设备,命令如下:/sbin/ifconfig eth0 down修改MAC地址,命令如下:/sbin/ifconfig eth0 hw ether 00:AA:BB:CC:DD:EE重新启用网卡:/sbin/ifconfig eht0 up这样网卡的MAC地址就更改完成了。每张网卡的MAC地址是惟一,但不是不能修改的,只要保证在网络中的MAC地址的惟一性就可以了。4.初步部署IPv6IPv4 技术在网络发展中起到了巨大的作用,不过随着时间的流逝它无论在网络地址的提供、服务质量、安全性等方面都越来越力不从心,IPv6呼之欲出。Linux 是所有操作系统中最先支持IPv6的,一般Linux基于2.4内核的Linux发行版本都可以直接使用IPv6,不过主要发行版本没有加载IPv6模 块,可以使用命令手工加载,需要超级用户的权限。(1)加载IPv6模块使用命令检测,其中inet6 addr: fe80::5054:abff:fe34:5b09/64,就是eth0网卡的IPv6地址。# modprobe IPv6#ifconfigeth0 Link encap:Ethernet HWaddr 52:54:AB:34:5B:09inet addr:192.168.1.2 Bcast:192.168.1.255 Mask:255.255.255.0inet6 addr: fe80::5054:abff:fe34:5b09/64 Scope:LinkUP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1RX packets:0 errors:0 dropped:0 overruns:0 frame:0TX packets:21 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:100RX bytes:0 (0.0 b) TX bytes:1360 (1.3 Kb)Interrupt:5 Base address:0xec00(2)使用ping命令检测网卡的IPv6地址是否有效#ping6 -I eth0 -c 2 fe80::200:e8ff:fea0:2586和IPv4不一样,使用ping6命令时必须指定一个网卡界面,否则系统不知道将数据包发送到哪个网络设备。I表示Interface、eth0是第一个网卡,-c表示回路,2表示ping6操作两次。结果见图1所示。图1 IPv6网络下的ping6命令(3)使用ip命令在IPv6下为eth0增加一个IP地址#ip -6 addr add 3ffe:ffff:0:f101::1/64 dev eth0使用ifconfig命令,查看网卡是否出现第二个IPv6地址。Linux网络的主要优点是能够实现资源和信息的共享,并且用户可以远程访问信息。Linux提供了一组强有力的网络命令来为用户服务,这些工具能够帮助用户进行网络设定、检查网络状况、登录到远程计算机上、传输文件和执行远程命令等。上面介绍了Linux中比较重要的网络命令,其实Linux还有许多命令需要学习。Linux网络操作命令的一个特点就是命令参数选项很多,并不要求全部记住,关键在于理解命令的主要用途和学会使用帮助信息。 五、系统安全虽然Linux和Windows NT/2000系统一样是一个多用户的系统,但是它们之间有不少重要的差别。对于很多习惯了Windows系统的管理员来讲,如何保证Linux操作系统安全、可靠将会面临许多新的挑战。本文将重点介绍Linux系统安全的命令。(一) passwd1.作用passwd命令原来修改账户的登陆密码,使用权限是所有用户。2.格式passwd [选项] 账户名称3.主要参数-l:锁定已经命名的账户名称,只有具备超级用户权限的使用者方可使用。-u:解开账户锁定状态,只有具备超级用户权限的使用者方可使用。-x, --maximum=DAYS:最大密码使用时间(天),只有具备超级用户权限的使用者方可使用。-n, --minimum=DAYS:最小密码使用时间(天),只有具备超级用户权限的使用者方可使用。-d:删除使用者的密码, 只有具备超级用户权限的使用者方可使用。-S:检查指定使用者的密码认证种类, 只有具备超级用户权限的使用者方可使用。4.应用实例$ passwdChanging password for user cao.Changing password for cao(current) UNIX password:New UNIX password:Retype new UNIX password:passwd: all authentication tokens updated successfully.从上面可以看到,使用passwd命令需要输入旧的密码,然后再输入两次新密码。(二) su1.作用su的作用是变更为其它使用者的身份,超级用户除外,需要键入该使用者的密码。2.格式su [选项]... [-] [USER [ARG]...]3.主要参数-f , --fast:不必读启动文件(如 csh.cshrc 等),仅用于csh或tcsh两种Shell。-l , --login:加了这个参数之后,就好像是重新登陆为该使用者一样,大部分环境变量(例如HOME、SHELL和USER等)都是以该使用者(USER)为主,并且工作目录也会改变。如果没有指定USER,缺省情况是root。-m, -p ,--preserve-environment:执行su时不改变环境变数。-c command:变更账号为USER的使用者,并执行指令(command)后再变回原来使用者。USER:欲变更的使用者账号,ARG传入新的Shell参数。4.应用实例变更账号为超级用户,并在执行df命令后还原使用者。 su -c df root(三) umask1.作用umask设置用户文件和目录的文件创建缺省屏蔽值,若将此命令放入profile文件,就可控制该用户后续所建文件的存取许可。它告诉系统在创建文件时不给谁存取许可。使用权限是所有用户。2.格式umask [-p] [-S] [mode]3.参数-S:确定当前的umask设置。-p:修改umask 设置。[mode]:修改数值。4.说明传统Unix的umask值是022,这样就可以防止同属于该组的其它用户及别的组的用户修改该用户的文件。既然每个用户都拥有并 属于一个自己的私有组,那么这种“组保护模式”就不在需要了。严密的权限设定构成了Linux安全的基础,在权限上犯错误是致命的。需要注意的 是,umask命令用来设置进程所创建的文件的读写权限,最保险的值是0077,即关闭创建文件的进程以外的所有进程的读写权限,表示为 -rw-------。在~/.bash_profile中,加上一行命令umask 0077可以保证每次启动Shell后, 进程的umask权限都可以被正确设定。5.应用实例umask -Su=rwx,g=rx,o=rxumask -p 177umask -Su=rw,g=,o=上述5行命令,首先显示当前状态,然后把umask值改为177,结果只有文件所有者具有读写文件的权限,其它用户不能访问该文件。这显然是一种非常安全的设置。(四) chgrp1.作用chgrp表示修改一个或多个文件或目录所属的组。使用权限是超级用户。2.格式chgrp [选项]... 组 文件...或chgrp [选项]... --reference=参考文件 文件...将每个<文件>的所属组设定为<组>。3.参数-c, --changes :像 --verbose,但只在有更改时才显示结果。--dereference:会影响符号链接所指示的对象,而非符号链接本身。-h, --no-dereference:会影响符号链接本身,而非符号链接所指示的目的地(当系统支持更改符号链接的所有者,此选项才有效)。-f, --silent, --quiet:去除大部分的错误信息。--reference=参考文件:使用<参考文件>的所属组,而非指定的<组>。-R, --recursive:递归处理所有的文件及子目录。-v, --verbose:处理任何文件都会显示信息。4.应用说明该命令改变指定指定文件所属的用户组。其中group可以是用户组ID,也可以是/etc/group文件中用户组的组名。文件名是以空格分开的要改变属组的文件列表,支持通配符。如果用户不是该文件的属主或超级用户,则不能改变该文件的组。5.应用实例改变/opt/local /book/及其子目录下的所有文件的属组为book,命令如下:$ chgrp - R book /opt/local /book(五) chmod1.作用chmod命令是非常重要的,用于改变文件或目录的访问权限,用户可以用它控制文件或目录的访问权限,使用权限是超级用户。2.格式chmod命令有两种用法。一种是包含字母和操作符表达式的字符设定法(相对权限设定);另一种是包含数字的数字设定法(绝对权限设定)。(1)字符设定法chmod [who] [+ | - | =] [mode] 文件名◆操作对象who可以是下述字母中的任一个或它们的组合u:表示用户,即文件或目录的所有者。g:表示同组用户,即与文件属主有相同组ID的所有用户。o:表示其它用户。a:表示所有用户,它是系统默认值。◆操作符号+:添加某个权限。-:取消某个权限。=:赋予给定权限,并取消其它所有权限(如果有的话)。◆设置mode的权限可用下述字母的任意组合r:可读。w:可写。x:可执行。X:只有目标文件对某些用户是可执行的或该目标文件是目录时才追加x属性。s:文件执行时把进程的属主或组ID置为该文件的文件属主。方式“u+s”设置文件的用户ID位,“g+s”设置组ID位。t:保存程序的文本到交换设备上。u:与文件属主拥有一样的权限。g:与和文件属主同组的用户拥有一样的权限。o:与其它用户拥有一样的权限。文件名:以空格分开的要改变权限的文件列表,支持通配符。一个命令行中可以给出多个权限方式,其间用逗号隔开。(2) 数字设定法数字设定法的一般形式为: chmod [mode] 文件名数字属性的格式应为3个0到7的八进制数,其顺序是(u)(g)(o)文件名,以空格分开的要改变权限的文件列表,支持通配符。数字表示的权限的含义如下:0001为所有者的执行权限;0002为所有者的写权限;0004为所有者的读权限;0010为组的执行权限;0020 为组的写权限;0040为组的读权限;0100为其他人的执行权限;0200为其他人的写权限;0400为其他人的读权限;1000为粘贴位置 位;2000表示假如这个文件是可执行文件,则为组ID为位置位,否则其中文件锁定位置位;4000表示假如这个文件是可执行文件,则为用户ID为位置 位。3.实例如果一个系统管理员写了一个表格(tem)让所有用户填写,那么必须授权用户对这个文件有读写权限,可以使用命令:#chmod 666 tem上面代码中,这个666数字是如何计算出来的呢?0002为所有者的写权限,0004为所有者的读权限,0020为组的写权限,0040为组的读权 限, 0200为其他人的写权限,0400为其他人的读权限,这6个数字相加就是666(注以上数字都是八进制数),结果见图1所示。图1 用chmod数字方法设定文件权限从图1可以看出,tem文件的权限是-rw-rw-rw-,即用户对这个文件有读写权限。如果用字符权限设定使用下面命令:#chmod a =wx tem(六) chown1.作用更改一个或多个文件或目录的属主和属组。使用权限是超级用户。2.格式chown [选项] 用户或组 文件3.主要参数--dereference:受影响的是符号链接所指示的对象,而非符号链接本身。-h, --no-dereference:会影响符号链接本身,而非符号链接所指示的目的地(当系统支持更改符号链接的所有者,此选项才有效)。--from=目前所有者:目前组只当每个文件的所有者和组符合选项所指定的,才会更改所有者和组。其中一个可以省略,这已省略的属性就不需要符合原有的属性。-f, --silent, --quiet:去除大部分的错误信息。-R, --recursive:递归处理所有的文件及子目录。-v, --verbose:处理任何文件都会显示信息。4.说明chown 将指定文件的拥有者改为指定的用户或组,用户可以是用户名或用户ID;组可以是组名或组ID;文件是以空格分开的要改变权限的文件列表,支持通配符。系统管理员经常使用chown命令,在将文件拷贝到另一个用户的目录下以后,让用户拥有使用该文件的权限。5.应用实例1.把文件shiyan.c的所有者改为wan$ chown wan shiyan.c2.把目录/hi及其下的所有文件和子目录的属主改成wan,属组改成users。$ chown - R wan.users /hi(七) chattr1.作用修改ext2和ext3文件系统属性(attribute),使用权限超级用户。2.格式chattr [-RV] [-+=AacDdijsSu] [-v version] 文件或目录3.主要参数-R:递归处理所有的文件及子目录。-V:详细显示修改内容,并打印输出。-:失效属性。+:激活属性。= :指定属性。A:Atime,告诉系统不要修改对这个文件的最后访问时间。S:Sync,一旦应用程序对这个文件执行了写操作,使系统立刻把修改的结果写到磁盘。a:Append Only,系统只允许在这个文件之后追加数据,不允许任何进程覆盖或截断这个文件。如果目录具有这个属性,系统将只允许在这个目录下建立和修改文件,而不允许删除任何文件。i:Immutable,系统不允许对这个文件进行任何的修改。如果目录具有这个属性,那么任何的进程只能修改目录之下的文件,不允许建立和删除文件。D:检查压缩文件中的错误。d:No dump,在进行文件系统备份时,dump程序将忽略这个文件。C:Compress,系统以透明的方式压缩这个文件。从这个文件读取时,返回的是解压之后的数据;而向这个文件中写入数据时,数据首先被压缩之后才写入磁盘。s:Secure Delete,让系统在删除这个文件时,使用0填充文件所在的区域。u:Undelete,当一个应用程序请求删除这个文件,系统会保留其数据块以便以后能够恢复删除这个文件。4.说明chattr 命令的作用很大,其中一些功能是由Linux内核版本来支持的,如果Linux内核版本低于2.2,那么许多功能不能实现。同样-D检查压缩文件中的错误 的功能,需要2.5.19以上内核才能支持。另外,通过chattr命令修改属性能够提高系统的安全性,但是它并不适合所有的目录。chattr命令不能 保护/、/dev、/tmp、/var目录。5.应用实例1.恢复/root目录,即子目录的所有文件# chattr -R +u/root2.用chattr命令防止系统中某个关键文件被修改在Linux下,有些配置文件(passwd ,fatab)是不允许任何人修改的,为了防止被误删除或修改,可以设定该文件的“不可修改位(immutable)”,命令如下:# chattr +i /etc/fstab(八) sudo1.作用sudo是一种以限制配置文件中的命令为基础,在有限时间内给用户使用,并且记录到日志中的命令,权限是所有用户。2.格式sudo [-bhHpV] [-s <shell>] [-u <用户>] [指令]sudo [-klv]3.主要参数-b:在后台执行命令。-h:显示帮助。-H:将HOME环境变量设为新身份的HOME环境变量。-k:结束密码的有效期,即下次将需要输入密码。-l:列出当前用户可以使用的命令。-p:改变询问密码的提示符号。-s <shell>:执行指定的Shell。-u <用户>:以指定的用户为新身份,不使用时默认为root。-v:延长密码有效期5分钟。4.说明sudo 命令的配置在/etc/sudoers文件中。当用户使用sudo时,需要输入口令以验证使用者身份。随后的一段时间内可以使用定义好的命令,当使用配置文件中没有的命令时,将会有报警的记录。sudo是系统管理员用来允许某些用户以root身份运行部分/全部系统命令的程序。一个明显的用途是增强了站点的安全性,如果需要每天以超级用户的身份做一些日常工作,经常执行一些固定的几个只有超级用户身份才能执行的命令,那么用sudo是非常适合的。(九) ps1.作用ps显示瞬间进程 (process) 的动态,使用权限是所有使用者。2.格式ps [options] [--help]3.主要参数ps的参数非常多, 此出仅列出几个常用的参数。-A:列出所有的进程。-l:显示长列表。-m:显示内存信息。-w:显示加宽可以显示较多的信息。-e:显示所有进程。a:显示终端上的所有进程,包括其它用户的进程。-au:显示较详细的信息。-aux:显示所有包含其它使用者的进程。4.说明要对进程进行监测和控制,首先要了解当前进程的情况,也就是需要查看当前进程。ps命令就是最基本、也是非常强大的进程查看命令。 使用该命令可以确定有哪些进程正在运行、运行的状态、进程是否结束、进程有没有僵尸、哪些进程占用了过多的资源等。图2给出了ps-aux命令详解。大部 分信息都可以通过执行该命令得到。最常用的三个参数是u、a、x。下面就结合这三个参数详细说明ps命令的作用:ps aux图2 ps-aux命令详解图2第2行代码中,USER表示进程拥有者;PID表示进程标示符;%CPU表示占用的CPU使用率;%MEM占用的物理内存使用率;VSZ表示占用的虚拟内存大小;RSS为进程占用的物理内存值;TTY为终端的次要装置号码。STAT 表示进程的状态,其中D为不可中断的静止(I/O动作);R正在执行中;S静止状态;T暂停执行;Z不存在,但暂时无法消除;W没有足够的内存分页可分 配;高优先序的进程;N低优先序的进程;L有内存分页分配并锁在内存体内 (实时系统或 I/O)。START为进程开始时间。TIME为执行的时间。COMMAND是所执行的指令。4.应用实例在进行系统维护时,经常会出现内存使用量惊人,而又不知道是哪一个进程占用了大量进程的情况。除了可以使用top命令查看内存使用情况之外,还可以使用下面的命令:ps aux | sort +5n(十) who1.作用who显示系统中有哪些用户登陆系统,显示的资料包含了使用者ID、使用的登陆终端、上线时间、呆滞时间、CPU占用,以及做了些什么。 使用权限为所有用户。2.格式who - [husfV] [user]3.主要参数-h:不要显示标题列。-u:不要显示使用者的动作/工作。-s:使用简短的格式来显示。-f:不要显示使用者的上线位置。-V:显示程序版本。4.说明该命令主要用于查看当前在线上的用户情况。如果用户想和其它用户建立即时通信,比如使用talk命令,那么首先要确定的就是该用户 确实在线上,不然 talk进程就无法建立起来。又如,系统管理员希望监视每个登录的用户此时此刻的所作所为,也要使用who命令。who命令应用起来非常简单,可以比较准 确地掌握用户的情况,所以使用非常广泛。(十一) 动手练习1.使用Linux命令检测系统入侵者安装过Mandrake Linux和Red Hat Linux的用户都会知道,Linux系统会内置三种不同级别(标准、高、更高)的防火墙,当进行了Linux服务器的安装和一些基本的设置后,服务器应 该说是比较安全的,但是也会有黑客通过各种方法利用系统管理员的疏忽侵入系统。如何快速查找黑客非常重要。一般来说,可以使用命令查询黑客是否入侵,见表 1。表1 查询黑客入侵现象的命令对应表举例说明,如果黑客嗅探网络,那么它必须使网卡接口处于混杂模式,使用下面命令进行查询:#ifconfig -aeth0 Link encap:Ethernet HWaddr 00:00:E8:A0:25:86inet addr:192.168.1.7 Bcast:192.168.1.255 Mask:255.255.255.0UP BROADCAST RUNNING PROMISCUOUS MTU:1500 Metric:1......从这个命令的输出中,可以看到上面讲到的这些概念。第一行的00:00:E8:A0:25:86是mac地址,第二行的192.168.1.7是 IP地址,第四行讲的是接收数据状态,这时正在被黑客嗅探。一般而言,网卡有几种接收数据帧的状态,如Broadcast、Multicast、 Promiscuous等。Broadcast是指接收所有类型为广播报文的数据帧;Multicast是指接收特定的组播报文;Promiscuous 则是通常说的混杂模式,是指对报文中的目的硬件地址不加任何检查、全部接收的工作模式。2.限制su命令的滥用我们知道,超级用户在Linux中有最大的权利,几乎所有黑客都想得到这个目标。Linux可以增加对切换到超级用 户的限制。使用PAM (Pluggable Authentication Modules)可以禁止除在wheel组以外的任何人su成root,修改/etc/pam.d/su文件,除去屏蔽标识#。使用 /usr/sbin/usermod G10 bjecadm将bjecadm这个账号加入gid为10的组,就是wheel组。命令如下:/etc/pam.d/su # 使用密码验证#auth sufficient /lib/security/pam_wheel.so debug# 限制只有wheel组用户才可以切换到root#auth required /lib/security/pam_wheel.so use_uidchmod -G10 bjecadm另外,每当用户试图使用su命令进入系统用户时,命令将在/usr/adm/sulog文件中写一条信息,若该文件记录了大量试图用su进入root的无效操作信息,则表明了可能有人企图破译root口令。Linux命令有着强大的功能。对于Linux系统管理员来说,往往只需要通过各种安全命令技巧,组合构成安全防线。从计算机安全的角度看,世界上没有绝对安全的计算机系统,Linux系统也不例外。 六、其他在前面几讲中,我们把Linux命令按照在系统中的作用分成几个部分分别予以介绍。但是,还有一些命令不好划分,然而学习它们同样是比较重要的。(一) tar1.作用tar命令是Unix/Linux系统中备份文件的可靠方法,几乎可以工作于任何环境中,它的使用权限是所有用户。2.格式tar [主选项+辅选项] 文件或目录3.主要参数使用该命令时,主选项是必须要有的,它告诉tar要做什么事情,辅选项是辅助使用的,可以选用。主选项:-c 创建新的档案文件。如果用户想备份一个目录或是一些文件,就要选择这个选项。-r 把要存档的文件追加到档案文件的未尾。例如用户已经做好备份文件,又发现还有一个目录或是一些文件忘记备份了,这时可以使用该选项,将忘记的目录或文件追加到备份文件中。-t 列出档案文件的内容,查看已经备份了哪些文件。-u 更新文件。就是说,用新增的文件取代原备份文件,如果在备份文件中找不到要更新的文件,则把它追加到备份文件的最后。-x 从档案文件中释放文件。辅助选项:-b 该选项是为磁带机设定的,其后跟一数字,用来说明区块的大小,系统预设值为20(20×512 bytes)。-f 使用档案文件或设备,这个选项通常是必选的。-k 保存已经存在的文件。例如把某个文件还原,在还原的过程中遇到相同的文件,不会进行覆盖。-m 在还原文件时,把所有文件的修改时间设定为现在。-M 创建多卷的档案文件,以便在几个磁盘中存放。-v 详细报告tar处理的文件信息。如无此选项,tar不报告文件信息。-w 每一步都要求确认。-z 用gzip来压缩/解压缩文件,加上该选项后可以将档案文件进行压缩,但还原时也一定要使用该选项进行解压缩。4.应用说明tar 是Tape Archive(磁带归档)的缩写,最初设计用于将文件打包到磁带上。如果下载过Linux的源代码,或许已经碰到过tar文件请注意,不要忘了Linux是区分大小写的。例如,tar命令应该总是以小写的形式执行。命令行开关可以是大写、小写或大小写的混合。例如,-t和-T执行不同的功能。文件或目录名称可以混合使用大小写,而且就像命令和命令行开关一样是区分大小写的。5.应用实例tar是一个命令行的工具,没有图形界面。使用Konsole打开一个终端窗口,接下来是一个简单的备份命令(在/temp目录中创建一个back.tar的文件,/usr目录中所有内容都包含在其中。):$tar cvf - /usr > /temp/back.tar另外,tar命令支持前面第三讲中讲过的crontab命令,可以用crontab工具设置成基于时间的有规律地运行。例如,每晚6点把/usr目 录备份到hda—第一个IDE接口的主驱动器 (总是位于第一个硬盘)中,只要将下面语句添加到root的crontab中即可:$00 06 * * * tar cvf /dev/hda1/usrfiles.tar - /usr一般情况下,以下这些目录是需要备份的:◆/etc 包含所有核心配置文件,其中包括网络配置、系统名称、防火墙规则、用户、组,以及其它全局系统项。◆ /var 包含系统守护进程(服务)所使用的信息,包括DNS配置、DHCP租期、邮件缓冲文件、HTTP服务器文件、dB2实例配置等。◆/home 包含所有默认用户的主目录,包括个人设置、已下载的文件和用户不希望失去的其它信息。◆/root 根(root)用户的主目录。◆/opt 是安装许多非系统文件的地方。IBM软件就安装在这里。OpenOffice、JDK和其它软件在默认情况下也安装在这里。有些目录是可以不备份的:◆ /proc 应该永远不要备份这个目录。它不是一个真实的文件系统,而是运行内核和环境的虚拟化视图,包括诸如/proc/kcore这样的文件,这个文件是整个运行内存的虚拟视图。备份这些文件只是在浪费资源。◆/dev 包含硬件设备的文件表示。如果计划还原到一个空白的系统,就可以备份/dev。然而,如果计划还原到一个已安装的Linux 系统,那么备份/dev是没有必要的。(二) unzip1.作用unzip 命令位于/usr/bin目录中,它们和MS DOS下的pkzip、pkunzip及MS Windows中的Winzip软件功能一样,将文件压缩成.zip文件,以节省硬盘空间,当需要的时候再将压缩文件用unzip命令解开。该命令使用权 限是所有用户。2.格式unzip [-cflptuvz][-agCjLMnoqsVX][-P <密码>][.zip文件][文件][-d <目录>][-x <文件>]3.主要参数-c:将解压缩的结果显示到屏幕上,并对字符做适当的转换。-f:更新现有的文件。-l:显示压缩文件内所包含的文件。-p:与-c参数类似,会将解压缩的结果显示到屏幕上,但不会执行任何的转换。-t:检查压缩文件是否正确。-u:与-f参数类似,但是除了更新现有的文件外,也会将压缩文件中的其它文件解压缩到目录中。-v:执行是时显示详细的信息。-z:仅显示压缩文件的备注文字。-a:对文本文件进行必要的字符转换。-b:不要对文本文件进行字符转换。-C:压缩文件中的文件名称区分大小写。-j:不处理压缩文件中原有的目录路径。-L:将压缩文件中的全部文件名改为小写。-M:将输出结果送到more程序处理。-n:解压缩时不要覆盖原有的文件。-o:不必先询问用户,unzip执行后覆盖原有文件。-P<密码>:使用zip的密码选项。-q:执行时不显示任何信息。-s:将文件名中的空白字符转换为底线字符。-V:保留VMS的文件版本信息。-X:解压缩时同时回存文件原来的UID/GID。[.zip文件]:指定.zip压缩文件。[文件]:指定要处理.zip压缩文件中的哪些文件。-d<目录>:指定文件解压缩后所要存储的目录。-x<文件>:指定不要处理.zip压缩文件中的哪些文件。-Z unzip:-Z等于执行zipinfo指令。在Linux中,还提供了一个叫zipinfo的工具,能够察看zip压缩文件的详细信息。unzip最新版本是5.50。(三) gunzip1.作用gunzip命令作用是解压文件,使用权限是所有用户。2.格式gunzip [-acfhlLnNqrtvV][-s <压缩字尾字符串>][文件...]或者gunzip [-acfhlLnNqrtvV][-s <压缩字尾字符串>][目录]3.主要参数-a或--ascii:使用ASCII文字模式。-c或--stdout或--to-stdout:把解压后的文件输出到标准输出设备。-f或-force:强行解开压缩文件,不理会文件名称或硬连接是否存在,以及该文件是否为符号连接。-h或--help:在线帮助。-l或--list:列出压缩文件的相关信息。-L或--license:显示版本与版权信息。-n或--no-name:解压缩时,若压缩文件内含有原来的文件名称及时间戳记,则将其忽略不予处理。-N或--name:解压缩时,若压缩文件内含有原来的文件名称及时间戳记,则将其回存到解开的文件上。-q或--quiet:不显示警告信息。-r或--recursive:递归处理,将指定目录下的所有文件及子目录一并处理。-S<压缩字尾字符串>或--suffix<压缩字尾字符串>:更改压缩字尾字符串。-t或--test:测试压缩文件是否正确无误。-v或--verbose:显示指令执行过程。-V或--version:显示版本信息。4.说明gunzip是个使用广泛的解压缩程序,它用于解开被gzip压缩过的文件,这些压缩文件预设最后的扩展名为“.gz”。事实上,gunzip就是gzip的硬连接,因此不论是压缩或解压缩,都可通过gzip指令单独完成。gunzip最新版本是1.3.3 。(四) unarj1.作用unarj解压缩格式为.arj格式的文件,使用权限是所有用户。2.格式unarj [eltx][.arj压缩文件]3.主要参数e:解压缩.arj文件。l:显示压缩文件内所包含的文件。t:检查压缩文件是否正确。x:解压缩时保留原有的路径。4.说明带有.arj扩展名的文件是由用于MS DOS和Windows的ARJ实用程序创建的。因为ARJ是一种不能免费获得源代码的共享件程序,所以在(五) mtools1.作用mtools 实际上是一个命令集合,是DOS文件系统的工具程序,它可以模拟许多DOS命令,使用起来非常方便。使用权限是所有用户。Linux系统提供了一组称为 mtools的可移植工具,可以让用户轻松地从标准的DOS软盘上读、写文件和目录。它们对DOS和Linux环境之间交换文件非常有用。mtools的 使用非常简单,如果想把软盘里所有的文件都拷贝到硬盘上,那么就可以执行以下命令:mcopy a:*.*也就是说,只需要在相应的DOS命令之前加上一个字母“m”,就可以完成对应的功能了。一般Linux发行版本中都有这个软件,可以使用下面命令检查一下。rpm -qa|grep mtools如果没有安装,也没有关系,可以从网上下载(http://mtools.linux.lu/)一个最新版本来安装。目前可供下载的最新mtools版本是2.包括的命令mcd 目录名:改变MS DOS下的目录。mcopy 源文件 目标文件:在MS DOS和Unix之间复制文件。mdel 文件名:删除MS DOS下的文件。mdir 目录名:显示MS DOS下的目录。mformat 驱动器号:在低级格式化的软盘上创建MS DOS文件系统。rnlabel 驱动器号:产生MS DOS下的卷标。mmd 目录名:建立MS DOS下的目录。mrd 目录名:删除MS DOS下的目录。mren 源文件 目标文件:重新命名已存在的MS DOS文件。mtype 文件名:显示MS DOS文件的内容。请注意,这些命令和对应的MS DOS命令非常相似。在mtools命令中,“/”和“\”是可以混用的。因为文件列表的是DOS系统下的文档,对大小写并不敏感,所以“CDE”和“cde”在这里是一样的。3.应用实例(1)如果把软盘进行快速格式化,可以使用命令mformat:mformat A:mtools 当初发展的目的是用来处理DOS文件系统的,所以只能用在FAT文件格式的分区上。需要注意的是,如果用mount命令来挂载了FAT16/32分区,那 么就不能使用mtools的指令来处理这些分区上的文件。这是因为一旦FAT16/32分区挂到了Linux文件目录下,Linux就会将其视为文件系统 本身的一部分,这时如果要对其操作就必须使用Linux本身所附带的指令集。(2)将DOS盘上的文件htca.c复制到当前目录下,并用ls命令进行验证。$ mcopy a:\htca.c$ ls -l htca.c-rw-r- -r- - 1 xxq xxq 27136 Jan 1 01:80 htca.c(六) man1.作用man命令用来提供在线帮助,使用权限是所有用户。在Linux系统中存储着一部联机使用的手册,以供用户在终端上查找。使用man命令可以调阅其中的帮助信息,非常方便和实用。2.格式man 命令名称man [-acdfhkKtwW] [-m system] [-p string] [-C config_file] [-M path] [-P pager] [-S section_list] [section] name ...3.参数-C config_file:指定设定文件man.conf,缺省值是/etc/man.conf。-M path:指定了联机手册的搜寻路径, 如果没有指定则使用环境变数MANPATH的设定;如果没有使用MANPATH, 则会使用/usr/lib/man.conf内的设定;如果MANPATH是空字串,则表示使用缺省值。-P pager:指定使用何种pager.man会优先使用此选项设定,然后是依环境变数MANPAGER设定,然后是环境变数PAGER;man缺省使用/usr/bin/less -is。-S section_list man:所搜寻的章节列表(以冒号分隔),此选项会覆盖环境变数MANSECT的设定。-a man:缺省情况是在显示第一个找到的手册之后,就会停止搜寻,使用此选项会强迫man继续显示所有符合name的联机手册。-c:即使有最新的cat page,也继续对联机手册重新作排版,本选项在屏幕的行列数改变时或已排版的联机手册损坏时特别有意义。-d:不要真的显示联机手册,只显示除错讯息。-D:同时显示联机手册与除错讯息。-h:显示求助讯息然后结束程式 。-K:对所有的联机手册搜寻所指定的字串。请注意,本功能回应速度可能很慢,如果指定section(区域)会对速度有帮助。-m system:依所指定的system名称而指定另一组的联机手册。man:是manual(手册)的缩写。在输入命令有困难时,可以立刻得到这个文档。例如, 如果使用ps命令时遇到困难,可以输入man ps得到帮助信息,此时会显示出ps的手册页(man page)。由于手册页man page是用less程序来看的(可以方便地使屏幕上翻和下翻), 所以在man page里可以使用less的所有选项。less中比较重要的功能键有:[q] 退出;[Enter] 一行行地下翻;[Space] 一页页地下翻;[b] 上翻一页;[/] 后跟一个字符串和[Enter]来查找字符串;[n] 发现上一次查找的下一个匹配。4.阅读手册页手册页在很少的空间里提供了很多的信息,这里简单介绍一下大多数手册页中都有的部分内容。Linux 手册页主要有九个部分: 用户指令、系统调用、程序库、设备说明、文件格式、游戏、杂项、系统指令、内核,手册页快照见图1所示。图1 ps命令手册页快照Linux手册页布局见表1。5.应用实例Linux 命令中有一些基础的、重要的命令,例如ps、find、cat和ls等。下面来举一个综合应用的例子,由此可以看出man的地位在Linux中可谓至关重 要。但是,man所显示的信息却不是普通的文本,如果直接将这些文字重定向到一个文本文件,就会发现在man中高亮显示的文字就变成了两个,而且有不计其数的制表符,使打印、编辑都变得非常不便。不过,使用下面这样一条语句就能得到ps命令打印。# man ps | col -b | lpr这条命令同时运用了输出重定向和管道两种技巧,作用是将ps命令的帮助信息可以直接打印出来。更多的Man文件可以查看Linux Man(七) unencode1.作用unencode命令可以把一个二进制文件表编码为一个文本文件,使用权限是所有用户。2.格式uuencode [-hv] [源文件] 目标文件3.主要参数-h:列出指令使用格式(help) 。-v:列出版本信息。4.应用说明uuencode指令可以将二进制文件转化成可使用电子邮件发送的ASCII编码形式。uuencode编码后的资料都以 begin开始,以end作为结束,且通常其中的每一行的开始均为“M”,中间部分是编码过的文件,编码后的文件比源文件要大一些。(八) uudecode1.作用uudecode命令用来将uuencode编码后的档案还原,uudecode只会将begin与end标记之间的编码资料还原,程序会跳过标记以外的资料。它的使用权限为所有用户。2.格式uuencode [-hv] [file1 ...]3.主要参数-h:列出指令使用格式(help)。-v:列出版本信息。4.应用实例使用下面命令一次还原几个文件:uuencode file1.uud file2.uud file3.uud(九) 动手练习1.在Linux命令行下发送邮件虽然Linux桌面应用发展很快,但是命令行(Shell)在Linux中依然有很强的生命力。如果能确认电子邮件服务器支持8bit的字节,就可以直接使用下面命令:cat <附件文件名> | mail <邮件地址>cat(cat是concatenate的缩写)命令是将几个文件处理成一个文件,并将这种处理的结果保存到一个单独的输出文件,这里我们用它来合并邮件的文本。写好邮件名称,比如叫cjkmail,然后使用下面命令:$uuencode <附件文件名> <附件文件名> >>cjkmail这样就可以用vi编辑器写cjkmail文件,并在前面写上信的正文,然后寄出。对方收到信后,把信中属于cjkmail中的内容拷贝出来,存为themail.uue。如果对方是在Windows下,就可以用WinRAR或WinZip解压,这样就可以看到附件。如果对方也使用Linux,可以用undecode命令还原:$ uudencode -o<附件文件名> themail.uue2.实现tar的分卷笔者想把一个378MB的文件压缩成多个63MB的文件(笔者的USB为64MB),使用下面命令:$tar czvf - dir | split -d -b 63m然后合并命令:$cat x* > dir.tgz以上例子实际是由三个命令组合完成的,即用tar打包,用split分割,用cat合并。“tar czvf - dir”的意思是把dir目录打包,并输出到标准输出(argv),这样就可以直接用管道输出给split。3.连续执行一个命令使用watch命令,可以反复执行命令。如果和ls配合,可以达到观察某文件大小变化的效果。$watch ls -l file.name4.用tar命令导出一个文件有一个tar格式的DVD文件GLvPro6.4_linux.tar,因为该文件非常大(4.7GB),如果全部解压比较麻烦,可以用下面命令先导出readme.txt看看。tar xvf GLvPro6.4_linux.tar readme.txt这样readme.txt就单独被导出了。5.用tar打包一个目录时只备份其中的几个子目录tar cf --exclude home/cjh home/cao这样home目录下只有cjh和cao两个子目录备份。到此为止,Linux必学的60个命令已经全部介绍完了。Linux的命令行方式功能强大,如果熟练掌握了Linux的常用命令,往往只需要通过各 种技巧就可以组合构成一条复杂的命令,从而完成用户任务。Linux系统中的命令实在是太多了,不可能像在MS DOS中把所有的命令及参数都记住。Linux系统提供了一些方法,比如可以通过“help”和“man”来查询名令。
命令行的艺术:linux bash命令大全详解
熟练使用命令行是一种常常被忽视,或被认为难以掌握的技能,但实际上,它会提高你作为工程师的灵活性以及生产力。本文是一份我在 Linux 上工作时,发现的一些命令行使用技巧的摘要。有些技巧非常基础,而另一些则相当复杂,甚至晦涩难懂。这篇文章并不长,但当你能够熟练掌握这里列出的所有技巧时,你就学会了很多关于命令行的东西了。
这篇文章是 许多作者和译者 共同的成果。 这里的部分内容 首次 出现 于 Quora , 但已经迁移到了 Github,并由众多高手做出了许多改进。 如果你在本文中发现了错误或者存在可以改善的地方,请 贡献你的一份力量 。
前言
涵盖范围:
这篇文章不仅能帮助刚接触命令行的新手,而且对具有经验的人也大有裨益。本文致力于做到 覆盖面广 (涉及所有重要的内容), 具体 (给出具体的最常用的例子),以及 简洁 (避免冗余的内容,或是可以在其他地方轻松查到的细枝末节)。在特定应用场景下,本文的内容属于基本功或者能帮助您节约大量的时间。
本文主要为 Linux 所写,但在 仅限 OS X 系统 章节和 仅限 Windows 系统 章节中也包含有对应操作系统的内容。除去这两个章节外,其它的内容大部分均可在其他类 Unix 系统或 OS X,甚至 Cygwin 中得到应用。
本文主要关注于交互式 Bash,但也有很多技巧可以应用于其他 shell 和 Bash 脚本当中。
除去“标准的”Unix 命令,本文还包括了一些依赖于特定软件包的命令(前提是它们具有足够的价值)。
注意事项:
为了能在一页内展示尽量多的东西,一些具体的信息可以在引用的页面中找到。我们相信机智的你知道如何使用 Google 或者其他搜索引擎来查阅到更多的详细信息。文中部分命令需要您使用 apt-get , yum , dnf , pacman , pip 或 brew (以及其它合适的包管理器)来安装依赖的程序。
遇到问题的话,请尝试使用 Explainshell 去获取相关命令、参数、管道等内容的解释。
基础
学习 Bash 的基础知识。具体地,在命令行中输入 man bash 并至少全文浏览一遍; 它理解起来很简单并且不冗长。其他的 shell 可能很好用,但 Bash 的功能已经足够强大并且到几乎总是可用的( 如果你 只 学习 zsh,fish 或其他的 shell 的话,在你自己的设备上会显得很方便,但过度依赖这些功能会给您带来不便,例如当你需要在服务器上工作时)。
熟悉至少一个基于文本的编辑器。通常而言 Vim ( vi ) 会是你最好的选择,毕竟在终端中编辑文本时 Vim 是最好用的工具(甚至大部分情况下 Vim 要比 Emacs、大型 IDE 或是炫酷的编辑器更好用)。
学会如何使用 man 命令去阅读文档。学会使用 apropos 去查找文档。知道有些命令并不对应可执行文件,而是在 Bash 内置好的,此时可以使用 help 和 help -d 命令获取帮助信息。你可以用 type 命令 来判断这个命令到底是可执行文件、shell 内置命令还是别名。
学会使用 > 和 < 来重定向输出和输入,学会使用 | 来重定向管道。明白 > 会覆盖了输出文件而 >> 是在文件末添加。了解标准输出 stdout 和标准错误 stderr。
学会使用通配符 * (或许再算上 ? 和 [ ... ] ) 和引用以及引用中 ' 和 " 的区别(后文中有一些具体的例子)。
熟悉 Bash 中的任务管理工具: & ,ctrl-z,ctrl-c, jobs , fg , bg , kill 等。
学会使用 ssh 进行远程命令行登录,最好知道如何使用 ssh-agent , ssh-add 等命令来实现基础的无密码认证登录。
学会基本的文件管理工具: ls 和 ls -l (了解 ls -l 中每一列代表的意义), less , head , tail 和 tail -f (甚至 less +F ), ln 和 ln -s (了解硬链接与软链接的区别), chown , chmod , du (硬盘使用情况概述: du -hs * )。 关于文件系统的管理,学习 df , mount , fdisk , mkfs , lsblk 。知道 inode 是什么(与 ls -i 和 df -i 等命令相关)。
学习基本的网络管理工具: ip 或 ifconfig , dig 。
学习并使用一种版本控制管理系统,例如 git 。
熟悉正则表达式,学会使用 grep / egrep ,它们的参数中 -i , -o , -v , -A , -B 和 -C 这些是很常用并值得认真学习的。
学会使用 apt-get , yum , dnf 或 pacman (具体使用哪个取决于你使用的 Linux 发行版)来查找和安装软件包。并确保你的环境中有 pip 来安装基于 Python 的命令行工具 (接下来提到的部分程序使用 pip 来安装会很方便)。
日常使用
在 Bash 中,可以通过按 Tab 键实现自动补全参数,使用 ctrl-r 搜索命令行历史记录(按下按键之后,输入关键字便可以搜索,重复按下 ctrl-r 会向后查找匹配项,按下 Enter 键会执行当前匹配的命令,而按下右方向键会将匹配项放入当前行中,不会直接执行,以便做出修改)。
在 Bash 中,可以按下 ctrl-w 删除你键入的最后一个单词,ctrl-u 可以删除行内光标所在位置之前的内容,alt-b 和 alt-f 可以以单词为单位移动光标,ctrl-a 可以将光标移至行首,ctrl-e 可以将光标移至行尾,ctrl-k 可以删除光标至行尾的所有内容,ctrl-l 可以清屏。键入 man readline 可以查看 Bash 中的默认快捷键。内容有很多,例如 alt-. 循环地移向前一个参数,而 alt-* 可以展开通配符。
你喜欢的话,可以执行 set -o vi 来使用 vi 风格的快捷键,而执行 set -o emacs 可以把它改回来。
为了便于编辑长命令,在设置你的默认编辑器后(例如 export EDITOR=vim ),ctrl-x ctrl-e 会打开一个编辑器来编辑当前输入的命令。在 vi 风格下快捷键则是 escape-v。
键入 history 查看命令行历史记录,再用 !n ( n 是命令编号)就可以再次执行。其中有许多缩写,最有用的大概就是 !$ , 它用于指代上次键入的参数,而 !! 可以指代上次键入的命令了(参考 man 页面中的“HISTORY EXPANSION”)。不过这些功能,你也可以通过快捷键 ctrl-r 和 alt-. 来实现。
cd 命令可以切换工作路径,输入 cd ~ 可以进入 home 目录。要访问你的 home 目录中的文件,可以使用前缀 ~ (例如 ~/.bashrc )。在 sh 脚本里则用环境变量 $HOME 指代 home 目录的路径。
回到前一个工作路径: cd - 。
如果你输入命令的时候中途改了主意,按下 alt-# 在行首添加 # 把它当做注释再按下回车执行(或者依次按下 ctrl-a, #, enter)。这样做的话,之后借助命令行历史记录,你可以很方便恢复你刚才输入到一半的命令。
使用 xargs ( 或 parallel )。他们非常给力。注意到你可以控制每行参数个数( -L )和最大并行数( -P )。如果你不确定它们是否会按你想的那样工作,先使用 xargs echo 查看一下。此外,使用 -I{} 会很方便。例如:
find . -name '*.py' | xargs grep some_function
cat hosts | xargs -I{} ssh root@{} hostname
pstree -p 以一种优雅的方式展示进程树。
使用 pgrep 和 pkill 根据名字查找进程或发送信号( -f 参数通常有用)。
了解你可以发往进程的信号的种类。比如,使用 kill -STOP [pid] 停止一个进程。使用 man 7 signal 查看详细列表。
使用 nohup 或 disown 使一个后台进程持续运行。
使用 netstat -lntp 或 ss -plat 检查哪些进程在监听端口(默认是检查 TCP 端口; 添加参数 -u 则检查 UDP 端口)。
lsof 来查看开启的套接字和文件。
使用 uptime 或 w 来查看系统已经运行多长时间。
使用 alias 来创建常用命令的快捷形式。例如: alias ll='ls -latr' 创建了一个新的命令别名 ll 。
可以把别名、shell 选项和常用函数保存在 ~/.bashrc ,具体看下这篇 文章 。这样做的话你就可以在所有 shell 会话中使用你的设定。
把环境变量的设定以及登陆时要执行的命令保存在 ~/.bash_profile 。而对于从图形界面启动的 shell 和 cron 启动的 shell,则需要单独配置文件。
要想在几台电脑中同步你的配置文件(例如 .bashrc 和 .bash_profile ),可以借助 Git。
当变量和文件名中包含空格的时候要格外小心。Bash 变量要用引号括起来,比如 "$FOO" 。尽量使用 -0 或 -print0 选项以便用 NULL 来分隔文件名,例如 locate -0 pattern | xargs -0 ls -al 或 find / -print0 -type d | xargs -0 ls -al 。如果 for 循环中循环访问的文件名含有空字符(空格、tab 等字符),只需用 IFS=$'\n' 把内部字段分隔符设为换行符。
在 Bash 脚本中,使用 set -x 去调试输出(或者使用它的变体 set -v ,它会记录原始输入,包括多余的参数和注释)。尽可能地使用严格模式:使用 set -e 令脚本在发生错误时退出而不是继续运行;使用 set -u 来检查是否使用了未赋值的变量;试试 set -o pipefail ,它可以监测管道中的错误。当牵扯到很多脚本时,使用 trap 来检测 ERR 和 EXIT。一个好的习惯是在脚本文件开头这样写,这会使它能够检测一些错误,并在错误发生时中断程序并输出信息:
set -euo pipefail
trap "echo 'error: Script failed: see failed command above'" ERR
在 Bash 脚本中,子 shell(使用括号 (...) )是一种组织参数的便捷方式。一个常见的例子是临时地移动工作路径,代码如下:
# do something in current dir
(cd /some/other/dir && other-command)
# continue in original dir
在 Bash 中,变量有许多的扩展方式。 ${name:?error message} 用于检查变量是否存在。此外,当 Bash 脚本只需要一个参数时,可以使用这样的代码 input_file=${1:?usage: $0 input_file} 。在变量为空时使用默认值: ${name:-default} 。如果你要在之前的例子中再加一个(可选的)参数,可以使用类似这样的代码 output_file=${2:-logfile} ,如果省略了 $2,它的值就为空,于是 output_file 就会被设为 logfile 。数学表达式: i=$(( (i + 1) % 5 )) 。序列: {1..10} 。截断字符串: ${var%suffix} 和 ${var#prefix} 。例如,假设 var=foo.pdf ,那么 echo ${var%.pdf}.txt 将输出 foo.txt 。
使用括号扩展( { ... } )来减少输入相似文本,并自动化文本组合。这在某些情况下会很有用,例如 mv foo.{txt,pdf} some-dir (同时移动两个文件), cp somefile{,.bak} (会被扩展成 cp somefile somefile.bak )或者 mkdir -p test-{a,b,c}/subtest-{1,2,3} (会被扩展成所有可能的组合,并创建一个目录树)。
通过使用 <(some command) 可以将输出视为文件。例如,对比本地文件 /etc/hosts 和一个远程文件:
diff /etc/hosts <(ssh somehost cat /etc/hosts)
编写脚本时,你可能会想要把代码都放在大括号里。缺少右括号的话,代码就会因为语法错误而无法执行。如果你的脚本是要放在网上分享供他人使用的,这样的写法就体现出它的好处了,因为这样可以防止下载不完全代码被执行。
{
# 在这里写代码
}
了解 Bash 中的“here documents”,例如 cat <
在 Bash 中,同时重定向标准输出和标准错误: some-command >logfile 2>&1 或者 some-command &>logfile 。通常,为了保证命令不会在标准输入里残留一个未关闭的文件句柄捆绑在你当前所在的终端上,在命令后添加
使用 man ascii 查看具有十六进制和十进制值的ASCII表。 man unicode , man utf-8 ,以及 man latin1 有助于你去了解通用的编码信息。
使用 screen 或 tmux 来使用多份屏幕,当你在使用 ssh 时(保存 session 信息)将尤为有用。而 byobu 可以为它们提供更多的信息和易用的管理工具。另一个轻量级的 session 持久化解决方案是 dtach 。
ssh 中,了解如何使用 -L 或 -D (偶尔需要用 -R )开启隧道是非常有用的,比如当你需要从一台远程服务器上访问 web 页面。
对 ssh 设置做一些小优化可能是很有用的,例如这个 ~/.ssh/config 文件包含了防止特定网络环境下连接断开、压缩数据、多通道等选项:
TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
Compression=yes
ControlMaster auto
ControlPath /tmp/%r@%h:%p
ControlPersist yes
一些其他的关于 ssh 的选项是与安全相关的,应当小心翼翼的使用。例如你应当只能在可信任的网络中启用 StrictHostKeyChecking=no , ForwardAgent=yes 。
考虑使用 mosh 作为 ssh 的替代品,它使用 UDP 协议。它可以避免连接被中断并且对带宽需求更小,但它需要在服务端做相应的配置。
获取八进制形式的文件访问权限(修改系统设置时通常需要,但 ls 的功能不那么好用并且通常会搞砸),可以使用类似如下的代码:
stat -c '%A %a %n' /etc/timezone
使用 percol 或者 fzf 可以交互式地从另一个命令输出中选取值。
使用 fpp ( PathPicker )可以与基于另一个命令(例如 git )输出的文件交互。
将 web 服务器上当前目录下所有的文件(以及子目录)暴露给你所处网络的所有用户,使用: python -m SimpleHTTPServer 7777 (使用端口 7777 和 Python 2)或 python -m http.server 7777 (使用端口 7777 和 Python 3)。
以其他用户的身份执行命令,使用 sudo 。默认以 root 用户的身份执行;使用 -u 来指定其他用户。使用 -i 来以该用户登录(需要输入_你自己的_密码)。
将 shell 切换为其他用户,使用 su username 或者 sudo - username 。加入 - 会使得切换后的环境与使用该用户登录后的环境相同。省略用户名则默认为 root。切换到哪个用户,就需要输入_哪个用户的_密码。
了解命令行的 128K 限制 。使用通配符匹配大量文件名时,常会遇到“Argument list too long”的错误信息。(这种情况下换用 find 或 xargs 通常可以解决。)
当你需要一个基本的计算器时,可以使用 python 解释器(当然你要用 python 的时候也是这样)。例如:
>>> 2+3
5
文件及数据处理
在当前目录下通过文件名查找一个文件,使用类似于这样的命令: find . -iname '*something*' 。在所有路径下通过文件名查找文件,使用 locate something (但注意到 updatedb 可能没有对最近新建的文件建立索引,所以你可能无法定位到这些未被索引的文件)。
使用 ag 在源代码或数据文件里检索( grep -r 同样可以做到,但相比之下 ag 更加先进)。
将 HTML 转为文本: lynx -dump -stdin 。
Markdown,HTML,以及所有文档格式之间的转换,试试 pandoc 。
当你要处理棘手的 XML 时候, xmlstarlet 算是上古时代流传下来的神器。
使用 jq 处理 JSON。
使用 shyaml 处理 YAML。
要处理 Excel 或 CSV 文件的话, csvkit 提供了 in2csv , csvcut , csvjoin , csvgrep 等方便易用的工具。
当你要处理 Amazon S3 相关的工作的时候, s3cmd 是一个很方便的工具而 s4cmd 的效率更高。Amazon 官方提供的 aws 以及 saws 是其他 AWS 相关工作的基础,值得学习。
了解如何使用 sort 和 uniq ,包括 uniq 的 -u 参数和 -d 参数,具体内容在后文单行脚本节中。另外可以了解一下 comm 。
了解如何使用 cut , paste 和 join 来更改文件。很多人都会使用 cut ,但遗忘了 join 。
了解如何运用 wc 去计算新行数( -l ),字符数( -m ),单词数( -w )以及字节数( -c )。
了解如何使用 tee 将标准输入复制到文件甚至标准输出,例如 ls -al | tee file.txt 。
要进行一些复杂的计算,比如分组、逆序和一些其他的统计分析,可以考虑使用 datamash 。
注意到语言设置(中文或英文等)对许多命令行工具有一些微妙的影响,比如排序的顺序和性能。大多数 Linux 的安装过程会将 LANG 或其他有关的变量设置为符合本地的设置。要意识到当你改变语言设置时,排序的结果可能会改变。明白国际化可能会使 sort 或其他命令运行效率下降 许多倍 。某些情况下(例如集合运算)你可以放心的使用 export LC_ALL=C 来忽略掉国际化并按照字节来判断顺序。
你可以单独指定某一条命令的环境,只需在调用时把环境变量设定放在命令的前面,例如 TZ=Pacific/Fiji date 可以获取斐济的时间。
了解如何使用 awk 和 sed 来进行简单的数据处理。例如,将文本文件中第三列的所有数字求和: awk '{ x += $3 } END { print x }' 。这可能比同等功能的 Python 代码快三倍且代码量少三倍。
替换一个或多个文件中出现的字符串:
perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt
使用 repren 来批量重命名文件,或是在多个文件中搜索替换内容。(有些时候 rename 命令也可以批量重命名,但要注意,它在不同 Linux 发行版中的功能并不完全一样。)
# 将文件、目录和内容全部重命名 foo -> bar:
repren --full --preserve-case --from foo --to bar .
# 还原所有备份文件 whatever.bak -> whatever:
repren --renames --from '(.*)\.bak' --to '\1' *.bak
# 用 rename 实现上述功能(若可用):
rename 's/\.bak$//' *.bak
根据 man 页面的描述, rsync 是一个快速且非常灵活的文件复制工具。它闻名于设备之间的文件同步,但其实它在本地情况下也同样有用。在安全设置允许下,用 rsync 代替 scp 可以实现文件续传,而不用重新从头开始。它同时也是删除大量文件的 最快方法 之一:
mkdir empty && rsync -r --delete empty/ some-dir && rmdir some-dir
使用 shuf 可以以行为单位来打乱文件的内容或从一个文件中随机选取多行。
了解 sort 的参数。显示数字时,使用 -n 或者 -h 来显示更易读的数(例如 du -h 的输出)。明白排序时关键字的工作原理( -t 和 -k )。例如,注意到你需要 -k1,1 来仅按第一个域来排序,而 -k1 意味着按整行排序。稳定排序( sort -s )在某些情况下很有用。例如,以第二个域为主关键字,第一个域为次关键字进行排序,你可以使用 sort -k1,1 | sort -s -k2,2 。
如果你想在 Bash 命令行中写 tab 制表符,按下 ctrl-v [Tab] 或键入 $'\t' (后者可能更好,因为你可以复制粘贴它)。
标准的源代码对比及合并工具是 diff 和 patch 。使用 diffstat 查看变更总览数据。注意到 diff -r 对整个文件夹有效。使用 diff -r tree1 tree2 | diffstat 查看变更的统计数据。 vimdiff 用于比对并编辑文件。
对于二进制文件,使用 hd , hexdump 或者 xxd 使其以十六进制显示,使用 bvi , hexedit 或者 biew 来进行二进制编辑。
同样对于二进制文件, strings (包括 grep 等工具)可以帮助在二进制文件中查找特定比特。
制作二进制差分文件(Delta 压缩),使用 xdelta3 。
使用 iconv 更改文本编码。需要更高级的功能,可以使用 uconv ,它支持一些高级的 Unicode 功能。例如,这条命令移除了所有重音符号:
uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt
拆分文件可以使用 split (按大小拆分)和 csplit (按模式拆分)。
操作日期和时间表达式,可以用 dateutils 中的 dateadd 、 datediff 、 strptime 等工具。
使用 zless 、 zmore 、 zcat 和 zgrep 对压缩过的文件进行操作。
文件属性可以通过 chattr 进行设置,它比文件权限更加底层。例如,为了保护文件不被意外删除,可以使用不可修改标记: sudo chattr +i /critical/directory/or/file
使用 getfacl 和 setfacl 以保存和恢复文件权限。例如:
getfacl -R /some/path > permissions.txt
setfacl --restore=permissions.txt
为了高效地创建空文件,请使用 truncate (创建 稀疏文件 ), fallocate (用于 ext4,xfs,btrf 和 ocfs2 文件系统), xfs_mkfile (适用于几乎所有的文件系统,包含在 xfsprogs 包中), mkfile (用于类 Unix 操作系统,比如 Solaris 和 Mac OS)。
系统调试
curl 和 curl -I 可以被轻松地应用于 web 调试中,它们的好兄弟 wget 也是如此,或者也可以试试更潮的 httpie 。
获取 CPU 和硬盘的使用状态,通常使用使用 top ( htop 更佳), iostat 和 iotop 。而 iostat -mxz 15 可以让你获悉 CPU 和每个硬盘分区的基本信息和性能表现。
使用 netstat 和 ss 查看网络连接的细节。
dstat 在你想要对系统的现状有一个粗略的认识时是非常有用的。然而若要对系统有一个深度的总体认识,使用 glances ,它会在一个终端窗口中向你提供一些系统级的数据。
若要了解内存状态,运行并理解 free 和 vmstat 的输出。值得留意的是“cached”的值,它指的是 Linux 内核用来作为文件缓存的内存大小,而与空闲内存无关。
Java 系统调试则是一件截然不同的事,一个可以用于 Oracle 的 JVM 或其他 JVM 上的调试的技巧是你可以运行 kill -3 同时一个完整的栈轨迹和堆概述(包括 GC 的细节)会被保存到标准错误或是日志文件。JDK 中的 jps , jstat , jstack , jmap 很有用。 SJK tools 更高级。
使用 mtr 去跟踪路由,用于确定网络问题。
用 ncdu 来查看磁盘使用情况,它比寻常的命令,如 du -sh * ,更节省时间。
查找正在使用带宽的套接字连接或进程,使用 iftop 或 nethogs 。
ab 工具(Apache 中自带)可以简单粗暴地检查 web 服务器的性能。对于更复杂的负载测试,使用 siege 。
wireshark , tshark 和 ngrep 可用于复杂的网络调试。
了解 strace 和 ltrace 。这俩工具在你的程序运行失败、挂起甚至崩溃,而你却不知道为什么或你想对性能有个总体的认识的时候是非常有用的。注意 profile 参数( -c )和附加到一个运行的进程参数 ( -p )。
了解使用 ldd 来检查共享库。
了解如何运用 gdb 连接到一个运行着的进程并获取它的堆栈轨迹。
学会使用 /proc 。它在调试正在出现的问题的时候有时会效果惊人。比如: /proc/cpuinfo , /proc/meminfo , /proc/cmdline , /proc/xxx/cwd , /proc/xxx/exe , /proc/xxx/fd/ , /proc/xxx/smaps (这里的 xxx 表示进程的 id 或 pid)。
当调试一些之前出现的问题的时候, sar 非常有用。它展示了 cpu、内存以及网络等的历史数据。
关于更深层次的系统分析以及性能分析,看看 stap ( SystemTap ), perf ,以及 sysdig 。
查看你当前使用的系统,使用 uname , uname -a (Unix/kernel 信息)或者 lsb_release -a (Linux 发行版信息)。
无论什么东西工作得很欢乐(可能是硬件或驱动问题)时可以试试 dmesg 。
如果你删除了一个文件,但通过 du 发现没有释放预期的磁盘空间,请检查文件是否被进程占用: lsof | grep deleted | grep "filename-of-my-big-file"
单行脚本
一些命令组合的例子:
当你需要对文本文件做集合交、并、差运算时, sort 和 uniq 会是你的好帮手。具体例子请参照代码后面的,此处假设 a 与 b 是两内容不同的文件。这种方式效率很高,并且在小文件和上 G 的文件上都能运用(注意尽管在 /tmp 在一个小的根分区上时你可能需要 -T 参数,但是实际上 sort 并不被内存大小约束),参阅前文中关于 LC_ALL 和 sort 的 -u 参数的部分。
cat a b | sort | uniq > c # c 是 a 并 b
cat a b | sort | uniq -d > c # c 是 a 交 b
cat a b b | sort | uniq -u > c # c 是 a - b
使用 grep . * (每行都会附上文件名)或者 head -100 * (每个文件有一个标题)来阅读检查目录下所有文件的内容。这在检查一个充满配置文件的目录(如 /sys 、 /proc 、 /etc )时特别好用。
计算文本文件第三列中所有数的和(可能比同等作用的 Python 代码快三倍且代码量少三倍):
awk '{ x += $3 } END { print x }' myfile
如果你想在文件树上查看大小/日期,这可能看起来像递归版的 ls -l 但比 ls -lR 更易于理解:
find . -type f -ls
假设你有一个类似于 web 服务器日志文件的文本文件,并且一个确定的值只会出现在某些行上,假设一个 acct_id 参数在 URI 中。如果你想计算出每个 acct_id 值有多少次请求,使用如下代码:
cat access.log | egrep -o 'acct_id=[0-9]+' | cut -d= -f2 | sort | uniq -c | sort -rn
要持续监测文件改动,可以使用 watch ,例如检查某个文件夹中文件的改变,可以用 watch -d -n 2 'ls -rtlh | tail' ;或者在排查 WiFi 设置故障时要监测网络设置的更改,可以用 watch -d -n 2 ifconfig 。
运行这个函数从这篇文档中随机获取一条技巧(解析 Markdown 文件并抽取项目):
function taocl() {
curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README-zh.md|
pandoc -f markdown -t html |
iconv -f 'utf-8' -t 'unicode' |
xmlstarlet fo --html --dropdtd |
xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" |
xmlstarlet unesc | fmt -80
}
冷门但有用
expr :计算表达式或正则匹配
m4 :简单的宏处理器
yes :多次打印字符串
cal :漂亮的日历
env :执行一个命令(脚本文件中很有用)
printenv :打印环境变量(调试时或在写脚本文件时很有用)
look :查找以特定字符串开头的单词或行
cut , paste 和 join :数据修改
fmt :格式化文本段落
pr :将文本格式化成页/列形式
fold :包裹文本中的几行
column :将文本格式化成多个对齐、定宽的列或表格
expand 和 unexpand :制表符与空格之间转换
nl :添加行号
seq :打印数字
bc :计算器
factor :分解因数
gpg :加密并签名文件
toe :terminfo 入口列表
nc :网络调试及数据传输
socat :套接字代理,与 netcat 类似
slurm :网络流量可视化
dd :文件或设备间传输数据
file :确定文件类型
tree :以树的形式显示路径和文件,类似于递归的 ls
stat :文件信息
time :执行命令,并计算执行时间
timeout :在指定时长范围内执行命令,并在规定时间结束后停止进程
lockfile :使文件只能通过 rm -f 移除
logrotate : 切换、压缩以及发送日志文件
watch :重复运行同一个命令,展示结果并/或高亮有更改的部分
tac :反向输出文件
shuf :文件中随机选取几行
comm :一行一行的比较排序过的文件
pv :监视通过管道的数据
strings :从二进制文件中抽取文本
tr :转换字母
iconv 或 uconv :文本编码转换
split 和 csplit :分割文件
sponge :在写入前读取所有输入,在读取文件后再向同一文件写入时比较有用,例如 grep -v something some-file | sponge some-file
units :将一种计量单位转换为另一种等效的计量单位(参阅 /usr/share/units/definitions.units )
apg :随机生成密码
xz :高比例的文件压缩
ldd :动态库信息
nm :提取 obj 文件中的符号
ab :web 服务器性能分析
strace :调试系统调用
mtr :更好的网络调试跟踪工具
cssh :可视化的并发 shell
rsync :通过 ssh 或本地文件系统同步文件和文件夹
wireshark 和 tshark :抓包和网络调试工具
ngrep :网络层的 grep
host 和 dig :DNS 查找
lsof :列出当前系统打开文件的工具以及查看端口信息
dstat :系统状态查看
glances :高层次的多子系统总览
iostat :硬盘使用状态
mpstat : CPU 使用状态
vmstat : 内存使用状态
htop :top 的加强版
last :登入记录
w :查看处于登录状态的用户
id :用户/组 ID 信息
sar :系统历史数据
iftop 或 nethogs :套接字及进程的网络利用情况
ss :套接字数据
dmesg :引导及系统错误信息
sysctl : 在内核运行时动态地查看和修改内核的运行参数
hdparm :SATA/ATA 磁盘更改及性能分析
lsblk :列出块设备信息:以树形展示你的磁盘以及磁盘分区信息
lshw , lscpu , lspci , lsusb 和 dmidecode :查看硬件信息,包括 CPU、BIOS、RAID、显卡、USB设备等
lsmod 和 modinfo :列出内核模块,并显示其细节
fortune , ddate 和 sl :额,这主要取决于你是否认为蒸汽火车和莫名其妙的名人名言是否“有用”
仅限 OS X 系统
以下是 仅限于 OS X 系统的技巧。
用 brew (Homebrew)或者 port (MacPorts)进行包管理。这些可以用来在 OS X 系统上安装以上的大多数命令。
用 pbcopy 复制任何命令的输出到桌面应用,用 pbpaste 粘贴输入。
若要在 OS X 终端中将 Option 键视为 alt 键(例如在上面介绍的 alt-b、alt-f 等命令中用到),打开 偏好设置 -> 描述文件 -> 键盘 并勾选“使用 Option 键作为 Meta 键”。
用 open 或者 open -a /Applications/Whatever.app 使用桌面应用打开文件。
Spotlight:用 mdfind 搜索文件,用 mdls 列出元数据(例如照片的 EXIF 信息)。
注意 OS X 系统是基于 BSD UNIX 的,许多命令(例如 ps , ls , tail , awk , sed )都和 Linux 中有微妙的不同( Linux 很大程度上受到了 System V-style Unix 和 GNU 工具影响)。你可以通过标题为 "BSD General Commands Manual" 的 man 页面发现这些不同。在有些情况下 GNU 版本的命令也可能被安装(例如 gawk 和 gsed 对应 GNU 中的 awk 和 sed )。如果要写跨平台的 Bash 脚本,避免使用这些命令(例如,考虑 Python 或者 perl )或者经过仔细的测试。
用 sw_vers 获取 OS X 的版本信息。
仅限 Windows 系统
以下是 仅限于 Windows 系统的技巧。
在 Windows 10 上,你可以使用 Bash on Ubuntu on Windows ,它提供了一个熟悉的 Bash 环境,包含了不少 Unix 命令行工具。好处是它允许 Linux 上编写的程序能够在 Windows 上运行,而另一方面,Windows 上编写的程序却无法在 Bash 命令行中运行。
可以安装 Cygwin 允许你在 Microsoft Windows 中体验 Unix shell 的威力。这样的话,本文中介绍的大多数内容都将适用。
通过 Cygwin 的包管理器来安装额外的 Unix 程序。
使用 mintty 作为你的命令行窗口。
要访问 Windows 剪贴板,可以通过 /dev/clipboard 。
运行 cygstart 以通过默认程序打开一个文件。
要访问 Windows 注册表,可以使用 regtool 。
注意 Windows 驱动器路径 C:\ 在 Cygwin 中用 /cygdrive/c 代表,而 Cygwin 的 / 代表 Windows 中的 C:\cygwin 。要转换 Cygwin 和 Windows 风格的路径可以用 cygpath 。这在需要调用 Windows 程序的脚本里很有用。
学会使用 wmic ,你就可以从命令行执行大多数 Windows 系统管理任务,并编成脚本。
要在 Windows 下获得 Unix 的界面和体验,另一个办法是使用 Cash 。需要注意的是,这个环境支持的 Unix 命令和命令行参数非常少。
要在 Windows 上获取 GNU 开发者工具(比如 GCC)的另一个办法是使用 MinGW 以及它的 MSYS 软件包,该软件包提供了 bash、gawk、make、grep 等工具。然而 MSYS 提供的功能没有 Cygwin 完善。MinGW 在创建 Unix 工具的 Windows 原生移植方面非常有用。
本文作者:佚名
来源:51CTO
docker容器安装和配置
##docker容器安装和配置###
#docker的git-hub网站:https://github.com/login
#docker官网hub仓库:https://hub.docker.com
#docker官网文档和镜像:https://docs.docker.com/samples/centos/
#docker官网的容器网络配置:https://docs.docker.com/engine/userguide/networking/#bridge-networks
#docker入门实战笔记(首选参考书):http://www.cnblogs.com/garfieldcgf/p/5462963.html
docker官方安装手册:https://docs.docker.com/engine/installation/linux/docker-ce/centos/#install-using-the-repository
docker官方yum源:https://download.docker.com/linux/centos/docker-ce.repo
docker资料大全:http://sofar.blog.51cto.com/353572/1598249
docker从入门到实践:https://yeasy.gitbooks.io/docker_practice/
注意:此文档最后讲解了如何配置docker自定义桥接网络。
##docker简介
docker容器:Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,
然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。
说明:1、docker容器是以docker镜像来启动自己的环境。比KVM和VMware相比,占用的内存资源更少。
2、在docker中可以有自己独立的网络配置,可以跟物理机用NAT网络模式通信。
3、运行的docker容器中可以像虚拟机那样安装独立的服务软件。
4、支持在源镜像中安装新软件,并将修改用commit保存成一个新镜像。然后移值到其他物理机中使用。
##docker的3个基本概念
镜像(Image)
容器(Container)
仓库(Repository)
理解了这三个概念,就理解了Docker的整个生命周期。
docker基本工作过程:
从仓库--->下载镜像--->运行在容器中
dokcer重新封装完整镜像过程:
基本镜像包--->运行在容器中--->安装所需软件和启动脚本--->停止容器--->commit生成新镜像--->测试在容器中运行新镜像。
用Dockerfile创建nginx新镜像的过程:
###docker镜像Image:就是一个只读模板。
例如:一个镜像可以包含一个完整的Centos操作系统环境,里面仅安装了Apache或用户需要的其它应用程序。镜像可以用来创建Docker容器。
Docker提供了一个很简单的机制来创建或者更新现有的镜像,用户甚至可以直接从其他人那里下载一个已经做好的镜像来直接使用。
###docker容器Container:利用窗口来运行应用。
容器是从镜像创建的运行实例。它可以被启动、开始、停止、删除。每个容器都是相互隔离的、保证安全的平台。
可以把容器看做是一个简易版的Linux环境(包括root用户权限、进程空间、用户空间和网络空间等)和运行在其中的程序。
注:镜像是只读的,容器在启动的时候创建一层可写层作为最上层。
###Docker仓库Repository:是集中存放镜像文件的场所。
有时候会把仓库和仓库注册服务器(Registry)混为一谈,并不严格区分。注册服务器上往往存放着多个仓库,每个仓库中又包含了多个镜像,每个镜像有不同的标签(tag)。
仓库分为公开仓库(public)和私有仓库(private)两种形式。
当然,用户可以在本地网络内创建一个私有仓库。
当用户创建了自己的镜像之后就可以使用push命令将它上传到公有或者私有仓库,这样下次在另外一台机器上使用这个镜像时,只需要从仓库上pull下来就可以了。
注:docker仓库的跟Git,注册服务器可以理解为Github这样的托管服务器。
#centos7安装和配置docker
#安装、启动docker
说明:centos7自带的网络yum源中包含docker的安装包。
yum install -y docker-io docker
rpm -q docker
service docker restart
chkconfig docker on
#实验:用docker快速部署nginx服务器:
源贴:
第1步:安装docker,启动服务,查看信息。
yum install -y docker
service docker restart
chkconfig docker on
docker info
第2步:查找nginx镜像,并抓取镜像(下载镜像),查看镜像。
docker search nginx //查找
docker pull nginx //下载
docker images //查看所有镜像
docker save nginx > nginx.tar //导出nginx镜像
第3步:指定镜像创建容器并启动服务。访问nginx的测试网站。
docker run -d -p 8088:80 --name cn1 nginx
curl 127.0.0.1:8088 //ip是容器默认的ip,用ifconfig查看
参数说明:-d 放在后台执行(daemon)
-p 主机端口:容器端口 将容器的端口映射到主机上,目的是可以直接对外提供访问。
--name 指定容器名称
第5步:容器的管理。
docker ps -a //查看所有容器
docker kill cn1 //结束cn1这个容器
docker start cn1 //启动cn1容器
docker rm cn1 //删除cn1容器
实用命令:
以交互式方式进入容器:docker exec -it 容器名 bash
退出docker容器交互模式:exit 或 ctrl+p+q
创建docker桥接网卡:docker -d -b br1
-------------------
###docker常用命令汇总:
查看docker帮助:docker
查看docker的start命令帮助:docker start --help
查看docker信息:docker info
查找nginx镜像:docker search nginx
设置docker镜像下载的仓库:
查看本地镜像:docker images
查看docker容器进程:docker ps -a
docker下载的镜像保存的路径:ls /var/lib/docker/
下载镜像:docker pull 镜像名:tag号
镜像centos6下载实例(有yum源和网络):docker pull centos:6
镜像centos7下载实例(无yum源和网络):docker pull centos:7
例:docker run --name webserver0 -p 8081:80 -d -it nginx sh
说明:--name是指定容器名称,-p 8081:80是做端口映射,映射外部8081端口到容器的80端口,
-d是daemon后台运行。-i是以交互式方式运行,-t是分配一个tty(伪终端)。
运行docker容器:docker run --name 实例名称 -d 镜像名
运行docker容器实例:docker run --name cto7 -d centos:7
交互的方式进入已经运行的容器中:docker exec -it centos:6 /bin/bash
查看docker容器日志(操作日志):docker logs id或Name
查看差异(容器和镜像对比):docker diff id或name
说明:CONTAINER_ID(是容器ID号)或Name(是容器名称)
停止docker容器:docker stop CONTAINER_ID或Name
启动docker容器:docker restart CONTAINER_ID或Name
删除docker窗口:docker rm CONTAINER_ID或Name
发布docker镜像:docker push new_image_name
(不用做)登录registry server(login)
#登陆registry server; -e, --email="" Email; -p, --password="" Password; -u, --username="" Username
#登录:docker login
返回正常系统:ctrl+p+q(正常返回后台运行) (或exit退出并停止运行)
进入docker实例环境:docker attach CONTAINER_ID或Name
docker其他命令:
#启动sshd服务:/sbin/sshd -D
#退出,但不停止容器:Ctrl+P+Q
#回到Docker下面,停止容器: docker stop <容器名或ID>
#启动容器: docker start <容器名或ID>
#提交当前容器到镜像:docker commit <容器ID> <NAME/VERSION> 新镜像名
#启动新容器,并且进行端口映射:
docker run -itd -p 50001:22 <刚才提交的镜像ID> /bin/bash
查看容器日志:
docker logs Name/ID
# 显示一个运行的容器里面的进程信息:docker top Name/ID
# 从容器里面拷贝文件/目录到本地一个路径:
docker cp Name:/container_path to_path
docker cp ID:/container_path to_path
#启动sshd服务:/usr/sbin/sshd -D
-------------
保存和加载镜像(save、load)
当需要把一台机器上的镜像迁移到另一台机器的时候,需要保存镜像与加载镜像。
#保存镜像到一个tar包; -o, --output="" Write to an file
方法一:docker save image_name -o file_path
方法二:docker save image_name > file_path
# 加载一个tar包格式的镜像; -i, --input="" Read from a tar archive file
方法一:docker load -i file_path
方法二:docker load < file_path
# 机器a导出镜像: docker save image_name > /home/save.tar
# 使用scp将save.tar拷到机器b上。
#机器b导入镜像: $docker load < /home/save.tar
-------------
利用 commit 理解镜像构成
用commit创建镜像的思路:下载镜像--->运行容器--->在容器中修改文件--->commit生成新镜像--->查镜像列表--->测试新镜像。
实例:下载nginx镜像,在容器中运行nginx镜像,在容器中修改文件,生成新镜像并测试。
具体实施:
第1步:下载nginx镜像。
docker pull nginx
第2步:在容器中运行镜像。
docker run --name webserver -d -p 801:80 nginx
curl 127.0.0.1:801
第3步:进入docker容器,在容器中修改文件。
docker exec -it webserver bash
echo '<h1>Hello, Docker!</h1>' > /usr/share/nginx/html/index.html
exit 或 ctrl+p+q
curl 127.0.0.1:801
第4步:查看差异,并commit生成新镜像。
docker commit 的语法格式为:
docker commit [选项] <容器ID或容器名> [<仓库名>[:<标签>]]
查看差异:docker diff webserver
生成新镜像:
方法一:docker commit webserver nginx:v2
方法二:docker commit \
--author "flyer <2559721591@qq.com>" \
--message "修改了默认网页" \
webserver \
nginx:v2
说明:--author声明作者信息,--message声明所做的修改。
第5步:查看镜像列表,在容器中运行新镜像。测试访问。
docker images
docker history nginx:v2
docker run --name web2 -d -p 802:80 nginx:v2
curl 127.0.0.1:802
附加任务:将生成的nginx:v2镜像导出成nginx_v2.tar文件,复制到另一台linux主机上,导入nginx_v2.tar到docker仓库中。
1、导出nginx:v2镜像。
方法一:docker save nginx:v2 > nginx_v2.tar
方法二:docker save nginx:v2 -o nginx_v2.tar
2、导入nginx:v2.tar镜像。
方法一:docker load < nginx_v2.tar
方法二:docker load -i nginx_v2.tar
注意:慎用commit生成新镜像。
因为commit生成的新镜像是属于完整镜像包,会导致镜像包太大。
生成的镜像也被称为黑箱镜像,换句话说,就是除了制作镜像的人知道执行过
什么命令、怎么生成的镜像,别人根本无从得知。
docker commit 命令除了学习之外,还有一些特殊的应用场合,比如被入侵后保存现场等。
但是,不要使用 docker commit 定制镜像,定制行为应该使用 Dockerfile 来完成。
下面的章节我们就来讲述一下如何使用 Dockerfile 定制镜像。
-------------
使用Dockerfile创建nginx的新镜像:
使用 Dockerfile 定制镜像
从刚才的 docker commit 的学习中,我们可以了解到,镜像的定制实际上就是定制每一层所添加的配置、文件。
如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本,用这个脚本来构建、定制镜像,
那么之前提及的无法重复的问题、镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是 Dockerfile。
Dockerfile 是一个文本文件,其内包含了一条条的指令(Instruction),每一条指令构建一层,因此每一条指令的内容,就是描述该层应当如何构建。
用Dockerfile创建镜像的思路:
准备目录,创建Dockerfile文件--->docker build生成镜像--->查镜像列表--->测试新镜像。
还以之前定制 nginx 镜像为例,这次我们使用 Dockerfile 来定制。
第1步:在一个空白目录中,建立一个文本文件,并命名为 Dockerfile:
mkdir mynginx
cd mynginx
touch Dockerfile
其内容为:cat Dockerfile
FROM nginx
EXPOSE 80
RUN echo '<h1>Hello, Docker!</h1>' > /usr/share/nginx/html/index.html
这个 Dockerfile 很简单,一共就两行。涉及到了两条指令,FROM 和 RUN。
Dockerfile内容解释:
FROM 指定基础镜像
所谓定制镜像,那一定是以一个镜像为基础,在其上进行定制。就像我们之前运行了一个 nginx 镜像的容器,
再进行修改一样,基础镜像是必须指定的。而 FROM 就是指定基础镜像,因此一个 Dockerfile 中 FROM 是必备的指令,
并且必须是第一条指令。
第2步:用Dockerfile生成镜像nginx:v3:
docker build -t nginx:v3 .
docker images
第3步:启动新容器cn5运行镜像nginx:v3:
docker run -d -p 803:80 --name web3 nginx:v3
docker ps
第4步:测试访问:
curl 127.0.0.1:803 或 firefox 127.0.0.1:803 看到网页内容如下
Hello, Docker!
-------------
实例:用Dockerfile以centos6的docker镜像为基础,创建新镜像mysql:v2。并在容器中运行新镜像,进行测试。
第1步:准备目录,创建Dockerfile文件。
mkdir mysqltest
cd mysqltest
vi Dockerfile 全文内容如下
#指定参考镜像,run运行命令。
FROM centos:6
RUN yum install -y mysql-server mysql
#修改my.cnf配置文件。
RUN sed -i '1a\character_set_server=utf8' /etc/my.cnf
RUN sed -i '2a\default-storage-engine=innodb' /etc/my.cnf
RUN sed -i '3a\log-bin=mysql-bin' /etc/my.cnf
RUN sed -i '4a\max_connections=100' /etc/my.cnf
RUN sed -i '5a\#server-id=2' /etc/my.cnf
RUN sed -i '6a\skip-name-resolve' /etc/my.cnf
RUN sed -i '$a\[mysql]' /etc/my.cnf
RUN sed -i '$a\default-character-set=utf8' /etc/my.cnf
RUN sed -i '$a\prompt="(\\u@\\h) [\\d]> " ' /etc/my.cnf
#启动服务,创建一个新的管理员账号。
RUN /etc/init.d/mysqld restart &&\
chkconfig mysqld on &&\
mysql -e "grant all on *.* to admin@'%' identified by 'admin' with grant option;flush privileges;" &&\
mysql -e "grant all on *.* to admin@'localhost' identified by 'admin' with grant option;flush privileges;" &&\
mysql -e "grant replication slave on *.* to rep@'%' identified by 'rep';flush privileges;" &&\
echo 'install ok.'
EXPOSE 3306
CMD ["/usr/bin/mysqld_safe"]
第2步:在mysqltest目录用Dockerfile生成mysql:v2镜像。
docker build -t mysql:v2 .
第3步:查看镜像列表,在容器中运行mysql:v2,查看docker所有的容器进程。
docker images
docker run --name m2 -d mysql:v2
docker ps -a
第4步:进入m2名称的容器的交互操作。执行命令,并退出容器。
docker exec -it m2 m2 bash
mysql -uadmin -padmin -e "select user,host,password from mysql.user;"
exit 或 ctrl+p+q 退出容器
docker ps -a
-------------
Dockerfile 指令详解
我们已经介绍了 FROM,RUN,还提及了 COPY, ADD,其实 Dockerfile 功能很强大,它提供了十多个指令。这里我们继续讲解剩下的指令。
资料网址:https://yeasy.gitbooks.io/docker_practice/image/dockerfile/
Dockerfile 指令详解:
COPY 复制文件
ADD 更高级的复制文件
CMD 容器启动命令
ENTRYPOINT 入口点
ENV 设置环境变量
ARG 构建参数
VOLUME 定义匿名卷
EXPOSE 暴露端口
WORKDIR 指定工作目录
USER 指定当前用户
HEALTHCHECK 健康检查
ONBUILD 为他人作嫁衣裳
-------------
Docker创建MySQL容器的image镜像:
目标:本文目的是创建一个MySQL的image,并且在新创建出来的容器里自动启动mysql服务接受外部连接
参考步骤(已验证OK):
必须的准备:保证创建Docker镜像的机器能够正常上网。因为创建新镜像时会自动从网络上下载文件。
第1步. 首先创建一个目录/ak,并在/ak目录下创建一个Dockerfile,文件内容如下
#以centos:centos6镜像作为基础镜像来创建新的镜像。
FROM centos:centos6
#作者信息
MAINTAINER Flyer "2559721591@qq.com"
#安装软件,修改my.cnf配置文件
RUN yum install -y mysql-server mysql
##以下RUN是一条完整的命令,其中&&是逻辑与,\命令换行符。
RUN /etc/init.d/mysqld start &&\
mysql -e "grant all on *.* to 'admin'@'%' identified by 'admin';"&&\
mysql -e "grant all on *.* to 'admin'@'localhost' identified by 'admin';"&&\
mysql -e "grant all on *.* to 'admin'@'127.0.0.1' identified by 'admin';"&&\
mysql -e "grant replication slave on *.* to 'rep'@'%' identified by 'rep';"&&\
mysql -e "grant all privileges on *.* to 'root'@'%' identified by 'admin';"&&\
mysql -e "grant all privileges on *.* to 'root'@'localhost' identified by 'admin';"&&\
mysql -u root -padmin -e "show databases;"
##内部端口号
EXPOSE 3306
##容器启动时要执行的命令
CMD ["/usr/bin/mysqld_safe"]
第2步. 在Dockerfile所在目录下运行build命令来生成image文件,这里使用mysql_server作为image文件名
docker build -t mysql_server ./
说明:可能第1次会失败,因为要同步网络数据,请再执行一遍上面的命令。
运行完build命令后,可以使用“Docker images”来查看。
第3步. 启动容器
3.1 首先使用下面的命令来启动容器
docker run --name=mysqlserver -dit -P mysql_server
说明:启动容器,名称为mysqlserver,以后台方式运行,映射随机端口,容器的镜像为mysql_server。
交互的方式进入已经运行的容器中:docker exec -it mysqlserver bash
启动完容器后,可以使用“docker ps”来查看,此时可以看PORTS列内容为“0.0.0.0:49153->3306/tcp”,容器的3306端口会被映射到宿主机器的49153端口,这样我们就可以通过宿主机器的49153端口来连接了,比如:
mysql -h <宿主机器> -u root -padmin -P 49153
3.2 另外在运行容器的时候也可以通过下面的命令
docker run --name=mysqlserver -d -p 3306:3306 mysql_server
此时容器的3306端口会被映射到宿主机器的3306端口,这样我们就可以通过宿主机器的3306端口访问mysql了
mysql -h <宿主机器> -u root -padmin
3.3 还有一种情况就是为了安全考虑,我只希望当前的宿主机器可以访问mysql服务,此时我们可以
docker run --name=mysqlserver -d -p 127.0.0.1:3306:3306 mysql_server
4.1 导出mysql_server镜像。
方法一:docker save mysql_server > mysql_server.tar
方法二:docker save mysql_server -o mysql_server.tar
4.2 导入mysql_server.tar镜像。
方法一:docker load < mysql_server.tar
方法二:docker load -i mysql_server.tar
-------------
实例:在centos:7这个docker镜像中安装mysql-server和mysql,并将mysqld服务设置成启动docker容器时自动启动,将修改后的镜像生成一个新镜像mysqld。
第1步:下载centos:7这个docker镜像。
docker pull centos:7
docker images
第2步:用centos:7镜像开启一个docker容器,安装mysql-server、mysql软件
docker run --name mysqld_1 -it centos:7 sh
yum install -y mysql-server mysql
service mysqld restart
chkconfig mysqld on
第3步:创建随docker容器同步启动的mysqld的启动脚本。
vi /home/mysqld_auto.sh
#!/bin/sh
/etc/init.d/mysqld restart
/bin/bash
:wq保存并退出vi
添加x执行权限:chmod -v +x /home/mysqld_auto.sh
第4步:退出docker容器,将修改保存成一个新镜像。
ctrl+p+q
docker ps -a
docker stop mysqld_1
docker commit mysqld_1 mysqld
docker images
第5步:运行测试新镜像:
docker run --name m1 -it mysqld /home/mysqld_auto.sh
service mysqld status
mysql -e "show databases;"
ctrl+p+q
docker ps -a
-------------
搭建私有仓库
系统环境: CentOS 7.2
192.168.0.179:Docker仓库
192.168.0.60:客户端
安装并启动docker
yum -y install docker
service docker start
chkconfig docker on
搭建私有仓库
179上下载registry镜像
docker pull registry
防火墙添加运行5000端口
iptables -I INPUT 1 -p tcp --dport 5000 -j ACCEPT
下载完之后我们通过该镜像启动一个容器
复制代码 代码如下:
docker run -d -p 5000:5000 --privileged=true -v /opt/registry:/tmp/registry registry
参数说明:
1.-v /opt/registry:/tmp/registry :默认情况下,会将仓库存放于容器内的/tmp/registry目录下,指定本地目录挂载到容器
2.–privileged=true :CentOS7中的安全模块selinux把权限禁掉了,参数给容器加特权,不加上传镜像会报权限错误(OSError:[Errno 13] Permission denied: ‘/tmp/registry/repositories/liibrary')或者(Received unexpected HTTP status: 500 Internal Server Error)错误
客户端上传镜像
修改/etc/sysconfig/docker(Ubuntu下配置文件地址为:/etc/init/docker.conf),增加启动选项(已有参数的在后面追加),之后重启docker,不添加报错,https证书问题。
OPTIONS='--insecure-registry 192.168.0.179:5000' #CentOS 7系统 other_args='--insecure-registry 192.168.0.179:5000' #CentOS 6系统
因为Docker从1.3.X之后,与docker registry交互默认使用的是https,而此处搭建的私有仓库只提供http服务在docker公共仓库下载一个镜像
docker pull docker.io/centos
来修改一下该镜像的tag
docker tag centos 192.168.0.179:5000/centos
把打了tag的镜像上传到私有仓库
docker push 192.168.0.179:5000/centos
客户端添加私有仓库地址
# 添加这一行 ADD_REGISTRY='--add-registry 192.168.0.179:5000'
加上后,search镜像,私有仓库和docker hub上都会显示;
不加搜索私有仓库,需要命令中指定私有仓库ip
使用仓库中的镜像
查询私有仓库中的所有镜像,使用docker search命令:
curl -u myuser https://registry_ip:5000/v1/searchcurl registry_ip:5000/v1/search
docker search registry_ip:5000/ #centos 7 docker search registry_ip:5000/library #centos 6
查询仓库中指定账户下的镜像,则使用如下命令:
docker search registry_ip:5000/account/
-------------
###Centos7 下建立 Docker 桥接网络
centos7宿主机上建立Docker桥接物理网络过程
宿主机网卡信息:
name:eth0
IP:192.168.100.99
GATEWAY:192.168.100.2
DNS:192.168.100.2
1. 停止Docker服务
~#:service docker stop
2.删除docker0网卡
~#:ip link set dev docker0 down
~#:brctl delbr docker0
3.新建桥接物理网络虚拟网卡br0
~#:brctl addbr br0
~#:ip link set dev br0 up
~#:ip addr add 192.168.100.100/24 dev br0 #为br0分配物理网络中的ip地址
~#:ip addr del 192.168.100.99/24 dev eth0 #将宿主机网卡的IP清空
~#:brctl addif br0 eth0 #将宿主机网卡挂到br0上
~#:ip route del default #删除原路由
~#:ip route add default via 192.168.100.2 dev br0 #为br0设置路由
4.设置docker服务启动参数
这里要注意的是,不同的Linux操作系统docker的配置文件所在不同
centos 在/etc/sysconfig/docker
其他操作系统请前往下面的网址
https://docs.docker.com/installation/#installation
~#:vim /etc/sysconfig/docker #在OPTIONS='--selinux-enabled'这行中修改为OPTIONS='--selinux-enabled -b=br0'即让docker服务启动时使用br0网卡进行桥接
5.启动docker服务
~#:service docker start
6.安装pipework
~#:git clone https://github.com/jpetazzo/pipework
~#:cp ~/pipework/pipework /usr/local/bin/
7.启动一个手动设置网络的容器
这里最好不要让docker自动获取ip,下次启动会有变化而且自动获取的ip可能会和物理网段中的ip冲突
~#:docker run -itd --net=none --name=test centos7 /bin/bash
9.为test容器设置一个与桥接物理网络同地址段的ip@网关
~#:pipework br0 test 192.168.100.11/24@192.168.100.2
10.进入容器查看ip
~#:docker attach test
-------------
Docker创建httpd容器的image镜像:
目标:本文目的是创建一个MySQL的image,并且在新创建出来的容器里自动启动mysql服务接受外部连接
参考步骤(未验证):
1. 首先创建一个目录并在目录下创建一个Dockerfile,文件内容如下
##第1步:在当前目录创建Dockerfile文件,内容如下:
##以#号开头的为注释内容,只是测试代码(可以不写)。
#FROM是指定新镜像是以centos:centos6这个镜像作为基础镜像来创建的。
FROM centos:centos6
#镜像的创建者信息。
MAINTAINER Flyer <2559721591@qq.com>
#RUN代码用于指定要执行的命令。通常用于安装软件。
#RUN yum -y update; yum clean all
#RUN yum -y install httpd && yum clean all
RUN yum -y install httpd
RUN touch /var/www/html/index.html
RUN echo "apachetest web site!!!! --Flyer " > /var/www/html/index.html
#container容器内部服务开启的端口。主机上要用还得在启动container时,做host-container的端口映射:
EXPOSE 80
#例如:运行容器时映射端口:docker run -d -p 127.0.0.1:33301:22 centos6-ssh
#Simple startup script to avoid some issues observed with container restart
#注意脚本目录,将脚本添加到docker容器的/根目录中。
ADD run-httpd.sh /run-httpd.sh
#赋予脚本执行权限
RUN chmod -v +x /run-httpd.sh
#Container容器启动时执行的命令,但是一个Dockerfile中只能有一条CMD命令,多条则只执行最后一条CMD。
CMD ["/run-httpd.sh"]
##第2步####
在Dockerfile文件所在的目录创建run-httpd.sh脚本,内容如下:
cat > run-httpd.sh <<EOK
#!/bin/bash
#Make sure we are not confused by old, incompletely-shutdown httpd
#context after restarting the container. httpd won't start correctly
#if it thinks it is already running.
rm -rf /run/httpd/*
exec /usr/sbin/apachectl -D FOREGROUND
EOK
注意:Dockerfile需借助脚本来重启httpd服务,并且最好放置于同一目录
##第3步:在Dockerfile文件的目录生成镜像文件fly/httpd:centos6。
docker build -t fly/httpd:centos6 ./
docker images //查看所有的镜像
此时通过Dockerfile创建的镜像已经创建成功,并无报错。
#第4步:运行容器
方法一:启动容器并映射到随机端口,容器名称为httpdk:
以后台方式运行:docker run --name=httpdk -d -P fly/httpd:centos6
查看docker容器进程:docker ps -a
进入已运行的容器:docker exec -it httpdk /bin/bash
退出交互模式:ctrl+p+q [退出后容器仍然运行中]
以交互式方式运行:
docker run --name=httpda -it -p 801:80 fly/httpd:centos6 /bin/bash
方法二:启动并指定映射端口:
说明:将容器的80端口映射到物理机801端口
docker run --name=web802 -d -p 802:80 fly/httpd:centos6
curl http://localhost:802 显示结果如下
apachetest web site!!!! --Flyer //curl测试成功
4.1 导出mysql_server镜像。
方法一:docker save fly/httpd:centos6 > httpd_centos6.tar
方法二:docker save fly/httpd:centos6 -o httpd_centos6.tar
4.2 导入mysql_server.tar镜像。
方法一:docker load < httpd_centos6.tar
方法二:docker load -i httpd_centos6.tar
-------------
Docker Dockerfile详解
原贴:http://blog.csdn.net/wsscy2004/article/details/25878223
要点一:如何使用Dockerfile
Dockerfile用来创建一个自定义的image,包含了用户指定的软件依赖等。
例:当前目录下包含Dockerfile,使用命令build来创建新的image,并命名为edwardsbean/centos6-jdk1.7:
docker build -t edwardsbean/centos6-jdk1.7 /.
要点一:Dockerfile关键字
问题1:如何编写一个Dockerfile,格式如下:
# CommentINSTRUCTION arguments
FROM 基于哪个镜像
RUN 安装软件用
MAINTAINER 镜像创建者
CMD 命令
说明:Container启动时执行的命令,但是一个Dockerfile中只能有一条CMD命令,多条则只执行最后一条CMD.
CMD主要用于container时启动指定的服务,当Docker run command的命令匹配到CMD command时,会替换CMD执行的命令。如:
Dockerfile:
CMD echo hello world
运行一下试试:
docker run centos-cmd 运行的结果如下:
hello world
一旦命令匹配:
docker run centos-cmd echo hello edwardsbean 运行的结果如下:
hello edwardsbean
ENTRYPOINT
说明:container容器启动时执行的命令,但是一个Dockerfile中只能有一条ENTRYPOINT命令,如果多条,则只执行最后一条
ENTRYPOINT没有CMD的可替换特性
USER
使用哪个用户跑container
如:
ENTRYPOINT ["memcached"]
USER daemon
EXPOSE 端口号
说明:container容器内部服务开启的端口。主机上要用还得在启动container时,做host-container的端口映射:
docker run -d -p 127.0.0.1:33301:22 centos6-ssh
解释:container ssh服务的22端口被映射到主机的33301端口
ENV 环境变量
功能:用来设置环境变量,比如:
ENV LANG en_US.UTF-8
ENV LC_ALL en_US.UTF-8
ADD 源文件 /目标文件
功能:将文件<src>拷贝到container的文件系统对应的路径<dest>
说明:1、所有拷贝到container中的文件和文件夹权限为0755,uid和gid为0
2、如果文件是可识别的压缩格式,则docker会帮忙解压缩
3、如果要ADD本地文件,则本地文件必须在 docker build <PATH>,指定的<PATH>目录下
4、如果要ADD远程文件,则远程文件必须在 docker build <PATH>,指定的<PATH>目录下。比如:
例如:
docker build github.com/creack/docker-firefox
说明:docker-firefox目录下必须有Dockerfile和要ADD的文件
注意:使用docker build - < somefile方式进行build,是不能直接将本地文件ADD到container中。只能ADD url file.
ADD只有在build镜像的时候运行一次,后面运行container的时候不会再重新加载了。
VOLUME
可以将本地文件夹或者其他container的文件夹挂载到container中。
WORKDIR
说明:切换目录用,可以多次切换(相当于cd命令),对RUN,CMD,ENTRYPOINT生效
ONBUILD
说明:ONBUILD 指定的命令在构建镜像时并不执行,而是在它的子镜像中执行
详见here
=========================
Docker:添加自定义网桥
Docker服务进程在启动的时候会生成一个名为docker0的网桥,容器默认都会挂载到该网桥下,
但是我们可以通过添加docker启动参数-b Birdge 或更改docker配置文件来选择使用哪个网桥。
操作系统:centos7
删除docker0网桥:
service docker stop //关闭docker服务
ip link set dev docker0 down //关闭docker0网桥
ip link del dev docker0 //删除docker0网桥
自定义网桥设置(/etc/sysconfig/network-scripts/ifcfg-br0文件)
DEVICE="br0"
ONBOOT="yes"
TYPE="Bridge"
BOOTPROTO="static"
IPADDR="10.10.10.20"
NETMASK="255.255.255.0"
GATEWAY="10.10.10.20"
DEFROUTE="yes"
NM_CONTROLLED="no"
重启网络服务
service network restart
查看网桥
[black@test opt]$ yum install -y bridge-utils
[black@test opt]$ brctl show
bridge name bridge id STP enabled interfaces
br0 8000.32e7297502be no
virbr0 8000.000000000000 yes
接下来我们需要重新启动docker,可以在启动docker服务进程时使用以下两种方式:
第一种:-b 参数指定网桥
[root@test opt]# docker -d -b br0
INFO[0000] Listening for HTTP on unix (/var/run/docker.sock)
INFO[0000] [graphdriver] using prior storage driver "devicemapper"
WARN[0000] Running modprobe bridge nf_nat failed with message: , error: exit status 1
INFO[0000] Loading containers: start.
......
INFO[0000] Loading containers: done.
INFO[0000] Daemon has completed initialization
INFO[0000] Docker daemon commit=786b29d execdriver=native-0.2 graphdriver=devicemapper version=1.7.1
不知道为什么这样启动docker 服务进程会阻塞当前终端(︶︿︶),只好重新开一个终端,然后运行一个容器
[root@test shell]# docker run -ti --rm centos:latest
[root@3c6874559411 /]# ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:0A:0A:0A:01
inet addr:10.10.10.1 Bcast:0.0.0.0 Mask:255.255.255.0
inet6 addr: fe80::42:aff:fe0a:a01/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:5 errors:0 dropped:0 overruns:0 frame:0
TX packets:6 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:418 (418.0 b) TX bytes:508 (508.0 b)
容器成功使用br0网桥。
第二种:修改/etc/sysconfig/docker文件
我在进行这种操作的时候遇到了一点问题,我修改了/etc/sysconfig/docker文件
[root@test opt]# vi /etc/sysconfig/docker
# /etc/sysconfig/docker
# Other arguments to pass to the docker daemon process
# These will be parsed by the sysv initscript and appended
# to the arguments list passed to docker -d
other_args="-b br0"
接着使用service docker start启动docker服务,但是other_args并不生效,在centos7下servicer docker start仍然会采用systemctl start docker.service命令来运行,于是我就打开/usr/lib/systemd/system/docker.service查看
[root@test opt]# vi /lib/systemd/system/docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network.target docker.socket
Requires=docker.socket
[Service]
ExecStart=/usr/bin/docker -d -H fd://
MountFlags=slave
LimitNOFILE=1048576
LimitNPROC=1048576
LimitCORE=infinity
[Install]
WantedBy=multi-user.target
发现ExecStart一项并没有运行参数,于是将ExecStart改为/usr/bin/docker -d -b br0 -H fd://,运行docker服务,启动一个容器发现能够成功使用br0网桥。
-------------------------------------------
在网上看到了一种更好的方法,将docker.service改为如下
[black@test ~]$ vi /usr/lib/systemd/system/docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network.target docker.socket
Requires=docker.socket
[Service]
EnvironmentFile=-/etc/sysconfig/docker
ExecStart=/usr/bin/docker -d $other_args -H fd://
MountFlags=slave
LimitNOFILE=1048576
LimitNPROC=1048576
LimitCORE=infinity
[Install]
WantedBy=multi-user.target
这个时候在other_args中添加的参数就有效了。
本文转自rshare 51CTO博客,原文链接:http://blog.51cto.com/1364952/1953961,如需转载请自行联系原作者
docker容器从入门到实战0826
##docker容器安装和配置###
#docker的git-hub网站(账号rshare,密rshare520):https://github.com/login
#docker官网hub仓库(账号flyer520,密码rhsare520):https://hub.docker.com
#docker官网文档和镜像:https://docs.docker.com/samples/centos/
#docker官网的容器网络配置:https://docs.docker.com/engine/userguide/networking/#bridge-networks
#docker入门实战笔记(首选参考书):http://www.cnblogs.com/garfieldcgf/p/5462963.html
docker官方安装手册:https://docs.docker.com/engine/installation/linux/docker-ce/centos/#install-using-the-repository
docker官方yum源:https://download.docker.com/linux/centos/docker-ce.repo
docker资料大全:http://sofar.blog.51cto.com/353572/1598249
docker从入门到实践:https://yeasy.gitbooks.io/docker_practice/
注意:此文档最后讲解了如何配置docker自定义桥接网络。
##docker简介
docker容器:Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。
说明:1、docker容器是以docker镜像来启动自己的环境。比KVM和VMware相比,占用的内存资源更少。
2、在docker中可以有自己独立的网络配置,可以跟物理机用NAT网络模式通信。
3、运行的docker容器中可以像虚拟机那样安装独立的服务软件。
4、支持在源镜像中安装新软件,并将修改用commit保存成一个新镜像。然后移值到其他物理机中使用。
##docker的3个基本概念
镜像(Image)
容器(Container)
仓库(Repository)
理解了这三个概念,就理解了Docker的整个生命周期。
docker基本工作过程:
从仓库--->下载镜像--->运行在容器中
dokcer重新封装完整镜像过程:
基本镜像包--->运行在容器中--->安装所需软件和启动脚本--->停止容器--->commit生成新镜像--->测试在容器中运行新镜像。
docker与Hypervisor比较
docker工作原理和优势:http://blog.csdn.net/u012299594/article/details/52343910
用Dockerfile创建nginx新镜像的过程:
###docker镜像Image:就是一个只读模板。
例如:一个镜像可以包含一个完整的Centos操作系统环境,里面仅安装了Apache或用户需要的其它应用程序。镜像可以用来创建Docker容器。
Docker提供了一个很简单的机制来创建或者更新现有的镜像,用户甚至可以直接从其他人那里下载一个已经做好的镜像来直接使用。
###docker容器Container:利用窗口来运行应用。
容器是从镜像创建的运行实例。它可以被启动、开始、停止、删除。每个容器都是相互隔离的、保证安全的平台。
可以把容器看做是一个简易版的Linux环境(包括root用户权限、进程空间、用户空间和网络空间等)和运行在其中的程序。
注:镜像是只读的,容器在启动的时候创建一层可写层作为最上层。
###Docker仓库Repository:是集中存放镜像文件的场所。
有时候会把仓库和仓库注册服务器(Registry)混为一谈,并不严格区分。注册服务器上往往存放着多个仓库,每个仓库中又包含了多个镜像,每个镜像有不同的标签(tag)。
仓库分为公开仓库(public)和私有仓库(private)两种形式。
当然,用户可以在本地网络内创建一个私有仓库。
当用户创建了自己的镜像之后就可以使用push命令将它上传到公有或者私有仓库,这样下次在另外一台机器上使用这个镜像时,只需要从仓库上pull下来就可以了。
注:docker仓库的跟Git,注册服务器可以理解为Github这样的托管服务器。
#centos7安装和配置docker
#安装、启动docker
说明:centos7自带的网络yum源中包含docker的安装包。
yum install -y docker-io docker
rpm -q docker
service docker restart
chkconfig docker on
===========================
安装Docker,用法简介:
ubuntu安装:curl -s https://get.docker.io/ubuntu/ | sudo sh
镜像管理
docker images:列出本地所有镜像
docker search <IMAGE_ID/NAME>:查找image
docker pull <IMAGE_ID>:下载image
docker push <IMAGE_ID>:上传image
docker rmi <IMAGE_ID>:删除image
容器管理
docker run -i -t <IMAGE_ID> /bin/bash:-i:标准输入给容器 -t:分配一个虚拟终端 /bin/bash:执行bash脚本
-d:以守护进程方式运行(后台)
-P:默认匹配docker容器的5000端口号到宿主机的49153 to 65535端口
-p <HOT_PORT>:<CONTAINER_PORT>:指定端口号
--name: 指定容器的名称
--rm:退出时删除容器
docker stop <CONTAINER_ID>:停止container
docker start <CONTAINER_ID>:重新启动container
docker ps - Lists containers.
-l:显示最后启动的容器
-a:同时显示停止的容器,默认只显示启动状态
docker ps -a 查看docker所有容器的进程
docker attach <CONTAINER_ID> 连接到启动的容器
docker logs <CONTAINER_ID> : 输出容器日志
-f:实时输出
docker cp <CONTAINER_ID>:path hostpath:复制容器内的文件到宿主机目录上
docker rm <CONTAINER_ID>:删除container
docker rm `docker ps -a -q`:删除所有容器
docker kill `docker ps -q`
docker rmi `docker images -q -a`
docker wait <CONTAINER_ID>:阻塞对容器的其他调用方法,直到容器停止后退出
docker top <CONTAINER_ID>:查看容器中运行的进程
docker diff <CONTAINER_ID>:查看容器中的变化
docker inspect <CONTAINER_ID>:查看容器详细信息(输出为Json)
-f:查找特定信息,如docker inspect -f '` `.`NetworkSettings`.`IPAddress `'
docker commit -m "comment" -a "author" <CONTAINER_ID> ouruser/imagename:tag
docker extc -it <CONTAINER> <COMMAND>:在容器里执行命令,并输出结果
网络管理
docker run -P:随机分配端口号
docker run -p 5000:5000:绑定特定端口号(主机的所有网络接口的5000端口均绑定容器的5000端口)
docker run -p 127.0.0.1:5000:5000:绑定主机的特定接口的端口号
docker run -d -p 127.0.0.1:5000:5000/udp training/webapp python app.py:绑定udp端口号
docker port <CONTAINER_ID> 5000:查看容器的5000端口对应本地机器的IP和端口号
使用Docker Linking连接容器:
Docker为源容器和接收容器创建一个安全的通道,容器之间不需要暴露端口,接收的容器可以访问源容器的数据
docker run -d -P --name <CONTAINER_NAME> --link <CONTAINER_NAME_TO_LINK>:<ALIAS>
数据管理
Data Volumes:volume是在一个或多个容器里指定的特殊目录
数据卷可以在容器间共享和重复使用
可以直接修改容器卷的数据
容器卷里的数据不会被包含到镜像中
容器卷保持到没有容器再使用它
可以在容器启动的时候添加-v参数指定容器卷,也可以在Dockerfile里用VOLUMN命令添加
docker run -d -P --name web -v /webapp training/webapp python app.py
也可以将容器卷挂载到宿主机目录或宿主机的文件上,<容器目录或文件>的内容会被替换为<宿主机目录或文件>的内容,默认容器对这个目录有可读写权限
docker run -d -P --name web -v <宿主机目录>:<容器目录> training/webapp python app.py
可以通过指定ro,将权限改为只读
docker run -d -P --name web -v <宿主机目录>:<容器目录>:ro training/webapp python app.py
在一个容器创建容器卷后,其他容器便可以通过--volumes-from共享这个容器卷数据,如下:
docker run -d -v /dbdata --name db1 training/postgres echo Data-only container for postgres
首先启动了一个容器,并为这个容器增加一个数据卷/dbdata,然后启动另一个容器,共享这个数据卷
docker run -d --volumes-from db1 --name db2 training/postgres
此时db2使用了db1的容器卷,当容器db1被删除时,容器卷也不会被删除,只有所有容器不再使用此容器卷时,才会被删除
docker rm -v:删除容器卷
除了共享数据外,容器卷另一个作用是用来备份、恢复和迁移数据
docker run --volumes-from db1 -v /home/backup:/backup ubuntu tar cvf /backup/backup.tar /dbdata
启动一个容器数据卷使用db1容器的数据卷,同时新建立一个数据卷指向宿主机目录/home/backup,将/dbdata目录的数据压缩为/backup/backup.tar
docker run -v /dbdata --name dbdata2 ubuntu /bin/bash
docker run --volumes-from dbdata2 -v /home/backup:/backup busybox tar xvf /backup/backup.tar
启动一个容器,同时把backup.tar的内容解压到容器的backup
仓库管理
docker login:登录
===========================
#实验:用docker快速部署nginx服务器:
源贴:
第1步:安装docker,启动服务,查看信息。
yum install -y docker
service docker restart
chkconfig docker on
docker info
第2步:查找nginx镜像,并抓取镜像(下载镜像),查看镜像。
docker search nginx //查找
docker pull nginx //下载
docker images //查看所有镜像
docker save nginx > nginx.tar //导出nginx镜像
练习:下载centos6的docker镜像,并导出镜像。
docker search centos
docker pull centos:6
docker images
docker save centos:6 > centos6.tar
docker run --name ct6a -d -i -t centos:6 /bin/bash 在容器中运行centos:6镜像
第3步:指定镜像创建容器并启动服务。访问nginx的测试网站。
docker run -d -p 8088:80 --name cn1 nginx
curl 127.0.0.1:8088 //ip是容器默认的ip,用ifconfig查看
参数说明:-d 放在后台执行(daemon)
-p 主机端口:容器端口 将容器的端口映射到主机上,目的是可以直接对外提供访问。
--name 指定容器名称 -i以交互式运行 -t分配一个终端
第5步:容器的管理。
docker ps -a //查看所有容器
docker kill cn1 //结束cn1这个容器
docker start cn1 //启动cn1容器
docker rm cn1 //删除cn1容器
实用命令:
以交互式方式进入容器:docker exec -it 容器名 bash
退出docker容器交互模式:exit 或 ctrl+p+q
创建docker桥接网卡:docker -d -b br1
-------------------
###docker常用命令汇总:
查看docker帮助:docker
查看docker的start命令帮助:docker start --help
查看docker信息:docker info
查找nginx镜像:docker search nginx
设置docker镜像下载的仓库:
查看本地镜像:docker images
查看docker容器进程:docker ps -a
docker下载的镜像保存的路径:ls /var/lib/docker/
下载镜像:docker pull 镜像名:tag号
镜像centos6下载实例(有yum源和网络):docker pull centos:6
镜像centos7下载实例(无yum源和网络):docker pull centos:7
例:docker run --name webserver0 -p 8081:80 -d nginx
说明:--name是指定容器名称,-p 8081:80是做端口映射,映射外部8081端口到容器的80端口,
-d是daemon后台运行。-i是以交互式方式运行,-t是分配一个tty(伪终端)。
运行docker容器:docker run --name 实例名称 -d 镜像名
运行docker容器实例:docker run --name cto7 -d centos:7
交互的方式进入已经运行的容器中:docker exec -it centos:6 /bin/bash
查看docker容器日志(操作日志):docker logs id或Name
查看差异(容器和镜像对比):docker diff id或name
说明:CONTAINER_ID(是容器ID号)或Name(是容器名称)
停止docker容器:docker stop CONTAINER_ID或Name
启动docker容器:docker restart CONTAINER_ID或Name
删除docker窗口:docker rm CONTAINER_ID或Name
发布docker镜像:docker push new_image_name
(不用做)登录registry server(login)
#登陆registry server; -e, --email="" Email; -p, --password="" Password; -u, --username="" Username
#登录:docker login
返回正常系统:ctrl+p+q(正常返回后台运行) (或exit退出并停止运行)
进入docker实例环境:docker attach CONTAINER_ID或Name
docker其他命令:
#启动sshd服务:/sbin/sshd -D
#退出,但不停止容器:Ctrl+P+Q
#回到Docker下面,停止容器: docker stop <容器名或ID>
#启动容器: docker start <容器名或ID>
#提交当前容器到镜像:docker commit <容器ID> <NAME/VERSION> 新镜像名
#启动新容器,并且进行端口映射:
docker run -itd -p 50001:22 <刚才提交的镜像ID> /bin/bash
查看容器日志:
docker logs Name/ID
# 显示一个运行的容器里面的进程信息:docker top Name/ID
# 从容器里面拷贝文件/目录到本地一个路径:
docker cp Name:/container_path to_path
docker cp ID:/container_path to_path
#启动sshd服务:/usr/sbin/sshd -D
-------------
保存和加载镜像(save、load)
当需要把一台机器上的镜像迁移到另一台机器的时候,需要保存镜像与加载镜像。
#保存镜像到一个tar包; -o, --output="" Write to an file
方法一:docker save image_name -o file_path
方法二:docker save image_name > file_path
# 加载一个tar包格式的镜像; -i, --input="" Read from a tar archive file
方法一:docker load -i file_path
方法二:docker load < file_path
# 机器a导出镜像: docker save image_name > /home/save.tar
# 使用scp将save.tar拷到机器b上。
#机器b导入镜像: $docker load < /home/save.tar
-------------
利用 commit 理解镜像构成
用commit创建镜像的思路:下载镜像--->运行容器--->在容器中修改文件--->commit生成新镜像--->查镜像列表--->测试新镜像。
实例:下载nginx镜像,在容器中运行nginx镜像,在容器中修改文件,生成新镜像并测试。
具体实施:
第1步:下载nginx镜像。
docker pull nginx
第2步:在容器中运行镜像。
docker run --name webserver -d -p 801:80 nginx
curl 127.0.0.1:801
第3步:进入docker容器,在容器中修改文件。
docker exec -it webserver bash
echo '<h1>Hello, Docker!</h1>' > /usr/share/nginx/html/index.html
exit 或 ctrl+p+q
curl 127.0.0.1:801
第4步:查看差异,并commit生成新镜像。
docker commit 的语法格式为:
docker commit [选项] <容器ID或容器名> [<仓库名>[:<标签>]]
查看差异:docker diff webserver
生成新镜像:
方法一:docker commit webserver nginx:v2
方法二:docker commit \
--author "flyer <2559721591@qq.com>" \
--message "修改了默认网页" \
webserver \
nginx:v2
说明:--author声明作者信息,--message声明所做的修改。
第5步:查看镜像列表,在容器中运行新镜像。测试访问。
docker images
docker history nginx:v2
docker run --name web2 -d -p 802:80 nginx:v2
curl 127.0.0.1:802
附加任务:将生成的nginx:v2镜像导出成nginx_v2.tar文件,复制到另一台linux主机上,导入nginx_v2.tar到docker仓库中。
1、导出nginx:v2镜像。
方法一:docker save nginx:v2 > nginx_v2.tar
方法二:docker save nginx:v2 -o nginx_v2.tar
2、导入nginx:v2.tar镜像。
方法一:docker load < nginx_v2.tar
方法二:docker load -i nginx_v2.tar
注意:慎用commit生成新镜像。
因为commit生成的新镜像是属于完整镜像包,会导致镜像包太大。
生成的镜像也被称为黑箱镜像,换句话说,就是除了制作镜像的人知道执行过
什么命令、怎么生成的镜像,别人根本无从得知。
docker commit 命令除了学习之外,还有一些特殊的应用场合,比如被入侵后保存现场等。
但是,不要使用 docker commit 定制镜像,定制行为应该使用 Dockerfile 来完成。
下面的章节我们就来讲述一下如何使用 Dockerfile 定制镜像。
-------------
使用Dockerfile创建nginx的新镜像:
使用 Dockerfile 定制镜像
从刚才的 docker commit 的学习中,我们可以了解到,镜像的定制实际上就是定制每一层所添加的配置、文件。
如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本,用这个脚本来构建、定制镜像,
那么之前提及的无法重复的问题、镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是 Dockerfile。
Dockerfile 是一个文本文件,其内包含了一条条的指令(Instruction),每一条指令构建一层,因此每一条指令的内容,就是描述该层应当如何构建。
用Dockerfile创建镜像的思路:
准备目录,创建Dockerfile文件--->docker build生成镜像--->查镜像列表--->测试新镜像。
还以之前定制 nginx 镜像为例,这次我们使用 Dockerfile 来定制。
第1步:在一个空白目录中,建立一个文本文件,并命名为 Dockerfile:
mkdir mynginx
cd mynginx
touch Dockerfile
其内容为:cat Dockerfile
FROM nginx
EXPOSE 80
RUN echo '<h1>Hello, Docker!</h1>' > /usr/share/nginx/html/index.html
这个 Dockerfile 很简单,一共就两行。涉及到了两条指令,FROM 和 RUN。
Dockerfile内容解释:
FROM 指定基础镜像
所谓定制镜像,那一定是以一个镜像为基础,在其上进行定制。就像我们之前运行了一个 nginx 镜像的容器,
再进行修改一样,基础镜像是必须指定的。而 FROM 就是指定基础镜像,因此一个 Dockerfile 中 FROM 是必备的指令,
并且必须是第一条指令。
第2步:用Dockerfile生成镜像nginx:v3:
docker build -t nginx:v3 .
docker images
第3步:启动新容器cn5运行镜像nginx:v3:
docker run -d -p 803:80 --name web3 nginx:v3
docker ps
第4步:测试访问:
curl 127.0.0.1:803 或 firefox 127.0.0.1:803 看到网页内容如下
Hello, Docker!
-------------
实例:用Dockerfile以centos6的docker镜像为基础,创建新镜像mysql:v2。并在容器中运行新镜像,进行测试。
第1步:准备目录,创建Dockerfile文件。
mkdir mysqltest
cd mysqltest
vi Dockerfile 全文内容如下
#指定参考镜像,run运行命令。
FROM centos:6
RUN yum install -y mysql-server mysql
#修改my.cnf配置文件。
RUN sed -i '1a\character_set_server=utf8' /etc/my.cnf
RUN sed -i '2a\default-storage-engine=innodb' /etc/my.cnf
RUN sed -i '3a\log-bin=mysql-bin' /etc/my.cnf
RUN sed -i '4a\max_connections=100' /etc/my.cnf
RUN sed -i '5a\#server-id=2' /etc/my.cnf
RUN sed -i '6a\skip-name-resolve' /etc/my.cnf
RUN sed -i '$a\[mysql]' /etc/my.cnf
RUN sed -i '$a\default-character-set=utf8' /etc/my.cnf
RUN sed -i '$a\prompt="(\\u@\\h) [\\d]> " ' /etc/my.cnf
#启动服务,创建一个新的管理员账号。
RUN /etc/init.d/mysqld restart &&\
chkconfig mysqld on &&\
mysql -e "grant all on *.* to admin@'%' identified by 'admin' with grant option;flush privileges;" &&\
mysql -e "grant all on *.* to admin@'localhost' identified by 'admin' with grant option;flush privileges;" &&\
mysql -e "grant replication slave on *.* to rep@'%' identified by 'rep';flush privileges;" &&\
echo 'install ok.'
EXPOSE 3306
CMD ["/usr/bin/mysqld_safe"]
第2步:在mysqltest目录用Dockerfile生成mysql:v2镜像。
docker build -t mysql:v2 .
第3步:查看镜像列表,在容器中运行mysql:v2,查看docker所有的容器进程。
docker images
docker run --name m2 -d mysql:v2
docker ps -a
第4步:进入m2名称的容器的交互操作。执行命令,并退出容器。
docker exec -it m2 bash
mysql -uadmin -padmin -e "select user,host,password from mysql.user;"
exit 或 ctrl+p+q 退出容器
docker ps -a
-------------
Dockerfile 指令详解
我们已经介绍了 FROM,RUN,还提及了 COPY, ADD,其实 Dockerfile 功能很强大,它提供了十多个指令。这里我们继续讲解剩下的指令。
资料网址:https://yeasy.gitbooks.io/docker_practice/image/dockerfile/
Dockerfile 指令详解:
COPY 复制文件
ADD 更高级的复制文件
CMD 容器启动命令
ENTRYPOINT 入口点
ENV 设置环境变量
ARG 构建参数
VOLUME 定义匿名卷
EXPOSE 暴露端口
WORKDIR 指定工作目录
USER 指定当前用户
HEALTHCHECK 健康检查
ONBUILD 为他人作嫁衣裳
-------------
Docker创建MySQL容器的image镜像:
目标:本文目的是创建一个MySQL的image,并且在新创建出来的容器里自动启动mysql服务接受外部连接
参考步骤(已验证OK):
必须的准备:保证创建Docker镜像的机器能够正常上网。因为创建新镜像时会自动从网络上下载文件。
第1步. 首先创建一个目录/ak,并在/ak目录下创建一个Dockerfile,文件内容如下
#以centos:centos6镜像作为基础镜像来创建新的镜像。
FROM centos:centos6
#作者信息
MAINTAINER Flyer "2559721591@qq.com"
#安装软件,修改my.cnf配置文件
RUN yum install -y mysql-server mysql
##以下RUN是一条完整的命令,其中&&是逻辑与,\命令换行符。
RUN /etc/init.d/mysqld start &&\
mysql -e "grant all on *.* to 'admin'@'%' identified by 'admin';"&&\
mysql -e "grant all on *.* to 'admin'@'localhost' identified by 'admin';"&&\
mysql -e "grant all on *.* to 'admin'@'127.0.0.1' identified by 'admin';"&&\
mysql -e "grant replication slave on *.* to 'rep'@'%' identified by 'rep';"&&\
mysql -e "grant all privileges on *.* to 'root'@'%' identified by 'admin';"&&\
mysql -e "grant all privileges on *.* to 'root'@'localhost' identified by 'admin';"&&\
mysql -u root -padmin -e "show databases;"
##内部端口号
EXPOSE 3306
##容器启动时要执行的命令
CMD ["/usr/bin/mysqld_safe"]
第2步. 在Dockerfile所在目录下运行build命令来生成image文件,这里使用mysql_server作为image文件名
docker build -t mysql_server ./
说明:可能第1次会失败,因为要同步网络数据,请再执行一遍上面的命令。
运行完build命令后,可以使用“Docker images”来查看。
第3步. 启动容器
3.1 首先使用下面的命令来启动容器
docker run --name=mysqlserver -dit -P mysql_server
说明:启动容器,名称为mysqlserver,以后台方式运行,映射随机端口,容器的镜像为mysql_server。
交互的方式进入已经运行的容器中:docker exec -it mysqlserver bash
启动完容器后,可以使用“docker ps”来查看,此时可以看PORTS列内容为“0.0.0.0:49153->3306/tcp”,容器的3306端口会被映射到宿主机器的49153端口,这样我们就可以通过宿主机器的49153端口来连接了,比如:
mysql -h <宿主机器> -u root -padmin -P 49153
3.2 另外在运行容器的时候也可以通过下面的命令
docker run --name=mysqlserver -d -p 3306:3306 mysql_server
此时容器的3306端口会被映射到宿主机器的3306端口,这样我们就可以通过宿主机器的3306端口访问mysql了
mysql -h <宿主机器> -u root -padmin
3.3 还有一种情况就是为了安全考虑,我只希望当前的宿主机器可以访问mysql服务,此时我们可以
docker run --name=mysqlserver -d -p 127.0.0.1:3306:3306 mysql_server
4.1 导出mysql_server镜像。
方法一:docker save mysql_server > mysql_server.tar
方法二:docker save mysql_server -o mysql_server.tar
4.2 导入mysql_server.tar镜像。
方法一:docker load < mysql_server.tar
方法二:docker load -i mysql_server.tar
-------------
实例:在centos:7这个docker镜像中安装mysql-server和mysql,并将mysqld服务设置成启动docker容器时自动启动,将修改后的镜像生成一个新镜像mysqld。
第1步:下载centos:7这个docker镜像。
docker pull centos:7
docker images
第2步:用centos:7镜像开启一个docker容器,安装mysql-server、mysql软件
docker run --name mysqld_1 -it centos:7 sh
yum install -y mysql-server mysql
service mysqld restart
chkconfig mysqld on
第3步:创建随docker容器同步启动的mysqld的启动脚本。
vi /home/mysqld_auto.sh
#!/bin/sh
/etc/init.d/mysqld restart
/bin/bash
:wq保存并退出vi
添加x执行权限:chmod -v +x /home/mysqld_auto.sh
第4步:退出docker容器,将修改保存成一个新镜像。
ctrl+p+q
docker ps -a
docker stop mysqld_1
docker commit mysqld_1 mysqld
docker images
第5步:运行测试新镜像:
docker run --name m1 -it mysqld /home/mysqld_auto.sh
service mysqld status
mysql -e "show databases;"
ctrl+p+q
docker ps -a
-------------
搭建私有仓库
系统环境: CentOS 7.2
192.168.0.179:Docker仓库
192.168.0.60:客户端
安装并启动docker
yum -y install docker
service docker start
chkconfig docker on
搭建私有仓库
179上下载registry镜像
docker pull registry
防火墙添加运行5000端口
iptables -I INPUT 1 -p tcp --dport 5000 -j ACCEPT
下载完之后我们通过该镜像启动一个容器
复制代码 代码如下:
docker run -d -p 5000:5000 --privileged=true -v /opt/registry:/tmp/registry registry
参数说明:
1.-v /opt/registry:/tmp/registry :默认情况下,会将仓库存放于容器内的/tmp/registry目录下,指定本地目录挂载到容器
2.–privileged=true :CentOS7中的安全模块selinux把权限禁掉了,参数给容器加特权,不加上传镜像会报权限错误(OSError:[Errno 13] Permission denied: ‘/tmp/registry/repositories/liibrary')或者(Received unexpected HTTP status: 500 Internal Server Error)错误
客户端上传镜像
修改/etc/sysconfig/docker(Ubuntu下配置文件地址为:/etc/init/docker.conf),增加启动选项(已有参数的在后面追加),之后重启docker,不添加报错,https证书问题。
OPTIONS='--insecure-registry 192.168.0.179:5000' #CentOS 7系统 other_args='--insecure-registry 192.168.0.179:5000' #CentOS 6系统
因为Docker从1.3.X之后,与docker registry交互默认使用的是https,而此处搭建的私有仓库只提供http服务在docker公共仓库下载一个镜像
docker pull docker.io/centos
来修改一下该镜像的tag
docker tag centos 192.168.0.179:5000/centos
把打了tag的镜像上传到私有仓库
docker push 192.168.0.179:5000/centos
客户端添加私有仓库地址
# 添加这一行 ADD_REGISTRY='--add-registry 192.168.0.179:5000'
加上后,search镜像,私有仓库和docker hub上都会显示;
不加搜索私有仓库,需要命令中指定私有仓库ip
使用仓库中的镜像
查询私有仓库中的所有镜像,使用docker search命令:
curl -u myuser https://registry_ip:5000/v1/searchcurl registry_ip:5000/v1/search
docker search registry_ip:5000/ #centos 7 docker search registry_ip:5000/library #centos 6
查询仓库中指定账户下的镜像,则使用如下命令:
docker search registry_ip:5000/account/
-------------
###Centos7 下建立 Docker 桥接网络
centos7宿主机上建立Docker桥接物理网络过程
宿主机网卡信息:
name:eth0
IP:192.168.100.99
GATEWAY:192.168.100.2
DNS:192.168.100.2
1. 停止Docker服务
~#:service docker stop
2.删除docker0网卡
~#:ip link set dev docker0 down
~#:brctl delbr docker0
3.新建桥接物理网络虚拟网卡br0
~#:brctl addbr br0
~#:ip link set dev br0 up
~#:ip addr add 192.168.100.100/24 dev br0 #为br0分配物理网络中的ip地址
~#:ip addr del 192.168.100.99/24 dev eth0 #将宿主机网卡的IP清空
~#:brctl addif br0 eth0 #将宿主机网卡挂到br0上
~#:ip route del default #删除原路由
~#:ip route add default via 192.168.100.2 dev br0 #为br0设置路由
4.设置docker服务启动参数
这里要注意的是,不同的Linux操作系统docker的配置文件所在不同
centos 在/etc/sysconfig/docker
其他操作系统请前往下面的网址
https://docs.docker.com/installation/#installation
~#:vim /etc/sysconfig/docker #在OPTIONS='--selinux-enabled'这行中修改为OPTIONS='--selinux-enabled -b=br0'即让docker服务启动时使用br0网卡进行桥接
5.启动docker服务
~#:service docker start
6.安装pipework
~#:git clone https://github.com/jpetazzo/pipework
~#:cp ~/pipework/pipework /usr/local/bin/
7.启动一个手动设置网络的容器
这里最好不要让docker自动获取ip,下次启动会有变化而且自动获取的ip可能会和物理网段中的ip冲突
~#:docker run -itd --net=none --name=test centos7 /bin/bash
9.为test容器设置一个与桥接物理网络同地址段的ip@网关
~#:pipework br0 test 192.168.100.11/24@192.168.100.2
10.进入容器查看ip
~#:docker attach test
-------------
Docker创建httpd容器的image镜像:
目标:本文目的是创建一个MySQL的image,并且在新创建出来的容器里自动启动mysql服务接受外部连接
参考步骤(未验证):
1. 首先创建一个目录并在目录下创建一个Dockerfile,文件内容如下
##第1步:在当前目录创建Dockerfile文件,内容如下:
##以#号开头的为注释内容,只是测试代码(可以不写)。
#FROM是指定新镜像是以centos:centos6这个镜像作为基础镜像来创建的。
FROM centos:centos6
#镜像的创建者信息。
MAINTAINER Flyer <2559721591@qq.com>
#RUN代码用于指定要执行的命令。通常用于安装软件。
#RUN yum -y update; yum clean all
#RUN yum -y install httpd && yum clean all
RUN yum -y install httpd
RUN touch /var/www/html/index.html
RUN echo "apachetest web site!!!! --Flyer " > /var/www/html/index.html
#container容器内部服务开启的端口。主机上要用还得在启动container时,做host-container的端口映射:
EXPOSE 80
#例如:运行容器时映射端口:docker run -d -p 127.0.0.1:33301:22 centos6-ssh
#Simple startup script to avoid some issues observed with container restart
#注意脚本目录,将脚本添加到docker容器的/根目录中。
ADD run-httpd.sh /run-httpd.sh
#赋予脚本执行权限
RUN chmod -v +x /run-httpd.sh
#Container容器启动时执行的命令,但是一个Dockerfile中只能有一条CMD命令,多条则只执行最后一条CMD。
CMD ["/run-httpd.sh"]
##第2步####
在Dockerfile文件所在的目录创建run-httpd.sh脚本,内容如下:
cat > run-httpd.sh <<EOK
#!/bin/bash
#Make sure we are not confused by old, incompletely-shutdown httpd
#context after restarting the container. httpd won't start correctly
#if it thinks it is already running.
rm -rf /run/httpd/*
exec /usr/sbin/apachectl -D FOREGROUND
EOK
注意:Dockerfile需借助脚本来重启httpd服务,并且最好放置于同一目录
##第3步:在Dockerfile文件的目录生成镜像文件fly/httpd:centos6。
docker build -t fly/httpd:centos6 ./
docker images //查看所有的镜像
此时通过Dockerfile创建的镜像已经创建成功,并无报错。
#第4步:运行容器
方法一:启动容器并映射到随机端口,容器名称为httpdk:
以后台方式运行:docker run --name=httpdk -d -P fly/httpd:centos6
查看docker容器进程:docker ps -a
进入已运行的容器:docker exec -it httpdk /bin/bash
退出交互模式:ctrl+p+q [退出后容器仍然运行中]
以交互式方式运行:
docker run --name=httpda -it -p 801:80 fly/httpd:centos6 /bin/bash
方法二:启动并指定映射端口:
说明:将容器的80端口映射到物理机801端口
docker run --name=web802 -d -p 802:80 fly/httpd:centos6
curl http://localhost:802 显示结果如下
apachetest web site!!!! --Flyer //curl测试成功
4.1 导出mysql_server镜像。
方法一:docker save fly/httpd:centos6 > httpd_centos6.tar
方法二:docker save fly/httpd:centos6 -o httpd_centos6.tar
4.2 导入mysql_server.tar镜像。
方法一:docker load < httpd_centos6.tar
方法二:docker load -i httpd_centos6.tar
-------------
Docker Dockerfile详解
原贴:http://blog.csdn.net/wsscy2004/article/details/25878223
要点一:如何使用Dockerfile
Dockerfile用来创建一个自定义的image,包含了用户指定的软件依赖等。
例:当前目录下包含Dockerfile,使用命令build来创建新的image,并命名为edwardsbean/centos6-jdk1.7:
docker build -t edwardsbean/centos6-jdk1.7 /.
要点一:Dockerfile关键字
问题1:如何编写一个Dockerfile,格式如下:
# CommentINSTRUCTION arguments
FROM 基于哪个镜像
RUN 安装软件用
MAINTAINER 镜像创建者
CMD 命令
说明:Container启动时执行的命令,但是一个Dockerfile中只能有一条CMD命令,多条则只执行最后一条CMD.
CMD主要用于container时启动指定的服务,当Docker run command的命令匹配到CMD command时,会替换CMD执行的命令。如:
Dockerfile:
CMD echo hello world
运行一下试试:
docker run centos-cmd 运行的结果如下:
hello world
一旦命令匹配:
docker run centos-cmd echo hello edwardsbean 运行的结果如下:
hello edwardsbean
ENTRYPOINT
说明:container容器启动时执行的命令,但是一个Dockerfile中只能有一条ENTRYPOINT命令,如果多条,则只执行最后一条
ENTRYPOINT没有CMD的可替换特性
USER
使用哪个用户跑container
如:
ENTRYPOINT ["memcached"]
USER daemon
EXPOSE 端口号
说明:container容器内部服务开启的端口。主机上要用还得在启动container时,做host-container的端口映射:
docker run -d -p 127.0.0.1:33301:22 centos6-ssh
解释:container ssh服务的22端口被映射到主机的33301端口
ENV 环境变量
功能:用来设置环境变量,比如:
ENV LANG en_US.UTF-8
ENV LC_ALL en_US.UTF-8
ADD 源文件 /目标文件
功能:将文件<src>拷贝到container的文件系统对应的路径<dest>
说明:1、所有拷贝到container中的文件和文件夹权限为0755,uid和gid为0
2、如果文件是可识别的压缩格式,则docker会帮忙解压缩
3、如果要ADD本地文件,则本地文件必须在 docker build <PATH>,指定的<PATH>目录下
4、如果要ADD远程文件,则远程文件必须在 docker build <PATH>,指定的<PATH>目录下。比如:
例如:
docker build github.com/creack/docker-firefox
说明:docker-firefox目录下必须有Dockerfile和要ADD的文件
注意:使用docker build - < somefile方式进行build,是不能直接将本地文件ADD到container中。只能ADD url file.
ADD只有在build镜像的时候运行一次,后面运行container的时候不会再重新加载了。
VOLUME
可以将本地文件夹或者其他container的文件夹挂载到container中。
WORKDIR
说明:切换目录用,可以多次切换(相当于cd命令),对RUN,CMD,ENTRYPOINT生效
ONBUILD
说明:ONBUILD 指定的命令在构建镜像时并不执行,而是在它的子镜像中执行
详见here
=========================
Docker:添加自定义网桥
Docker服务进程在启动的时候会生成一个名为docker0的网桥,容器默认都会挂载到该网桥下,
但是我们可以通过添加docker启动参数-b Birdge 或更改docker配置文件来选择使用哪个网桥。
操作系统:centos7
删除docker0网桥:
service docker stop //关闭docker服务
ip link set dev docker0 down //关闭docker0网桥
ip link del dev docker0 //删除docker0网桥
自定义网桥设置(/etc/sysconfig/network-scripts/ifcfg-br0文件)
DEVICE="br0"
ONBOOT="yes"
TYPE="Bridge"
BOOTPROTO="static"
IPADDR="10.10.10.20"
NETMASK="255.255.255.0"
GATEWAY="10.10.10.20"
DEFROUTE="yes"
NM_CONTROLLED="no"
重启网络服务
service network restart
查看网桥
[black@test opt]$ yum install -y bridge-utils
[black@test opt]$ brctl show
bridge name bridge id STP enabled interfaces
br0 8000.32e7297502be no
virbr0 8000.000000000000 yes
接下来我们需要重新启动docker,可以在启动docker服务进程时使用以下两种方式:
第一种:-b 参数指定网桥
[root@test opt]# docker -d -b br0
INFO[0000] Listening for HTTP on unix (/var/run/docker.sock)
INFO[0000] [graphdriver] using prior storage driver "devicemapper"
WARN[0000] Running modprobe bridge nf_nat failed with message: , error: exit status 1
INFO[0000] Loading containers: start.
......
INFO[0000] Loading containers: done.
INFO[0000] Daemon has completed initialization
INFO[0000] Docker daemon commit=786b29d execdriver=native-0.2 graphdriver=devicemapper version=1.7.1
不知道为什么这样启动docker 服务进程会阻塞当前终端(︶︿︶),只好重新开一个终端,然后运行一个容器
[root@test shell]# docker run -ti --rm centos:latest
[root@3c6874559411 /]# ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:0A:0A:0A:01
inet addr:10.10.10.1 Bcast:0.0.0.0 Mask:255.255.255.0
inet6 addr: fe80::42:aff:fe0a:a01/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:5 errors:0 dropped:0 overruns:0 frame:0
TX packets:6 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:418 (418.0 b) TX bytes:508 (508.0 b)
容器成功使用br0网桥。
第二种:修改/etc/sysconfig/docker文件
我在进行这种操作的时候遇到了一点问题,我修改了/etc/sysconfig/docker文件
[root@test opt]# vi /etc/sysconfig/docker
# /etc/sysconfig/docker
# Other arguments to pass to the docker daemon process
# These will be parsed by the sysv initscript and appended
# to the arguments list passed to docker -d
other_args="-b br0"
接着使用service docker start启动docker服务,但是other_args并不生效,在centos7下servicer docker start仍然会采用systemctl start docker.service命令来运行,于是我就打开/usr/lib/systemd/system/docker.service查看
[root@test opt]# vi /lib/systemd/system/docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network.target docker.socket
Requires=docker.socket
[Service]
ExecStart=/usr/bin/docker -d -H fd://
MountFlags=slave
LimitNOFILE=1048576
LimitNPROC=1048576
LimitCORE=infinity
[Install]
WantedBy=multi-user.target
发现ExecStart一项并没有运行参数,于是将ExecStart改为/usr/bin/docker -d -b br0 -H fd://,运行docker服务,启动一个容器发现能够成功使用br0网桥。
-------------------------------------------
在网上看到了一种更好的方法,将docker.service改为如下
[black@test ~]$ vi /usr/lib/systemd/system/docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network.target docker.socket
Requires=docker.socket
[Service]
EnvironmentFile=-/etc/sysconfig/docker
ExecStart=/usr/bin/docker -d $other_args -H fd://
MountFlags=slave
LimitNOFILE=1048576
LimitNPROC=1048576
LimitCORE=infinity
[Install]
WantedBy=multi-user.target
这个时候在other_args中添加的参数就有效了。
----------------------------------
使用docker login命令从命令行登陆Docker Hub
登陆命令的格式是这样的:
docker login --username=yourhubusername --email=youremail@company.com
实例:docker login --username=flyer520 --email=12700696@qq.com
查看本地docker镜像
docker images
输入docker push命令来推送你的镜像到Hub库:
docker push maryatdocker/docker-whale
实例:docker push docker.io/busybox
本文转自rshare 51CTO博客,原文链接:http://blog.51cto.com/1364952/1957826,如需转载请自行联系原作者
ubuntu 11.10下载和编译Android源码
ubuntu 11.10下载和编译Android源码
由衷感谢网上的各个博主的文章,给了小弟我莫大的帮助。这里呢,小弟也把自己的经历记录下来,以供大家参考^^。这篇应该算是零基础、从无到有的流程介绍了。
由于是事后写这篇文章,算是总结吧,可能会遗漏一些东西,但我会尽力写清楚的!
一、安装ubuntu 11.10
官方很照顾我们啊,还专门有中文的下载链接,而且在“4)安装程序”内将步骤也阐述的非常清晰明了,照着做就行了。
官方网址(下载&安装):http://www.ubuntu.com/download/ubuntu/download-zh
1)我的ubuntu
单系统,总320G,分区:/,50G;swap,1G?;/home:其余。
1、swap不记得是1G还是2G了,多方资料查说不建议超过2G,总之我是照办了。更权威点的是:if (M<2) S=M*2 else S=M+2。M->RAM、S->swap。(执行sudo fdisk –l查了分区,那串数字是位数么T^T)
2、至于分区时这些挂载点的意义,只需Google下“Linux 挂载点”就成。
更多有关ubuntu的东西,可以去ubuntu中文找找(http://forum.ubuntu.org.cn/及其Wiki标签)。
2)快捷操作
1、复制&粘贴(最快捷的):鼠标左键选中即复制,鼠标中间按下去即粘贴。
2、Alt+F10:窗口最大化;Alt+F5:窗口恢复;Alt+F9:窗口最小化;更多:系统设置->键盘->快捷键。
3、Ctrl+Alt+T:打开终端(这个最重要了)
3)shell命令
注意$前~表示用户目录开始(即/home/<user name>),而/是系统目录开始。执行pwd可查看当前工作目录。
还有Tab键自动补全路径,上下方向浏览之前的命令等。和windows下类似,这些都能加快我的效率。(有点废话==)
具体步骤内shell命令的作用都会简单注明,更多请参见附件《Linux命令大全(修改版).chm》^^。
二、SDK集成开发环境
搭建过程和Windows下类似。注意:Eclispe最好从官网下载,不要用下载中心的,需要添加Eclispe版本更新源什么的。(我一开始是用应用中心下载的Eclispe,一些问题也解决了,但更新下载时在某处卡住,试了多次后,流泪奔向了官方的怀抱T^T)
需要搭建的请挪至:http://my.oschina.net/taskiller/blog/38849?catalog=136911。
三、Android源码下载
我下载和编译的是2.3.3_r1和4.0.3_r1两个版本的源码。之前有弄2.2的,但是一直下载不下来,伤心T^T(关了部分服务器的原因么?)。补充一点:2.2及之前的需要JDK5。
1)更新ubuntu源为网易源
为了下载速度,更新下比较好,至少也可以心里安慰下自己吗。(虽然我是后来更新的,但没比较前后效果==)
1、sudo –s(superuser do,提至root权限,exit退出)
2、cp /etc/apt/sources.list /etc/apt/sources.list.bak(copy,备份下文件)
3、gedit /etc/apt/sources.list(编辑源列表。gedit,默认的文档编辑器)
deb http://mirrors.163.com/ubuntu/ oneiric main universe restricted multiverse
deb-src http://mirrors.163.com/ubuntu/ oneiric main universe restricted multiverse
deb http://mirrors.163.com/ubuntu/ oneiric-security universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ oneiric-security universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ oneiric-updates universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ oneiric-proposed universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ oneiric-proposed universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ oneiric-backports universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ oneiric-backports universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ oneiric-updates universe main multiverse restricted
4、apt-get update(更新源地址)
更多Ubuntu 11.10 更新源地址列表:http://bolg.malu.me/wap/index-wap2.php?p=1190。
2)安装JDK6
应用中心只有OpenJDK,不记得默认是否安装了==。这个倒是不影响源码下载,但是在编译的某步会报缺少tool.jar的错误(jdk lib内的包)。
1、下载jdk&jre(jre可不需要)
不需要用jdk7,以下是Java 6u29版本的相关地址。
jdk-6u29:http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u29-download-513648.html
jre-6u29:http://www.oracle.com/technetwork/java/javase/downloads/jre-6u29-download-513650.html
2、创建/usr/lib/jvm/java目录,并把下载的xxx.bin文件移到该目录。
sudo -s(或者在下述命令前加sudo,否则是动不了usr/lib下东西的)
cd /usr/lib(进入/usr/lib)
mkdir jvm(没有jvm,就这样创建)
cd jvm(进入/usr/lib/jvm)
mkdir java(没有java,就再创建)
mv 文件绝对路径 /usr/lib/jvm/java(移动文件至/usr/lib/jvm/java)
如:sudo mv ~/下载/jdk-6u29-linux-i586.bin /usr/lib/jvm/java
3、安装jdk(配环境变量等)
cd /usr/lib/jvm/java(说明是在该目录下罢了)
chmod +x jdk-6u29-linux-i586.bin(增加可执行权限)
Linux权限的解释:http://www.artms.cn/article.asp?id=925,汗颜啊==
./ jdk-6u29-linux-i586.bin(执行文件,会将jdk解压至当前文件夹)
gedit /etc/environment(修改变量)
用vi的话,最好先在文本编辑好。:d删除当前那行,:i把复制内容输进去
PATH=”……:$JAVA_HOME/bin”(……为原PATH)
CLASSPATH=”.:$ JAVA_HOME/lib”
JAVA_HOME=”/usr/lib/jvm/java/jdk1.6.0_29”
source ~/.bashrc(设置变量)
update-alternatives --install /usr/bin/java java /usr/lib/jvm/java/jdk1.6.0_29/bin/java 300
update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java/jdk1.6.0_29/bin/javac 300
(安装jdk至java选单)
update-alternatives --config java(选择默认jdk)
java –version(确认查看版本)
更多参考网址:
1、ubuntu安装jdk全过程(仅供参考)
http://forum.ubuntu.org.cn/viewtopic.php?t=183803
2、ubuntu 11.10 安装 java环境
http://www.cnblogs.com/nikyxxx/archive/2011/11/11/2245897.html
3)安装开发包
具体什么不管了,当时执行的是这个^^。
sudo apt-get install git-core gnupg flex bison gperf build-essential zip curl zlib1g-dev libc6-dev libncurses5-dev x11proto-core-dev libx11-dev libreadline6-dev libgl1-mesa-dev tofrodos python-markdown libxml2-utils lib64z1-dev libc6-dev-amd64 g++-multilib lib64stdc++6
4)下载源码
以下载android-4.0.3_r1至/home/<user name>/env/android_src/4.0.3_r1目录下为例。
cd ~/env/android_src/4.0.3_r1/(进入该目录,没有就mkdir)
curl https://dl-ssl.google.com/dl/googlesource/git-repo/repo >repo(创建repo文件)
sudo chmod a+x repo(增加可执行权限)
./repo init -u https://android.googlesource.com/platform/manifest -b android-4.0.3_r1(初始化版本库为支线上的android-4.0.3_r1版本)
Your Name [<user name>]:(会跳至这个,要求输入用户名,随意)
Your Email [<user name>@xxx]:(继续要求输入邮箱,随意)
Your identity is: xxx xxx
is this correct [y/N]? y(确认用户名、邮箱)
repo initialized in /home/join/env/android_src/4.0.3_r1(初始化完毕的提示)
./repo sync(同步版本库,即开始下载)
1、遇到异常时重执行./repo sync,卡主时先Ctrl+C中断再执行./repo sync,继续下载。
2、中断会造成no repository什么的,再次中断并把提示的目录删除再继续./repo sync。
总之,最后会是统计,然后一列100% done,就OK了。
想下载其他指定版本的源码,我是在初始化版本库时故意打错再查看的==。如:./repo init -u https://android.googlesource.com/platform/manifest -b xxx,然后找支线名称(repo没去了解,就这么用了-_-!)。一般具体到哪个发布版本,XXX用发布的版本别名代替就好,都是小写。
问题追加^^
1)DownloadError: android.googlesource.com: <urlopen error [Errno 110] Connection timed out>
解决方式简述如下(执行上述步骤前,已执行过,则删除重来):
1.打开https://android.googlesource.com/new-password,gmail账号登录
2.点击“允许访问”,得到一串信息,加入至~/.netrc。
3.执行上述下载步骤,不过有条命令要做下修改,具体如下:
原:./repo init -u https://android.googlesource.com/platform/manifest -b android-4.0.3_r1
新:./repo init -u https://android.googlesource.com/a/platform/manifest -b android-4.0.3_r1
详细请见网址:http://www.haogongju.net/art/1428426
5)参考网址
1、Android源码下载方法详解
http://blog.csdn.net/pku_android/article/details/7082928
2、Git和Repo扫盲——如何取得Android源代码
http://www.williamhua.com/2009/04/git-and-repo-for-dummies/
3、ubuntu 11.04下Android源码的获取
http://www.cnblogs.com/dwayne/archive/2011/11/11/2245383.html
4、ubuntu 11.04+获取Android源码(补充篇)
http://www.cnblogs.com/dwayne/archive/2011/11/16/2250732.html
5、ubuntu 11.10下android2.2 源码获取
http://www.cnblogs.com/ouling/archive/2011/09/02/2163829.html
四、Android源码编译
4.0.3_r1在32位下直接编译就ok了,但2.3.3_r1配置的是64位的,还要改写东西才成。
1)安装软件包
好吧,我这里又执行了一遍乱七八糟的东西-_-!好像还是多安装了几样的。
sudo apt-get install git-core gnupg flex bison gperf build-essential zip curl zlib1g-dev libc6-dev libncurses5-dev x11proto-core-dev libx11-dev libreadline6-dev libgl1-mesa-dev tofrodos python-markdown libxml2-utils xsltproc
2)配置USB权限
不知道不配有什么影响==。
sudo gedit /etc/udev/rules.d/51-android.rules
# adb protocol on passion (Nexus One)
SUBSYSTEM=="usb", ATTR{idVendor}=="18d1", ATTR{idProduct}=="4e12", MODE="0600", OWNER="<username>"
# fastboot protocol on passion (Nexus One)
SUBSYSTEM=="usb", ATTR{idVendor}=="0bb4", ATTR{idProduct}=="0fff", MODE="0600", OWNER="<username>"
# adb protocol on crespo/crespo4g (Nexus S)
SUBSYSTEM=="usb", ATTR{idVendor}=="18d1", ATTR{idProduct}=="4e22", MODE="0600", OWNER="<username>"
# fastboot protocol on crespo/crespo4g (Nexus S)
SUBSYSTEM=="usb", ATTR{idVendor}=="18d1", ATTR{idProduct}=="4e20", MODE="0600", OWNER="<username>"
# adb protocol on stingray/wingray (Xoom)
SUBSYSTEM=="usb", ATTR{idVendor}=="22b8", ATTR{idProduct}=="70a9", MODE="0600", OWNER="<username>"
# fastboot protocol on stingray/wingray (Xoom)
SUBSYSTEM=="usb", ATTR{idVendor}=="18d1", ATTR{idProduct}=="708c", MODE="0600", OWNER="<username>"
# adb protocol on maguro/toro (Galaxy Nexus)
SUBSYSTEM=="usb", ATTR{idVendor}=="04e8", ATTR{idProduct}=="6860", MODE="0600", OWNER="<username>"
# fastboot protocol on maguro/toro (Galaxy Nexus)
SUBSYSTEM=="usb", ATTR{idVendor}=="18d1", ATTR{idProduct}=="4e30", MODE="0600", OWNER="<username>"
# adb protocol on panda (PandaBoard)
SUBSYSTEM=="usb", ATTR{idVendor}=="0451", ATTR{idProduct}=="d101", MODE="0600", OWNER="<username>"
# fastboot protocol on panda (PandaBoard)
SUBSYSTEM=="usb", ATTR{idVendor}=="0451", ATTR{idProduct}=="d022", MODE="0600", OWNER="<username>"
需要将"<username>"替换成当前用户名。
3)配置ccache
可以不必配置,而且不知道到底有效了没==。
gedit ~/.bashrc(添加用户环境变量,注销重登)
export USE_CCACHE=1
cd ~/env/android_src/4.0.3_r1/(进入源码目录)
prebuilt/linux-x86/ccache/ccache -M 50G(设置ccache缓存上限)
到这先看下有效不,不行的话再按下面的步骤执行。我当时是倒过来的,不确定上述可不可行==。
sudo apt-get install ccache(下载ccache)
mkdir ~/.bin(创建.bin文件)
cd ~/.bin/(进入.bin文件)
which ccache(确认安装在/usr/bin/ccache)
ln -s /usr/bin/ccache gcc
ln -s /usr/bin/ccache g++
ln -s /usr/bin/ccache arm-linux-gcc
ln -s /usr/bin/ccache arm-linux-g++
(重新链接各编译命令)
gedit ~/.bashrc(行尾添加如下环境变量配置,注销重登)
export USE_CCACHE=1
export PATH="/home/<user name>/.bin:$PATH"。
which arm-linux-gcc(确认链接至/home/<user name>/.bin/arm-linux-gcc)
ccache –M 50G(设置ccache缓存上限)
然后又在执行的prebuilt/linux-x86/ccache/ccache -M 50G。(好像很ok的样子==)
1、ccache ubuntu配置
http://www.cppblog.com/baby-fly/archive/2011/03/31/143133.html
4)gcc&g++换较低版本
说是原版本编译4.0.3会有错误,要怎么怎么样。我没试,直接换低版本了==
sudo apt-get install gcc-4.4(安装gcc-4.4)
sudo apt-get install g++-4.4(安装g++-4.4)
cd /usr/bin(进入/usr/bin)
ls -l gcc*(查看文件详细信息,gcc*过滤用,结果显示gcc->gcc4.6)
sudo mv gcc gcc.bak(将gcc备份)
sudo ln -s gcc-4.4 gcc(链接gcc4.4至gcc)
ls -l gcc*(再次查看确认,这时gcc->gcc4.4)
ls -l g++*(查看文件详细信息,g++*过滤用,结果显示g++->g++4.6)
sudo mv g++ g++.bak(将g++备份)
sudo ln -s g++-4.4 g++(链接g++4.4至g++)
ls -l g++*(再次查看确认,这时g++->g++4.4)
gcc –v(确认版本)
g++ -v(确认版本,多虑症的孩子T^T)
5)编译源码
cd ~/env/android_src/4.0.3_r1/(进入源码目录)
source build/envsetup.sh(初始化安装环境)
lunch full-eng(选择编译目标)
make –j4(开始编译,4表示线程数,为内核总数或其两倍)
1、如果还是open-jdk,source build/envsetup.sh时会提示找不到tool.jar
(或者是因为CLASSPATH没配的原因?我就是在这步才换的sun-jdk==)
2、lunch为python-lunch什么的,没装的话会提示安装的
3、未执行好source build/envsetup.sh,full-eng会提示找不到
2.3.3_r1这样编译时提示需要64位系统==。这时我们需要改写配置,如下:
cd ~/env/android_src/2.3.3_r1/(进入源码目录)
gedit build/core/main.mk(编辑main.mk)
将
ifneq (64,$(findstring 64,$(build_arch)))
修改为
ifneq (i686,$(findstring i686,$(build_arch)))
继续依次修改以下文件:
external/clearsilver/cgi/Android.mk
external/clearsilver/java-jni/Android.mk
external/clearsilver/util/Android.mk
external/clearsilver/cs/Android.mk
将
LOCAL_CFLAGS += -m64
LOCAL_LDFLAGS += -m64
修改为
LOCAL_CFLAGS += -m32
LOCAL_LDFLAGS += -m32
进而再执行开始描述的命令。
编译完成后,会提示在out目录下生成了system.img。至于其他问题、启动我们编译的系统,参见网址吧^^。
6)参考网址
1、Ubuntu11.10下编译android源码4.0.3
http://taskiller.tk/archives/860
2、ubuntu 11.10(32位系统)下编译android源码
http://www.cnblogs.com/dwayne/archive/2011/11/16/2251734.html
五、后记
好累,终于写完了。
哦,对了,这位的blog有些关于Android4.03系统的分析,大牛啊T^T。
MyArrow:http://blog.csdn.net/MyArrow?viewmode=contents
ps:下篇《使用Eclispe进行Android系统应用的开发和调试》
附件:http://down.51cto.com/data/2359991
本文转自winorlose2000 51CTO博客,原文链接:http://blog.51cto.com/vaero/796090,如需转载请自行联系原作者
ubuntu 11.10下载和编译Android源码
ubuntu 11.10下载和编译Android源码
由衷感谢网上的各个博主的文章,给了小弟我莫大的帮助。这里呢,小弟也把自己的经历记录下来,以供大家参考^^。这篇应该算是零基础、从无到有的流程介绍了。
由于是事后写这篇文章,算是总结吧,可能会遗漏一些东西,但我会尽力写清楚的!
一、安装ubuntu 11.10
官方很照顾我们啊,还专门有中文的下载链接,而且在“4)安装程序”内将步骤也阐述的非常清晰明了,照着做就行了。
官方网址(下载&安装):http://www.ubuntu.com/download/ubuntu/download-zh
1)我的ubuntu
单系统,总320G,分区:/,50G;swap,1G?;/home:其余。
1、swap不记得是1G还是2G了,多方资料查说不建议超过2G,总之我是照办了。更权威点的是:if (M<2) S=M*2 else S=M+2。M->RAM、S->swap。(执行sudo fdisk –l查了分区,那串数字是位数么T^T)
2、至于分区时这些挂载点的意义,只需Google下“Linux 挂载点”就成。
更多有关ubuntu的东西,可以去ubuntu中文找找(http://forum.ubuntu.org.cn/及其Wiki标签)。
2)快捷操作
1、复制&粘贴(最快捷的):鼠标左键选中即复制,鼠标中间按下去即粘贴。
2、Alt+F10:窗口最大化;Alt+F5:窗口恢复;Alt+F9:窗口最小化;更多:系统设置->键盘->快捷键。
3、Ctrl+Alt+T:打开终端(这个最重要了)
3)shell命令
注意$前~表示用户目录开始(即/home/<user name>),而/是系统目录开始。执行pwd可查看当前工作目录。
还有Tab键自动补全路径,上下方向浏览之前的命令等。和windows下类似,这些都能加快我的效率。(有点废话==)
具体步骤内shell命令的作用都会简单注明,更多请参见附件《Linux命令大全(修改版).chm》^^。
二、SDK集成开发环境
搭建过程和Windows下类似。注意:Eclispe最好从官网下载,不要用下载中心的,需要添加Eclispe版本更新源什么的。(我一开始是用应用中心下载的Eclispe,一些问题也解决了,但更新下载时在某处卡住,试了多次后,流泪奔向了官方的怀抱T^T)
需要搭建的请挪至:http://my.oschina.net/taskiller/blog/38849?catalog=136911。
三、Android源码下载
我下载和编译的是2.3.3_r1和4.0.3_r1两个版本的源码。之前有弄2.2的,但是一直下载不下来,伤心T^T(关了部分服务器的原因么?)。补充一点:2.2及之前的需要JDK5。
1)更新ubuntu源为网易源
为了下载速度,更新下比较好,至少也可以心里安慰下自己吗。(虽然我是后来更新的,但没比较前后效果==)
1、sudo –s(superuser do,提至root权限,exit退出)
2、cp /etc/apt/sources.list /etc/apt/sources.list.bak(copy,备份下文件)
3、gedit /etc/apt/sources.list(编辑源列表。gedit,默认的文档编辑器)
deb http://mirrors.163.com/ubuntu/ oneiric main universe restricted multiverse
deb-src http://mirrors.163.com/ubuntu/ oneiric main universe restricted multiverse
deb http://mirrors.163.com/ubuntu/ oneiric-security universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ oneiric-security universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ oneiric-updates universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ oneiric-proposed universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ oneiric-proposed universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ oneiric-backports universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ oneiric-backports universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ oneiric-updates universe main multiverse restricted
4、apt-get update(更新源地址)
更多Ubuntu 11.10 更新源地址列表:http://bolg.malu.me/wap/index-wap2.php?p=1190。
2)安装JDK6
应用中心只有OpenJDK,不记得默认是否安装了==。这个倒是不影响源码下载,但是在编译的某步会报缺少tool.jar的错误(jdk lib内的包)。
1、下载jdk&jre(jre可不需要)
不需要用jdk7,以下是Java 6u29版本的相关地址。
jdk-6u29:http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u29-download-513648.html
jre-6u29:http://www.oracle.com/technetwork/java/javase/downloads/jre-6u29-download-513650.html
2、创建/usr/lib/jvm/java目录,并把下载的xxx.bin文件移到该目录。
sudo -s(或者在下述命令前加sudo,否则是动不了usr/lib下东西的)
cd /usr/lib(进入/usr/lib)
mkdir jvm(没有jvm,就这样创建)
cd jvm(进入/usr/lib/jvm)
mkdir java(没有java,就再创建)
mv 文件绝对路径 /usr/lib/jvm/java(移动文件至/usr/lib/jvm/java)
如:sudo mv ~/下载/jdk-6u29-linux-i586.bin /usr/lib/jvm/java
3、安装jdk(配环境变量等)
cd /usr/lib/jvm/java(说明是在该目录下罢了)
chmod +x jdk-6u29-linux-i586.bin(增加可执行权限)
Linux权限的解释:http://www.artms.cn/article.asp?id=925,汗颜啊==
./ jdk-6u29-linux-i586.bin(执行文件,会将jdk解压至当前文件夹)
gedit /etc/environment(修改变量)
用vi的话,最好先在文本编辑好。:d删除当前那行,:i把复制内容输进去
PATH=”……:$JAVA_HOME/bin”(……为原PATH)
CLASSPATH=”.:$ JAVA_HOME/lib”
JAVA_HOME=”/usr/lib/jvm/java/jdk1.6.0_29”
source ~/.bashrc(设置变量)
update-alternatives --install /usr/bin/java java /usr/lib/jvm/java/jdk1.6.0_29/bin/java 300
update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java/jdk1.6.0_29/bin/javac 300
(安装jdk至java选单)
update-alternatives --config java(选择默认jdk)
java –version(确认查看版本)
更多参考网址:
1、ubuntu安装jdk全过程(仅供参考)
http://forum.ubuntu.org.cn/viewtopic.php?t=183803
2、ubuntu 11.10 安装 java环境
http://www.cnblogs.com/nikyxxx/archive/2011/11/11/2245897.html
3)安装开发包
具体什么不管了,当时执行的是这个^^。
sudo apt-get install git-core gnupg flex bison gperf build-essential zip curl zlib1g-dev libc6-dev libncurses5-dev x11proto-core-dev libx11-dev libreadline6-dev libgl1-mesa-dev tofrodos python-markdown libxml2-utils lib64z1-dev libc6-dev-amd64 g++-multilib lib64stdc++6
4)下载源码
以下载android-4.0.3_r1至/home/<user name>/env/android_src/4.0.3_r1目录下为例。
cd ~/env/android_src/4.0.3_r1/(进入该目录,没有就mkdir)
curl https://dl-ssl.google.com/dl/googlesource/git-repo/repo >repo(创建repo文件)
sudo chmod a+x repo(增加可执行权限)
./repo init -u https://android.googlesource.com/platform/manifest -b android-4.0.3_r1(初始化版本库为支线上的android-4.0.3_r1版本)
Your Name [<user name>]:(会跳至这个,要求输入用户名,随意)
Your Email [<user name>@xxx]:(继续要求输入邮箱,随意)
Your identity is: xxx xxx
is this correct [y/N]? y(确认用户名、邮箱)
repo initialized in /home/join/env/android_src/4.0.3_r1(初始化完毕的提示)
./repo sync(同步版本库,即开始下载)
1、遇到异常时重执行./repo sync,卡主时先Ctrl+C中断再执行./repo sync,继续下载。
2、中断会造成no repository什么的,再次中断并把提示的目录删除再继续./repo sync。
总之,最后会是统计,然后一列100% done,就OK了。
想下载其他指定版本的源码,我是在初始化版本库时故意打错再查看的==。如:./repo init -u https://android.googlesource.com/platform/manifest -b xxx,然后找支线名称(repo没去了解,就这么用了-_-!)。一般具体到哪个发布版本,XXX用发布的版本别名代替就好,都是小写。
问题追加^^
1)DownloadError: android.googlesource.com: <urlopen error [Errno 110] Connection timed out>
解决方式简述如下(执行上述步骤前,已执行过,则删除重来):
1.打开https://android.googlesource.com/new-password,gmail账号登录
2.点击“允许访问”,得到一串信息,加入至~/.netrc。
3.执行上述下载步骤,不过有条命令要做下修改,具体如下:
原:./repo init -u https://android.googlesource.com/platform/manifest -b android-4.0.3_r1
新:./repo init -u https://android.googlesource.com/a/platform/manifest -b android-4.0.3_r1
详细请见网址:http://www.haogongju.net/art/1428426
5)参考网址
1、Android源码下载方法详解
http://blog.csdn.net/pku_android/article/details/7082928
2、Git和Repo扫盲——如何取得Android源代码
http://www.williamhua.com/2009/04/git-and-repo-for-dummies/
3、ubuntu 11.04下Android源码的获取
http://www.cnblogs.com/dwayne/archive/2011/11/11/2245383.html
4、ubuntu 11.04+获取Android源码(补充篇)
http://www.cnblogs.com/dwayne/archive/2011/11/16/2250732.html
5、ubuntu 11.10下android2.2 源码获取
http://www.cnblogs.com/ouling/archive/2011/09/02/2163829.html
四、Android源码编译
4.0.3_r1在32位下直接编译就ok了,但2.3.3_r1配置的是64位的,还要改写东西才成。
1)安装软件包
好吧,我这里又执行了一遍乱七八糟的东西-_-!好像还是多安装了几样的。
sudo apt-get install git-core gnupg flex bison gperf build-essential zip curl zlib1g-dev libc6-dev libncurses5-dev x11proto-core-dev libx11-dev libreadline6-dev libgl1-mesa-dev tofrodos python-markdown libxml2-utils xsltproc
2)配置USB权限
不知道不配有什么影响==。
sudo gedit /etc/udev/rules.d/51-android.rules
# adb protocol on passion (Nexus One)
SUBSYSTEM=="usb", ATTR{idVendor}=="18d1", ATTR{idProduct}=="4e12", MODE="0600", OWNER="<username>"
# fastboot protocol on passion (Nexus One)
SUBSYSTEM=="usb", ATTR{idVendor}=="0bb4", ATTR{idProduct}=="0fff", MODE="0600", OWNER="<username>"
# adb protocol on crespo/crespo4g (Nexus S)
SUBSYSTEM=="usb", ATTR{idVendor}=="18d1", ATTR{idProduct}=="4e22", MODE="0600", OWNER="<username>"
# fastboot protocol on crespo/crespo4g (Nexus S)
SUBSYSTEM=="usb", ATTR{idVendor}=="18d1", ATTR{idProduct}=="4e20", MODE="0600", OWNER="<username>"
# adb protocol on stingray/wingray (Xoom)
SUBSYSTEM=="usb", ATTR{idVendor}=="22b8", ATTR{idProduct}=="70a9", MODE="0600", OWNER="<username>"
# fastboot protocol on stingray/wingray (Xoom)
SUBSYSTEM=="usb", ATTR{idVendor}=="18d1", ATTR{idProduct}=="708c", MODE="0600", OWNER="<username>"
# adb protocol on maguro/toro (Galaxy Nexus)
SUBSYSTEM=="usb", ATTR{idVendor}=="04e8", ATTR{idProduct}=="6860", MODE="0600", OWNER="<username>"
# fastboot protocol on maguro/toro (Galaxy Nexus)
SUBSYSTEM=="usb", ATTR{idVendor}=="18d1", ATTR{idProduct}=="4e30", MODE="0600", OWNER="<username>"
# adb protocol on panda (PandaBoard)
SUBSYSTEM=="usb", ATTR{idVendor}=="0451", ATTR{idProduct}=="d101", MODE="0600", OWNER="<username>"
# fastboot protocol on panda (PandaBoard)
SUBSYSTEM=="usb", ATTR{idVendor}=="0451", ATTR{idProduct}=="d022", MODE="0600", OWNER="<username>"
需要将"<username>"替换成当前用户名。
3)配置ccache
可以不必配置,而且不知道到底有效了没==。
gedit ~/.bashrc(添加用户环境变量,注销重登)
export USE_CCACHE=1
cd ~/env/android_src/4.0.3_r1/(进入源码目录)
prebuilt/linux-x86/ccache/ccache -M 50G(设置ccache缓存上限)
到这先看下有效不,不行的话再按下面的步骤执行。我当时是倒过来的,不确定上述可不可行==。
sudo apt-get install ccache(下载ccache)
mkdir ~/.bin(创建.bin文件)
cd ~/.bin/(进入.bin文件)
which ccache(确认安装在/usr/bin/ccache)
ln -s /usr/bin/ccache gcc
ln -s /usr/bin/ccache g++
ln -s /usr/bin/ccache arm-linux-gcc
ln -s /usr/bin/ccache arm-linux-g++
(重新链接各编译命令)
gedit ~/.bashrc(行尾添加如下环境变量配置,注销重登)
export USE_CCACHE=1
export PATH="/home/<user name>/.bin:$PATH"。
which arm-linux-gcc(确认链接至/home/<user name>/.bin/arm-linux-gcc)
ccache –M 50G(设置ccache缓存上限)
然后又在执行的prebuilt/linux-x86/ccache/ccache -M 50G。(好像很ok的样子==)
1、ccache ubuntu配置
http://www.cppblog.com/baby-fly/archive/2011/03/31/143133.html
4)gcc&g++换较低版本
说是原版本编译4.0.3会有错误,要怎么怎么样。我没试,直接换低版本了==
sudo apt-get install gcc-4.4(安装gcc-4.4)
sudo apt-get install g++-4.4(安装g++-4.4)
cd /usr/bin(进入/usr/bin)
ls -l gcc*(查看文件详细信息,gcc*过滤用,结果显示gcc->gcc4.6)
sudo mv gcc gcc.bak(将gcc备份)
sudo ln -s gcc-4.4 gcc(链接gcc4.4至gcc)
ls -l gcc*(再次查看确认,这时gcc->gcc4.4)
ls -l g++*(查看文件详细信息,g++*过滤用,结果显示g++->g++4.6)
sudo mv g++ g++.bak(将g++备份)
sudo ln -s g++-4.4 g++(链接g++4.4至g++)
ls -l g++*(再次查看确认,这时g++->g++4.4)
gcc –v(确认版本)
g++ -v(确认版本,多虑症的孩子T^T)
5)编译源码
cd ~/env/android_src/4.0.3_r1/(进入源码目录)
source build/envsetup.sh(初始化安装环境)
lunch full-eng(选择编译目标)
make –j4(开始编译,4表示线程数,为内核总数或其两倍)
1、如果还是open-jdk,source build/envsetup.sh时会提示找不到tool.jar
(或者是因为CLASSPATH没配的原因?我就是在这步才换的sun-jdk==)
2、lunch为python-lunch什么的,没装的话会提示安装的
3、未执行好source build/envsetup.sh,full-eng会提示找不到
2.3.3_r1这样编译时提示需要64位系统==。这时我们需要改写配置,如下:
cd ~/env/android_src/2.3.3_r1/(进入源码目录)
gedit build/core/main.mk(编辑main.mk)
将
ifneq (64,$(findstring 64,$(build_arch)))
修改为
ifneq (i686,$(findstring i686,$(build_arch)))
继续依次修改以下文件:
external/clearsilver/cgi/Android.mk
external/clearsilver/java-jni/Android.mk
external/clearsilver/util/Android.mk
external/clearsilver/cs/Android.mk
将
LOCAL_CFLAGS += -m64
LOCAL_LDFLAGS += -m64
修改为
LOCAL_CFLAGS += -m32
LOCAL_LDFLAGS += -m32
进而再执行开始描述的命令。
编译完成后,会提示在out目录下生成了system.img。至于其他问题、启动我们编译的系统,参见网址吧^^。
6)参考网址
1、Ubuntu11.10下编译android源码4.0.3
http://taskiller.tk/archives/860
2、ubuntu 11.10(32位系统)下编译android源码
http://www.cnblogs.com/dwayne/archive/2011/11/16/2251734.html
五、后记
好累,终于写完了。
哦,对了,这位的blog有些关于Android4.03系统的分析,大牛啊T^T。
MyArrow:http://blog.csdn.net/MyArrow?viewmode=contents
ps:下篇《使用Eclispe进行Android系统应用的开发和调试》
附件:http://down.51cto.com/data/2359991
本文转自winorlose2000 51CTO博客,原文链接:http://blog.51cto.com/vaero/796090,如需转载请自行联系原作者
Hadoop(HDFS)
第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小第2章 HDFS的Shell操作2.1 基本语法hadoop fs 具体命令 OR hdfs dfs 具体命令两个是完全相同的。2.2 命令大全[user1@hadoop102 hadoop-3.1.3]$ bin/hadoop fs[-appendToFile ... ] [-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] <path> ...]
[-cp [-f] [-p] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-usage [cmd ...]]2.3 常用命令实操2.3.1 准备工作1)启动Hadoop集群(方便后续的测试)[user1@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh[user1@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh2)-help:输出这个命令参数[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -help rm2.3.2 上传1)-moveFromLocal:从本地剪切粘贴到HDFS[user1@hadoop102 hadoop-3.1.3]$ touch kongming.txt[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo2)-copyFromLocal:从本地文件系统中拷贝文件到HDFS路径去[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -copyFromLocal README.txt /3)-appendToFile:追加一个文件到已经存在的文件末尾[user1@hadoop102 hadoop-3.1.3]$ touch liubei.txt[user1@hadoop102 hadoop-3.1.3]$ vi liubei.txt输入san gu mao lu[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt4)-put:等同于copyFromLocal[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -put ./liubei.txt /user/user1/test/2.3.3 下载1)-copyToLocal:从HDFS拷贝到本地[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./2)-get:等同于copyToLocal,就是从HDFS下载文件到本地[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -get /sanguo/shuguo/kongming.txt ./3)-getmerge:合并下载多个文件,比如HDFS的目录 /user/user1/test下有多个文件:log.1, log.2,log.3,...[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -getmerge /user/user1/test/* ./zaiyiqi.txt2.3.4 HDFS直接操作1)-ls: 显示目录信息[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /2)-mkdir:在HDFS上创建目录[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir -p /sanguo/shuguo3)-cat:显示文件内容[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -cat /sanguo/shuguo/kongming.txt4)-chgrp 、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -chown user1:user1 /sanguo/shuguo/kongming.txt5)-cp :从HDFS的一个路径拷贝到HDFS的另一个路径[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt6)-mv:在HDFS目录中移动文件[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/7)-tail:显示一个文件的末尾1kb的数据[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -tail /sanguo/shuguo/kongming.txt8)-rm:删除文件或文件夹[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -rm /user/user1/test/jinlian2.txt9)-rmdir:删除空目录[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /test[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -rmdir /test10)-du统计文件夹的大小信息[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /user/user1/test2.7 K /user/user1/test[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -du -h /user/user1/test1.3 K /user/user1/test/README.txt15 /user/user1/test/jinlian.txt1.4 K /user/user1/test/zaiyiqi.txt11)-setrep:设置HDFS中文件的副本数量[user1@hadoop102 hadoop-3.1.3]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt这里设置的副本数只是记录在NameNode的元数据中,是否真的会有这么多副本,还得看DataNode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数的增加到10台时,副本数才能达到10。第3章 HDFS客户端操作3.1 HDFS客户端环境准备1)找到Windows依赖目录,打开:选择Hadoop-3.1.0,拷贝到其他地方(比如d:)。2)配置HADOOP_HOME环境变量。3)配置Path环境变量。然后重启电脑4)创建一个Maven工程HdfsClientDemo,并导入相应的依赖坐标+日志添加<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
<version>2.12.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>在项目的src/main/resources目录下,新建一个文件,命名为“log4j2.xml”,在文件中填入<?xml version="1.0" encoding="UTF-8"?><Appenders>
<!-- 类型名为Console,名称为必须属性 -->
<Appender type="Console" name="STDOUT">
<!-- 布局为PatternLayout的方式,
输出样式为[INFO] [2018-01-22 17:34:01][org.test.Console]I'm here -->
<Layout type="PatternLayout"
pattern="[%p] [%d{yyyy-MM-dd HH:mm:ss}][%c{10}]%m%n" />
</Appender>
</Appenders>
<Loggers>
<!-- 可加性为false -->
<Logger name="test" level="info" additivity="false">
<AppenderRef ref="STDOUT" />
</Logger>
<!-- root loggerConfig设置 -->
<Root level="info">
<AppenderRef ref="STDOUT" />
</Root>
</Loggers>5)创建包名:com.user1.hdfs6)创建HdfsClient类public class HdfsClient{ @Testpublic void testMkdirs() throws IOException, InterruptedException, URISyntaxException{
// 1 获取文件系统
Configuration configuration = new Configuration();
// 配置在集群上运行
// configuration.set("fs.defaultFS", "hdfs://hadoop102:9820");
// FileSystem fs = FileSystem.get(configuration);
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "user1");
// 2 创建目录
fs.mkdirs(new Path("/1108/daxian/banzhang"));
// 3 关闭资源
fs.close();
}}7)执行程序运行时需要配置用户名称客户端去操作HDFS时,是有一个用户身份的。默认情况下,HDFS客户端API会从JVM中获取一个参数来作为自己的用户身份:-DHADOOP_USER_NAME=user1,user1为用户名称。3.2 HDFS的API操作3.2.1 HDFS文件上传(测试参数优先级)1)编写源代码@Testpublic void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统
Configuration configuration = new Configuration();
configuration.set("dfs.replication", "2");
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "user1");
// 2 上传文件
fs.copyFromLocalFile(new Path("e:/banzhang.txt"), new Path("/banzhang.txt"));
// 3 关闭资源
fs.close();
System.out.println("over");}2)将hdfs-site.xml拷贝到项目的根目录下<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><property>
<name>dfs.replication</name>
<value>1</value>
</property>3)参数优先级参数优先级排序:(1)客户端代码中设置的值 >(2)ClassPath下的用户自定义配置文件 >(3)然后是服务器的自定义配置(xxx-site.xml) >(4)服务器的默认配置(xxx-default.xml)3.2.2 HDFS文件下载@Testpublic void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "user1");
// 2 执行下载操作
// boolean delSrc 指是否将原文件删除
// Path src 指要下载的文件路径
// Path dst 指将文件下载到的路径
// boolean useRawLocalFileSystem 是否开启文件校验
fs.copyToLocalFile(false, new Path("/banzhang.txt"), new Path("e:/banhua.txt"), true);
// 3 关闭资源
fs.close();}3.2.3 HDFS删除文件和目录@Testpublic void testDelete() throws IOException, InterruptedException, URISyntaxException{// 1 获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "user1");
// 2 执行删除
fs.delete(new Path("/0508/"), true);
// 3 关闭资源
fs.close();}3.2.4 HDFS文件更名和移动@Testpublic void testRename() throws IOException, InterruptedException, URISyntaxException{// 1 获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "user1");
// 2 修改文件名称
fs.rename(new Path("/banzhang.txt"), new Path("/banhua.txt"));
// 3 关闭资源
fs.close();}3.2.5 HDFS文件详情查看查看文件名称、权限、长度、块信息@Testpublic void testListFiles() throws IOException, InterruptedException, URISyntaxException{// 1获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "user1");
// 2 获取文件详情
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
while(listFiles.hasNext()){
LocatedFileStatus status = listFiles.next();
// 输出详情
// 文件名称
System.out.println(status.getPath().getName());
// 长度
System.out.println(status.getLen());
// 权限
System.out.println(status.getPermission());
// 分组
System.out.println(status.getGroup());
// 获取存储的块信息
BlockLocation[] blockLocations = status.getBlockLocations();
for (BlockLocation blockLocation : blockLocations) {
// 获取块存储的主机节点
String[] hosts = blockLocation.getHosts();
for (String host : hosts) {
System.out.println(host);
}
}
System.out.println("-----------班长的分割线----------");
}
// 3 关闭资源fs.close();}3.2.6 HDFS文件和文件夹判断@Testpublic void testListStatus() throws IOException, InterruptedException, URISyntaxException{
// 1 获取文件配置信息
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9820"), configuration, "user1");
// 2 判断是文件还是文件夹
FileStatus[] listStatus = fs.listStatus(new Path("/"));
for (FileStatus fileStatus : listStatus) {
// 如果是文件
if (fileStatus.isFile()) {
System.out.println("f:"+fileStatus.getPath().getName());
}else {
System.out.println("d:"+fileStatus.getPath().getName());
}
}
// 3 关闭资源
fs.close();}第4章 HDFS的数据流4.1 HDFS写数据流程4.1.1 剖析文件写入(1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。(2)NameNode返回是否可以上传。(3)客户端请求第一个 Block上传到哪几个DataNode服务器上。(4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。(5)客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。(6)dn1、dn2、dn3逐级应答客户端。(7)客户端开始往dn1上传第一个Block(先从磁盘读取数据放到一个本地内存缓存),以Packet为单位,dn1收到一个Packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答。(8)当一个Block传输完成之后,客户端再次请求NameNode上传第二个Block的服务器。(重复执行3-7步)。源码解析:org.apache.hadoop.hdfs.DFSOutputStream 4.1.2 网络拓扑-节点距离计算在HDFS写数据的过程中,NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢?节点距离:两个节点到达最近的共同祖先的距离总和。例如,假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记,这里给出四种距离描述。大家算一算每两个节点之间的距离。4.1.3 机架感知(副本存储节点选择)1)官方IP地址机架感知说明http://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_ReplicationFor the common case, when the replication factor is three, HDFS’s placement policy is to put one replica on the local machine if the writer is on a datanode, otherwise on a random datanode, another replica on a node in a different (remote) rack, and the last on a different node in the same remote rack. This policy cuts the inter-rack write traffic which generally improves write performance. The chance of rack failure is far less than that of node failure; this policy does not impact data reliability and availability guarantees. However, it does reduce the aggregate network bandwidth used when reading data since a block is placed in only two unique racks rather than three. With this policy, the replicas of a file do not evenly distribute across the racks. One third of replicas are on one node, two thirds of replicas are on one rack, and the other third are evenly distributed across the remaining racks. This policy improves write performance without compromising data reliability or read performance.2)Hadoop3.1.3副本节点选择4.2 HDFS读数据流程(1)客户端通过DistributedFileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。(2)挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。(3)DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet为单位来做校验)。(4)客户端以Packet为单位接收,先在本地缓存,然后写入目标文件。第5章 NameNode和SecondaryNameNode5.1 NN和2NN工作机制如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。引入Edits文件(只进行追加操作,效率很高)。每当元数据有更新或者添加元数据时,修改内存中的元数据并追加到Edits中。引入一个新的节点SecondaryNamenode,专门用于FsImage和Edits的合并。1)第一阶段:NameNode启动(1)第一次启动NameNode格式化后,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。(2)客户端对元数据进行增删改的请求。(3)NameNode记录操作日志,更新滚动日志。(4)NameNode在内存中对元数据进行增删改。2)第二阶段:Secondary NameNode工作(1)Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。(2)Secondary NameNode请求执行CheckPoint。(3)NameNode滚动正在写的Edits日志。(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。(5)Secondary NameNode加载编辑日志和镜像文件到内存,并合并。(6)生成新的镜像文件fsimage.chkpoint。(7)拷贝fsimage.chkpoint到NameNode。(8)NameNode将fsimage.chkpoint重新命名成fsimage。NN和2NN工作机制详解:Fsimage:NameNode内存中元数据序列化后形成的文件。Edits:记录客户端更新元数据信息的每一步操作(可通过Edits运算出元数据)。NameNode启动时,先滚动Edits并生成一个空的edits.inprogress,然后加载Edits和Fsimage到内存中,此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求,这些请求的操作首先会被记录到edits.inprogress中(查询元数据的操作不会被记录在Edits中,因为查询操作不会更改元数据信息),如果此时NameNode挂掉,重启后会从Edits中读取元数据的信息。然后,NameNode会在内存中执行元数据的增删改的操作。由于Edits中记录的操作会越来越多,Edits文件会越来越大,导致NameNode在启动加载Edits时会很慢,所以需要对Edits和Fsimage进行合并(所谓合并,就是将Edits和Fsimage加载到内存中,照着Edits中的操作一步步执行,最终形成新的Fsimage)。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。SecondaryNameNode首先会询问NameNode是否需要CheckPoint(触发CheckPoint需要满足两个条件中的任意一个,定时时间到和Edits中数据写满了)。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作,首先会让NameNode滚动Edits并生成一个空的edits.inprogress,滚动Edits的目的是给Edits打个标记,以后所有新的操作都写入edits.inprogress,其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地,然后将拷贝的Edits和Fsimage加载到内存中进行合并,生成fsimage.chkpoint,然后将fsimage.chkpoint拷贝给NameNode,重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可,因为合并过的Edits中的元数据信息已经被记录在Fsimage中。5.2 Fsimage和Edits解析1)oiv查看Fsimage文件(1)查看oiv和oev命令[user1@hadoop102 current]$ hdfsoiv apply the offline fsimage viewer to an fsimageoev apply the offline edits viewer to an edits file(2)基本语法hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径(3)案例实操[user1@hadoop102 current]$ pwd/opt/module/hadoop-3.1.3/data/dfs/name/current[user1@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-3.1.3/fsimage.xml[user1@hadoop102 current]$ cat /opt/module/hadoop-3.1.3/fsimage.xml将显示的xml文件内容拷贝到Eclipse中创建的xml文件中,并格式化。部分显示结果如下。<id>16386</id>
<type>DIRECTORY</type>
<name>user</name>
<mtime>1512722284477</mtime>
<permission>user1:supergroup:rwxr-xr-x</permission>
<nsquota>-1</nsquota>
<dsquota>-1</dsquota><id>16387</id>
<type>DIRECTORY</type>
<name>user1</name>
<mtime>1512790549080</mtime>
<permission>user1:supergroup:rwxr-xr-x</permission>
<nsquota>-1</nsquota>
<dsquota>-1</dsquota><id>16389</id>
<type>FILE</type>
<name>wc.input</name>
<replication>3</replication>
<mtime>1512722322219</mtime>
<atime>1512722321610</atime>
<perferredBlockSize>134217728</perferredBlockSize>
<permission>user1:supergroup:rw-r--r--</permission>
<blocks>
<block>
<id>1073741825</id>
<genstamp>1001</genstamp>
<numBytes>59</numBytes>
</block>
</blocks>思考:可以看出,Fsimage中没有记录块所对应DataNode,为什么?在集群启动后,要求DataNode上报数据块信息,并间隔一段时间后再次上报。2)oev查看Edits文件(1)基本语法hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径(2)案例实操[user1@hadoop102 current]$ hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-3.1.3/edits.xml[user1@hadoop102 current]$ cat /opt/module/hadoop-3.1.3/edits.xml将显示的xml文件内容拷贝到Eclipse中创建的xml文件中,并格式化。显示结果如下。<?xml version="1.0" encoding="UTF-8"?><EDITS_VERSION>-63</EDITS_VERSION>
<RECORD>
<OPCODE>OP_START_LOG_SEGMENT</OPCODE>
<DATA>
<TXID>129</TXID>
</DATA>
</RECORD>
<RECORD>
<OPCODE>OP_ADD</OPCODE>
<DATA>
<TXID>130</TXID>
<LENGTH>0</LENGTH>
<INODEID>16407</INODEID>
<PATH>/hello7.txt</PATH>
<REPLICATION>2</REPLICATION>
<MTIME>1512943607866</MTIME>
<ATIME>1512943607866</ATIME>
<BLOCKSIZE>134217728</BLOCKSIZE>
<CLIENT_NAME>DFSClient_NONMAPREDUCE_-1544295051_1</CLIENT_NAME>
<CLIENT_MACHINE>192.168.1.5</CLIENT_MACHINE>
<OVERWRITE>true</OVERWRITE>
<PERMISSION_STATUS>
<USERNAME>user1</USERNAME>
<GROUPNAME>supergroup</GROUPNAME>
<MODE>420</MODE>
</PERMISSION_STATUS>
<RPC_CLIENTID>908eafd4-9aec-4288-96f1-e8011d181561</RPC_CLIENTID>
<RPC_CALLID>0</RPC_CALLID>
</DATA>
</RECORD>
<RECORD>
<OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
<DATA>
<TXID>131</TXID>
<BLOCK_ID>1073741839</BLOCK_ID>
</DATA>
</RECORD>
<RECORD>
<OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
<DATA>
<TXID>132</TXID>
<GENSTAMPV2>1016</GENSTAMPV2>
</DATA>
</RECORD>
<RECORD>
<OPCODE>OP_ADD_BLOCK</OPCODE>
<DATA>
<TXID>133</TXID>
<PATH>/hello7.txt</PATH>
<BLOCK>
<BLOCK_ID>1073741839</BLOCK_ID>
<NUM_BYTES>0</NUM_BYTES>
<GENSTAMP>1016</GENSTAMP>
</BLOCK>
<RPC_CLIENTID></RPC_CLIENTID>
<RPC_CALLID>-2</RPC_CALLID>
</DATA>
</RECORD>
<RECORD>
<OPCODE>OP_CLOSE</OPCODE>
<DATA>
<TXID>134</TXID>
<LENGTH>0</LENGTH>
<INODEID>0</INODEID>
<PATH>/hello7.txt</PATH>
<REPLICATION>2</REPLICATION>
<MTIME>1512943608761</MTIME>
<ATIME>1512943607866</ATIME>
<BLOCKSIZE>134217728</BLOCKSIZE>
<CLIENT_NAME></CLIENT_NAME>
<CLIENT_MACHINE></CLIENT_MACHINE>
<OVERWRITE>false</OVERWRITE>
<BLOCK>
<BLOCK_ID>1073741839</BLOCK_ID>
<NUM_BYTES>25</NUM_BYTES>
<GENSTAMP>1016</GENSTAMP>
</BLOCK>
<PERMISSION_STATUS>
<USERNAME>user1</USERNAME>
<GROUPNAME>supergroup</GROUPNAME>
<MODE>420</MODE>
</PERMISSION_STATUS>
</DATA>
</RECORD>思考:NameNode如何确定下次开机启动的时候合并哪些Edits?5.3 CheckPoint时间设置1)通常情况下,SecondaryNameNode每隔一小时执行一次。[hdfs-default.xml]dfs.namenode.checkpoint.period3600s2)一分钟检查一次操作次数,当操作次数达到1百万时,SecondaryNameNode执行一次。dfs.namenode.checkpoint.txns1000000操作动作次数dfs.namenode.checkpoint.check.period60s 1分钟检查一次操作次数5.4 NameNode故障处理NameNode故障后,可以采用如下两种方法恢复数据。1)将SecondaryNameNode中数据拷贝到NameNode存储数据的目录;(1)kill -9 NameNode进程(2)删除NameNode存储的数据(/opt/module/hadoop-3.1.3/data/tmp/dfs/name)[user1@hadoop102 hadoop-3.1.3]$ rm -rf /opt/module/hadoop-3.1.3/data/dfs/name/*(3)拷贝SecondaryNameNode中数据到原NameNode存储数据目录[user1@hadoop102 dfs]$ scp -r user1@hadoop104:/opt/module/hadoop-3.1.3/data/dfs/namesecondary/* ./name/(4)重新启动NameNode[user1@hadoop102 hadoop-3.1.3]$ hdfs --daemon start namenode2)使用-importCheckpoint选项启动NameNode守护进程,从而将SecondaryNameNode中数据拷贝到NameNode目录中。(1)修改hdfs-site.xml中的<name>dfs.namenode.checkpoint.period</name>
<value>120</value><name>dfs.namenode.name.dir</name>
<value>/opt/module/hadoop-3.1.3/data/dfs/name</value>(2)kill -9 NameNode进程(3)删除NameNode存储的数据(/opt/module/hadoop-3.1.3/data/dfs/name)[user1@hadoop102 hadoop-3.1.3]$ rm -rf /opt/module/hadoop-3.1.3/data/dfs/name/*(4)如果SecondaryNameNode不和NameNode在一个主机节点上,需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录,并删除in_use.lock文件[user1@hadoop102 dfs]$ scp -r user1@hadoop104:/opt/module/hadoop-3.1.3/data/dfs/namesecondary ./[user1@hadoop102 namesecondary]$ rm -rf in_use.lock[user1@hadoop102 dfs]$ pwd/opt/module/hadoop-3.1.3/data/dfs[user1@hadoop102 dfs]$ lsdata name namesecondary(5)导入检查点数据(等待一会ctrl+c结束掉)[user1@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode -importCheckpoint(6)启动NameNode[user1@hadoop102 hadoop-3.1.3]$ hdfs --daemon start namenode5.5 集群安全模式1)基本语法集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。(1)bin/hdfs dfsadmin -safemode get (功能描述:查看安全模式状态)(2)bin/hdfs dfsadmin -safemode enter (功能描述:进入安全模式状态)(3)bin/hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态)(4)bin/hdfs dfsadmin -safemode wait (功能描述:等待安全模式状态)2)案例模拟等待安全模式3)查看当前模式[user1@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -safemode getSafe mode is OFF4)先进入安全模式[user1@hadoop102 hadoop-3.1.3]$ bin/hdfs dfsadmin -safemode enter5)创建并执行下面的脚本在/opt/module/hadoop-3.1.3路径上,编辑一个脚本safemode.sh[user1@hadoop102 hadoop-3.1.3]$ touch safemode.sh[user1@hadoop102 hadoop-3.1.3]$ vim safemode.sh!/bin/bashhdfs dfsadmin -safemode waithdfs dfs -put /opt/module/hadoop-3.1.3/README.txt /[user1@hadoop102 hadoop-3.1.3]$ chmod 777 safemode.sh[user1@hadoop102 hadoop-3.1.3]$ ./safemode.sh 6)再打开一个窗口,执行[user1@hadoop102 hadoop-3.1.3]$ bin/hdfs dfsadmin -safemode leave7)观察8)再观察上一个窗口Safe mode is OFF9)HDFS集群上已经有上传的数据了。5.6 NameNode多目录配置1)NameNode的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性2)具体配置如下
(1)在hdfs-site.xml文件中添加如下内容dfs.namenode.name.dirfile://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2(2)停止集群,删除三台节点的data和logs中所有数据。[user1@hadoop102 hadoop-3.1.3]$ rm -rf data/ logs/[user1@hadoop103 hadoop-3.1.3]$ rm -rf data/ logs/[user1@hadoop104 hadoop-3.1.3]$ rm -rf data/ logs/(3)格式化集群并启动。[user1@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode –format[user1@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh(4)查看结果[user1@hadoop102 dfs]$ ll总用量 12drwx------. 3 user1 user1 4096 12月 11 08:03 datadrwxrwxr-x. 3 user1 user1 4096 12月 11 08:03 name1drwxrwxr-x. 3 user1 user1 4096 12月 11 08:03 name2第6章 DataNode6.1 DataNode工作机制(1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。(2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。(3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳,则认为该节点不可用。(4)集群运行中可以安全加入和退出一些机器。6.2 数据完整性如下是DataNode节点保证数据完整性的方法。(1)当DataNode读取Block的时候,它会计算CheckSum。(2)如果计算后的CheckSum,与Block创建时值不一样,说明Block已经损坏。(3)Client读取其他DataNode上的Block。(4)常见的校验算法 crc(32),md5(128),sha1(160)(5)DataNode在其文件创建后周期验证CheckSum。6.3 掉线时限参数设置需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒。<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>300000</value><name>dfs.heartbeat.interval</name>
<value>3</value>6.4 服役新数据节点(添加机器)1)需求随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。2)环境准备(1)在hadoop104主机上再克隆一台hadoop105主机(2)修改IP地址和主机名称(3)删除原来HDFS文件系统留存的文件(/opt/module/hadoop-3.1.3/data和logs)(4)source一下配置文件[user1@hadoop105 hadoop-3.1.3]$ source /etc/profile3)服役新节点具体步骤(1)直接启动DataNode,即可关联到集群[user1@hadoop105 hadoop-3.1.3]$ hdfs --daemon start datanode[user1@hadoop105 hadoop-3.1.3]$ yarn --daemon start nodemanager(2)在hadoop105上上传文件[user1@hadoop105 hadoop-3.1.3]$ hadoop fs -put /opt/module/hadoop-3.1.3/LICENSE.txt /(3)如果数据不均衡,可以用命令实现集群的再平衡[user1@hadoop102 sbin]$ ./start-balancer.shstarting balancer, logging to /opt/module/hadoop-3.1.3/logs/hadoop-user1-balancer-hadoop102.outTime Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved6.5 退役旧数据节点6.5.1 添加白名单和黑名单白名单和黑名单是hadoop管理集群主机的一种机制。添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。添加到黑名单的主机节点,不允许访问NameNode,会在数据迁移后退出。实际情况下,白名单用于确定允许访问NameNode的DataNode节点,内容配置一般与workers文件内容一致。 黑名单用于在集群运行过程中退役DataNode节点。配置白名单和黑名单的具体步骤如下:1)在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件[user1@hadoop102 hadoop]$ pwd/opt/module/hadoop-3.1.3/etc/hadoop[user1@hadoop102 hadoop]$ touch whitelist[user1@hadoop102 hadoop]$ touch blacklist在whitelist中添加如下主机名称,假如集群正常工作的节点为102 103 104 105hadoop102hadoop103hadoop104hadoop105黑名单暂时为空。2)在hdfs-site.xml配置文件中增加dfs.hosts和 dfs.hosts.exclude配置参数dfs.hosts/opt/module/hadoop-3.1.3/etc/hadoop/whitelistdfs.hosts.exclude/opt/module/hadoop-3.1.3/etc/hadoop/blacklist3)分发配置文件whitelist,blacklist,hdfs-site.xml (注意:105节点也要发一份)[user1@hadoop102 etc]$ xsync hadoop/ [user1@hadoop102 etc]$ rsync -av hadoop/ user1@hadoop105:/opt/module/hadoop-3.1.3/etc/hadoop/4)重新启动集群(注意:105节点没有添加到workers,因此要单独起停)[user1@hadoop102 hadoop-3.1.3]$ stop-dfs.sh[user1@hadoop102 hadoop-3.1.3]$ start-dfs.sh[user1@hadoop105 hadoop-3.1.3]$ hdfs –daemon start datanode5)在web浏览器上查看目前正常工作的DN节点6.5.2 黑名单退役1)编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件[user1@hadoop102 hadoop] vim blacklist添加如下主机名称(要退役的节点)hadoop1052)分发blacklist到所有节点[user1@hadoop102 etc]$ xsync hadoop/ [user1@hadoop102 etc]$ rsync -av hadoop/ user1@hadoop105:/opt/module/hadoop-3.1.3/etc/hadoop/3)刷新NameNode、刷新ResourceManager[user1@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -refreshNodesRefresh nodes successful[user1@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshNodes17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:80334)检查Web浏览器,退役节点的状态为decommission in progress(退役中),说明数据节点正在复制块到其他节点5)等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役[user1@hadoop105 hadoop-3.1.3]$ hdfs --daemon stop datanodestopping datanode[user1@hadoop105 hadoop-3.1.3]$ yarn --daemon stop nodemanagerstopping nodemanager6)如果数据不均衡,可以用命令实现集群的再平衡[user1@hadoop102 hadoop-3.1.3]$ sbin/start-balancer.sh starting balancer, logging to /opt/module/hadoop-3.1.3/logs/hadoop-user1-balancer-hadoop102.outTime Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved注意:不允许白名单和黑名单中同时出现同一个主机名称,既然使用了黑名单blacklist成功退役了hadoop105节点,因此要将白名单whitelist里面的hadoop105去掉。6.6 DataNode多目录配置1)DataNode可以配置成多个目录,每个目录存储的数据不一样。即:数据不是副本2)具体配置如下(1)在hdfs-site.xml文件中添加如下内容 <name>dfs.datanode.data.dir</name>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2(2)停止集群,删除三台节点的data和logs中所有数据。[user1@hadoop102 hadoop-3.1.3]$ rm -rf data/ logs/[user1@hadoop103 hadoop-3.1.3]$ rm -rf data/ logs/[user1@hadoop104 hadoop-3.1.3]$ rm -rf data/ logs/(3)格式化集群并启动。[user1@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode –format[user1@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh(4)查看结果[user1@hadoop102 dfs]$ ll总用量 12drwx------. 3 user1 user1 4096 4月 4 14:22 data1drwx------. 3 user1 user1 4096 4月 4 14:22 data2drwxrwxr-x. 3 user1 user1 4096 12月 11 08:03 name1drwxrwxr-x. 3 user1 user1 4096 12月 11 08:03 name2