Saltstack 自动化运维工具详细介绍

什么是saltstack

• Saltstack是基于python开发的一套C/S架构配置管理工具

• 使用SSL证书签方的方式进行认证管理

• 底层使用ZeroMQ消息队列pub/sub方式通信

    – 号称世界上最快的消息队列ZeroMQ能快速在成千上万台主机上进行各种操作

    – 采用RSA Key方式确认身

主要功能

• Saltstack最主要的两个功能是:配置管理与远程执行

• Saltstack不只是一个配置管理工具,还是一个云计算与数据中心架构编排的利器

• Saltstack已经支持Docker相关模块

• 在友好地支持各大云平台之后,配合Saltstack的Mine实时发现功能可以实现各种云平台业务的自动扩展

Saltstack架构

• Saltstack基于C/S架构

    – 服务器端称作Master

    – 客户端称作Minion

• 可以实现传统处理方式,即:客户端发送请求给服务器,服务器收到请求后处理请求,再将结果返回

• 也可以使用消息队列中的发布与订阅(pub/sub)服务模式

Saltstack工作机制

• Master和Minion都以守护进程的方式运行

• Master监听配置文件里定义的ret_port(接收minion请求),和publish_port(发布消息)的端口

• 当Minion运行时,它会自动连接到配置文件里定义的Master地址ret_port端口进行连接认证

• 当Master和Minion可以正常通信后,就可以进行各种各样的配置管理工作了

Saltstack安装

依赖：

    1. python2.6 ~ python3.0

    2. ZeroMQ or RAET

    3. mako（可选）：一个可选的Salt States解析器

    4. gcc（可选）

MacOS安装方法：

    1. brew install saltstack

    2. sudo port install salt

    3. sudo pip install salt

Ubuntu14.04安装方法：

    1. wget -O - https://repo.saltstack.com/apt/ubuntu/14.04/amd64/latest/SALTSTACK-GPG-KEY.pub sudo apt-key add -

     2. deb https://repo.saltstack.com/apt/ubuntu/14.04/amd64/latest trusty main

     3. apt-get install salt-api salt-cloud salt-master salt-minion salt-ssh salt-syndic

Centos 和 redhat 安装方法:

    1. sudo pip install salt

    2. sudo yum install salt-master salt-minion

Saltstack启动

    1 . 运行Master 节点

    2.  修改Minion 节点配置，填入Master节点信息

    3.  启动Minion

    4.  Master节点添加Minion

本次使用一个案例来介绍 Saltstack 

实验拓扑图：

服务器使用的操作系统是RHEL7

实验要求：

为六台主机配置IP 分别为     

sm          192.168.4.10  

web1     192.168.4.11

db1        192.168.4.12

web2     192.168.4.21

db2        192.168.4.22

cache    192.168.4.33

为了方便实验 六台主机全都关闭防火墙 禁用SELinux

配置yum源 

实验步骤：

安装saltstack：

在主机sm上配置 安装salt-master

    // 安装 salt-master

    # yum -y install salt-master

    // 启动 Master 

    # systemctl start salt-master

    # systemctl enable salt-master

    //验证服务

    # netstat -pantu | grep ‘ :4505 | :4506’

    tcp        0      0 0.0.0.0:4505            0.0.0.0:*               LISTEN      12434/python        

    tcp        0      0 0.0.0.0:4506            0.0.0.0:*               LISTEN      12440/python   

    // 修改/etc/hosts， 实现名称解析

    # echo '

    > 192.168.4.10 sm

    > 192.168.4.11 web1

    > 192.168.4.12  db1

    > 192.168.4.21 web2

    > 192.168.4.22 db2

    > 192.168.4.33 cache

    > ' > /etc/hosts

    // 将sm 的 /etc/hosts 文件同步共享给其他主机

    # for i in 11 12 21 22 33

    > do

    > rsync -a /etc/hosts 192.168.4.${i}:/etc/ -e 'ssh'

    > done

在其他主机 11 12 21 22 33上：

    //安装 salt-minion

    # yum -y install salt-minion

    //修改Minion配置文件，使其可以与Master通信

    #sed -e"s/^#\(master:\).*/\1 sm/" -i /etc/salt/minion -e "s/^#\(id:\).*/\1${HOSTNAME}/" -i /etc/salt/minion

    //启动Minion

    # systemctl start salt-minion.service

    # systemctl status salt-minion.service

    

Master与Minion互信:

• Minion上线后先与Master端联系,把自己的pubkey发过去

• Master接受Minion的公钥后,互信建立完成

• 查看密钥信息

    [root@sm ~]# salt-key -L

    Accepted Keys:

    Denied Keys:

    Unaccepted Keys:

    cache

    db1

    db2

    web1

    web2

    Rejected Keys:

• 密钥管理

    [root@sm ~]# salt-key -h

    -L: 列出密钥

    -a: 接受一个密钥

    -A: 接受全部密钥

    -D: 删除全部密钥

    ... ...

• 接受密钥,完成互信

    [root@sm ~]# salt-key -A -y

    The following keys are going to be accepted:

    Unaccepted Keys:

    cache

    db1

    db2

    web1

    web2

    Key for minion cache accepted.

    Key for minion db1 accepted.

    Key for minion db2 accepted.

    Key for minion web1 accepted.

    Key for minion web2 accepted.

远程执行命令：

salt命令使用方法如下

• salt [options] '<target>' <function> [arguments]

• target指的是在哪些Minion上执行,如果在全部Minion上运行,可以采用通配符 '*’

-L 列表

-E 正则

-N 分组

-S CIDR

• function一般采用python的 模块.方法 样式

• arguments是传递给方法的参数

批量管理主机

• 测试所有主机连通性

    [root@sm ~]# salt '*' test.ping

    web1:

        True

    web2:

        True

    db2:

        True

    db1:

        True

    cache:

        True

• 在主机上执行任意命令 测试

     [root@sm ~]# salt '*' cmd.run 'uptime'

    db1:

         01:41:05 up  5:22,  1 user,  load average: 0.00, 0.01, 0.05

    db2:

         01:41:04 up  5:22,  1 user,  load average: 0.00, 0.01, 0.05

    web2:

         01:41:04 up  5:22,  1 user,  load average: 0.00, 0.01, 0.05

    cache:

         01:41:05 up  5:22,  1 user,  load average: 0.00, 0.01, 0.05

    web1:

         01:41:04 up  5:22,  1 user,  load average: 0.00, 0.01, 0.05

使用列表 -L

    # salt -L ' db1,web2' cmd.run 'uptime'

    web2:

         01:50:15 up  5:31,  1 user,  load average: 0.00, 0.01, 0.05

    db1:

         01:50:16 up  5:31,  1 user,  load average: 0.00, 0.01, 0.05

使用正则表达式 -E 

    # salt -E "web\d" test.ping

    web2:

        True

    web1:

        True

使用分组  -N

    定义分组

    # vim /etc/salt/master

    //1085 行

    nodegroups:

        test: 'L@db1,web2,cache'

        other: 'E@db[0-9] or N@test'

    使用分组

    [root@sm ~]# salt -N 'test' test.ping

    cache:

        True

    db1:

        True

    web2:

        True    

    [root@sm ~]# salt -N 'other' test.ping

    web2:

        True

    cache:

        True

    db2:

        True

    db1:

        True

传输文件：

# vim /etc/salt/master

#file_roots:

#  base:

#    - /srv/salt //master 的默认根目录

# mkdir /srv/salt            //创建根目录

# cp /etc/passwd /srv/salt/users    //添加测试文件

# salt '*' cmd.run 'mkdir /test'            //远程主机创建目录

cache:

db1:

db2:

web2:

web1:

# salt -E 'web\d' cp.get_file salt://users /test/user    //实现传输文件

web2:

    /test/user

web1:

    /test/user

# salt '*' cmd.run 'ls /test'            //查看传输效果

db1:

cache:

db2:

web2:

    user

web1:

    user

模块及功能：

列出所有可用模块

salt '随便一台主机名' sys.list_modules

查看模块所有功能

salt '随便一台主机名'  sys.list_functions 模块名

查看模块用法

salt '随便一台主机名' sys.doc 模块名

salt '随便一台主机名' sys.doc 模块名.方法

什么是YAML:

• YAML:YAML Ain't Markup Language

• YAML的结构通过空格来展示

• 项目使用"-"来表示

• 键值对使用":"来表示

• Master和Minion的配置文件均采用YAML语法

• YAML使用一个固定的缩进风格表示数据层级结构关

• 一般每个缩进级别由两个空格组成

• 注意不要使用tab

• 缩进是初学者容易出错的地方之一

• YAML的键值对采用冒号分隔

• YAML键值对对应python的字典

• YAML表示形式

    name: test

    或

    name:

      test

• Python字典

    {'name': 'test'}

• 字典可以嵌套

    hosts:

        name: test

• 字典表示形式为

    {

        'hosts': {

       'name': 'test'

       }

    }

• 列表项使用一个短横杠加一个空格

    -  test1

    -  test2

• 列表可以作为一个键值对的value

    pkg-http:

      - httpd

      - php

• Python语法

    {'pkg-http': ['httpd', 'php']}

Grains基础:

• Grains是saltstack最重要的组件之一

• 存储minion端的基本信息,这些信息一般都是静态的,如CPU、内核、操作系统等

• Grains存储在minion本地

• 管理员可以在minion端进行grains值的修改,如增加、删除等

Grains基础应用

• 获取minion端所有grains信息

        # salt '随便一台主机名' grains.items 

• 通过grains.item获取minion端的fqdn信息

        # salt '随便一台主机名' grains.item fqdn

通过minion定义grains

   

    

Pillar基础 

• Pillar也是saltstack最重要的组件之一

• 作用是定义与被控主机相关的任何数据,定义好的数

据可以被其他组件使用

• 存储在master端,存放需要提供给minion的信息

• 常用于敏感信息,每个minion只能访问master分配

给自己的pillar信息

• 用于经常动态变化的信息

配置pillar

• Pillar需要一个pillar_roots来维护pillar的配置

• 默认pillar_roots为/srv/pillar

• pillar_roots在Master配置文件中定义

    [root@sm ~]# vim /etc/salt/master

    pillar_roots:

      base:

        - /srv/pillar

    [root@sm ~]# mkdir /srv/pillar

    [root@sm ~]# systemctl restart salt-master

Pillar数据文件

• Pillar执行时需要一个名为top.sls的入口文件

• 通过top.sls文件作为入口,组织其它的pillar文件

• sls文件采用YAML格式

    

Jinja模板：

Jinja基础

• Jinja是基于Python的模板引擎

• 在saltstack中我们使用yaml_jinja渲染器来根据模板生产对应的配置文件

• 对于不同的操作系统或者不同的情况,通过jinja可以让配置文件或者操作形成一种模板的编写方式

Jinja使用步骤

• 在state文件中使用"- template: jinja"声明

• 在模板文件中使用变量"{{ name }}"声明,name为变量,自己定义

• 在state文件中使用"- defautls: name: value"声明

States基础：

• States是satlstack中的配置语言

• 安装软件包、管理配置文件都需要编写一些statessls文件

• states sls使用YAML语法

查看所有states模块

salt '随便一台主机' sys.list_state_modules

查看states某个模块功能

salt '随便一台主机' sys.list_state_functions 模块名

查看states某个模块的某个方法用法

salt '随便一台主机' sys.state_doc  模块名.方法

为不同的环境设置不同的文件目录

案例1  系统初始化

配置所有机器的DNS为 202.101.224.68

修改所有机器的yum 源为本机器网络yum

修改history 能显示命令执行时间

开启路由转发功能 net.ipv4.ip_forward=1

添加用户zhangsan 

为用户zhuangsan 设置默认密码 zhangsan

要求zhangsan 在第一次登录是的时候修改密码

案例2 部署httpd web 服务器

在实验的 web1 web2 上自动安装httpd软件包

更改httpd监听端口为8080

启动httpd 服务

pkg模块

• pkg模块可以实现软件包管理

• 管理的软件包包括红帽RPM包和Ubuntu的deb包等

• 主要的方法有:

    – pkg.installed:安装软件包

    – pkg.latest:保持软件包为最新版本

    – pkg.remove:卸载软件包

    – pkg.purge:下载软件包,删除配置文件

require条件

• 只有httpd安装了才分发配置文件

service模块

• 软件部署完毕后,需要确保服务处于运行状态,并且能够实现开机自启,这就用到了service模块

    – service.running:确保服务处于运行状态

    – service.enabled:开机自启

    – service.disabled:开机不启动

    – service.dead:确保服务处于未运行状态

    

使用watch

• 服务如果能够正常启动,需要确保存在配置文件,设置如果配置文件存在,才启动服务