自动化运维工具之Saltstack-阿里云开发者社区

开发者社区> 余二五> 正文

自动化运维工具之Saltstack

简介:
+关注继续查看

一、简介

what  is Saltstack?

Saltstack是一个具备puppet与func功能为一身的集中化管理平台,saltstack基于python实现,功能十分强大,适合大规模批量管理服务器,并且它比 Puppet 更容易配置。saltstack具有三种基本功能包括远程命令执行,配置管理(服务,文件,cron,用户,组),云管理。同时,saltstack具有三种运行方式Local、master/minon 、salt ssh。其中master/minion是其最传统的运行方式采用c/s模式,需要在管理端安装Master,被管理节点上安装Minion;而Saltstack salt ssh 运行方式,可以实现无需安Agent,通过SSH进行管理。

Saltstack部署架构

master->minion:master和所有minion连接,minion接收来自master的指令,完成命令执行或配置。如图:

28bd649378ba813ad2de8b202881e745.png-wh_

master->syndic->minion:master通过syndic对minion进行管理,该架构可以进行多级扩展。如图:

ccb8204d6409a4e5f3b696dc41e84c77.png-wh_

无master的minion:minion不受任何master控制,通过本地运行即可完成相关功能。

8b3e2f87fb4d6536b3c292cd85f375cf.png-wh_

Saltstack的两种主要设计理念是远程执行和配置管理。在远程执行系统中,salt用python通过函数调用来完成任务。salt中的配置管理系统可以称作state,也是基于远程执行系统之上,通过master的定规可以让对应的minion达到想要的系统状态。

salt远程执行底层原理:

Salt的底层通信是通过ZeroMQ完成的,采用了ZeroMQ的订阅发布模式(Pub和Sub)如下图所示:

salt远程执行原理图.png

    简单来讲,Pub/Sub模式类似于广播电台,在订阅发布模式中Pub将消息发送到总线,所有的Sub收到来自总线的消息后,根据自己的条件来接收特定的消息。对应到salt中就是master将事件发布到消息总线,minion订阅并监听事件,然后minion会查看事件是否和自己匹配以确定是否需要执行,匹配条件就是多种主机匹配方法。saltmaster和minion的通信过程中,会启动监听两个端口,默认是4505和4506。

    4506的作用:Salt Master Ret接口,支持认证(auth)、文件服务、结果收集等功能;

    4505的作用:Salt Master Pub接口,提供远程执行命令发送功能。

    Salt minion启动时从配置文件中获取master的地址,如果为域名,则进行解析。解析完成后,会连接master的4506(ret接口)进行key认证。认证通过,会获取到master的publish_port(默认是4505),然手连接publish_port订阅来自master pub接口任务。当master下发操作指令是,所有的minion都能接收到,然后minion会检查本机是否匹配。如果匹配,则执行。执行完毕后,把结果发送到master的4506(ret接口)由master进行处理,命令发送通信完成是异步的,并且命令包很小。此外,这些命令包通过maqpack进行序列化后数据会进一步压缩(Maqpack是一种高效的二进制序列化格式),所以salt的网络负载非常低。

二、Saltstack的安装

2.1 yum源安装

下载Centos6的epol源进行安装:

1
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo

如果使用Centos7,可以下载此epol源:

1
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

安装master端:

1
yum install salt-master

启动master端服务:

1
/etc/init.d/salt-master start

43fd178ff2fc4e0b809cdd1474b4065c.png-wh_

Agent安装minion端:

1
Yum install salt-minion

2.2 Agent简单配置Saltstack

Agent指定master:

1
2
3
4
5
vim /etc/salt/mionion
 
# resolved, then the minion will fail to start.
#master: salt
master: 192.168.39.135

修改mionion的id号:

1
2
3
# clusters.
#id:
id: Agent1

注:id号用于唯一区分mionion的标示,可以不做指定,默认为主机名。

启动minon服务:

873ac98c4110b922c7a67abac2091985.png-wh_

2.3 master授权mionion密钥认证

master查看认证请求:

1
# salt-key

efbb1f99534bb6dfcb20628e9f4ae489.png-wh_

master授权请求:

1
# salt-key -a centos-test1

可以批量授权请求:

1
[root@centos salt]# salt-key -A

再次查看请求,可以看到都以授权成功:

5315774f7e5de67765b3f0c6ade9acd0.png-wh_

进行测试,可以看到agent端信息:

fc16e9796a89da270f46749de6382689.png-wh_

三、Saltstack的数据系统

Saltstack有两个数据系统,分别是Grains和Pillar。本质上它们都是key value型的数据库。

3.1 Grains

Grains是存储在minion上的数据,minion启动后就进行Grains计算。Grains是一种静态数据,包括很多诸如操作系统、操作系统版本或CPU内核数量、内存大小等数据。这些数据不

经常变,即使有所变化重启Minion也会重新计算生成。Grains让salt变得更加灵活。

Grains功能:1)信息查询 ;包括资产管理  2)用于目标选择   3)配置管理中使用

3.1.1 信息查询(包括资产管理)

1
[root@centos ~]# salt 'centos-test1*' grains.ls  #列出ID为"centos-test1"的主机,grains所有项

1
[root@centos ~]# salt 'centos-test1*' grains.items #列出主机的详细信息,可用于资产管理
1
[root@centos ~]# salt 'centos-test1*' grains.item host #查询centos-test1的主机名
1
[root@centos ~]# salt '*' grains.item fqdn_ip4 #查询左右主机的ip地址

3.1.2 目标选择

1
[root@centos ~]# salt -G os:CentOS test.ping #对所有主机系统为"centos"的主机进行Ping测试
1
[root@centos ~]# salt -G os:CentOS cmd.run 'w' #对所有主机系统为“centos”的主机查询负载状态

3.1.3 配置管理中的使用

方法一:

通过修改minion的配置文件可以自定义Grains。

1
2
3
4
5
6
7
8
# vim /etc/salt/minion
 
#  cabinet: 13
#  cab_u: 14-15
grains:
   roles:
     - webserver
     - memcache

重启minion服务:

1
# /etc/init.d/salt-minion restart

通过自定义的item,可以实现对所有角色为memche命令执行"date"命令

1
[root@centos ~]# salt '*' grains.item roles #查询所有主机的角色信息

屏幕快照 2017-11-27 下午5.42.47.png

1
[root@centos ~]# salt -G 'roles:memcache' cmd.run 'date' #对所有主机roles为memcache的主机,执行"date"命令

屏幕快照 2017-11-27 下午5.44.38.png

方法二:

也可以通过修改/etc/salt/grains文件来实现。

1
2
3
# vim /etc/salt/grains
 
minion: host1

1
[root@centos ~]# salt -G 'minion:host1' cmd.run 'w'[object Object]

修改/etc/salt/grains不重启服务的方法,刷新命令如下(备注:方式一和方式二修改配置文件,通过此命令都可以不用重启服务)

1
# salt '*' saltutil.sync_grains

方法三:

Grains在top file中使用(Grains module方式)。

1)创建文件系统路径:

1
[root@centos ~]# mkdir -p /srv/salt/

2)修改master配置文件指定top file文件路径

1
2
3
4
5
6
7
8
[root@centos ~]# vim /etc/salt/master
 
#     - /srv/salt/prod/services
#     - /srv/salt/prod/states
#
file_roots:
  base:
   /srv/salt

3) 编辑top file文件

1
[root@centos ~]# vim /srv/salt/top1.sls base:
1
2
3
4
base:
  'web:nginx':
    - match: grains  #指定grains进行匹配
    - apache #执行apache.sls

#所有值为nginx的主机,执行apache的状态

1
[root@centos ~]# vim /srv/salt/apache.sls

1
2
3
4
5
6
7
8
9
10
apache-install:
  pkg.installed:
    - names:
      - httpd
      - httpd-devel
apache-service:
  service.running:
    - name: httpd
    enable: True
    - reload: True

1
[root@centos ~]# salt '*' state.highstate  #执行[object Object]

Saltstart文件sls可以参考:http://www.jianshu.com/p/7f0b4857c8ac

案例:

1
2
3
4
5
6
7
/srv/salt/webserver.sls
apache:                 # 标签定义
  pkg:                  # state declaration
    - installed         # function declaration
第一行被称为(ID declaration) 标签定义,在这里被定义为安装包的名。注意:在不同发行版软件包命名不同,比如 fedora 中叫httpd的包 Debian/Ubuntu中叫apache2
第二行被称为(state declaration)状态定义, 在这里定义使用(pkg state module)
第三行被称为(function declaration)函数定义, 在这里定义使用(pkg state module)调用 installed 函数

3.2 Pillar

Grains很强大,但是其缺点是这些数据相对来说都是静态数据。如果有变化的数据如何处理呢?这时我们就用到了pillar。pillar数据存储在master上。指定的minion只能看到自己pillar数据,其他的minion看不到任何pillar数据,这一点与状态文件正好相反。所有通过认证的minion都可以获取状态文件,但是每隔minion却都有自己的一套pillar数据,而且每台minion的pillar都进行了加密,所以很适用于敏感数据。

3.2.1 开启pillar

现在saltstack已经默认关闭pillar,因此pillar功能需要开启。

1
2
3
4
5
[root@centos ~]# vim /etc/salt/master
 
# the pillar called "master". This is used to set simple configurations in the
# master config file that can then be used on minions.
pillar_opts: True

1
[root@centos ~]# service salt-master restart

列出minion所有pillar的详细信息。

1
[root@centos ~]# salt 'centos-test1' pillar.items

屏幕快照 2017-11-28 上午10.59.30.png

3.2.2 定义pillar目录

1
2
3
4
5
6
[root@centos ~]# vim /etc/salt/master
 
#    - /srv/pillar
pillar_roots:
  base:
    /srv/pillar

1
[root@centos ~]# mkdir -p /srv/pillar

1) 创建一个pillar文件(python jinjia2写法)

1
[root@centos ~]# vim /srv/pillar/apache.sls

1
2
3
4
5
{%if grains ['os'] == 'CentOS' %}
apache: httpd
{% elif grains['os' == 'Debian'] %}
apache: apache2
{% endif %}

2)创建top file文件

1
2
3
4
[root@centos ~]# vim /srv/pillar/top.sls
base:
  '*':
   - apache

#让所有主机(*),读取apachepillar

1
[root@centos ~]# salt '*' saltutil.refresh_pillar  #执行刷新pillar
1
[root@centos ~]# salt '*' pillar.items

屏幕快照 2017-11-28 上午11.22.59.png

使用pillar定位主机:

1
[root@centos ~]# salt -I 'apache:httpd' test.ping

屏幕快照 2017-11-28 上午11.37.21.png

3.3 Grains和Pillar的不同

屏幕快照 2017-11-28 下午2.40.19.png

四、Saltstack远程执行

4.1 远程执行

在远程主机上运行预定义的或任意的命令,亦称为远程执行,是salt的核心功能。了解模块和返回值,是远程执行两个关键要素。

Salt命令由三个主要部分构成:

1
salt '<target>' <function> [arguments]

TARGET

target部分允许你指定哪些minion应该运行执行. 默认的规则是使用glob匹配minion id. 例如:

1
2
salt '*' test.ping
salt '*.example.org' test.ping

Targets可以使用Grains系统来通过minion的系统信息进行过滤:

1
salt -G 'os:Ubuntu' test.ping

参见

Grains系统

ip地址或子网掩码进行检测:

1
salt -S '192.168.39.200' test.ping

Targets也可以使用正则表达式:

1
salt -E 'virtmach[0-9]' test.ping

Targets也可以指定列表:

1
salt -L 'foo,bar,baz,quo' test.ping

或者在一个命令中混合使用多target类型:

1
salt -C 'G@os:Ubuntu an webser* or E@database.*' test.ping

FUNCTION

funcation是module提供的功能. Salt内置了大量有效的functions. 列出minions上的所有有效functions?

1
salt '*' sys.doc

这里有一些例子:

显示当前所有有效的minions:

1
salt '*' test.ping

运行一个任意的shell命令:

1
salt '*' cmd.run 'uname -a'

参见

所有模块列表

arguments 

function通过空格来界定参数:

1
salt '*' cmd.exec_code python 'import sys; sys.version'

可选的, 也支持keyword参数:

1
salt '*' pip.install salt timeout=5 upgrade=True

他们常常在 kwargs=argument form中.

4.2 salt常用模块

saltstack提供了很多执行模块,可以从官方文档上查找模块具体使用方法。saltstack执行模块链接:http://docs.saltstack.cn/ref/modules/all/index.html#all-salt-modules

下面指列举service模块使用方法:

1
salt.modules.service.available(name)

判断指定服务是否存在,如果存在返回True,否则返回False。

1
2
3
4
5
6
7
[root@centos ~]# salt '*' service.available sshd
centos-test2:
    True
centos-test3:
    True
centos-test1:
    True

1
salt.modules.service.get_all()

返回所有服务可用的列表。

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@centos ~]# salt '*' service.get_all
centos-test1:
    - abrt-ccpp
    - abrt-oops
    - abrtd
    - acpid
    - atd
    - auditd
    - blk-availability
    - control-alt-delete
    - cpuspeed
    - crond
    - haldaemon

1
salt.modules.service.run(name, action)

用动作运行指定的服务。

name --服务名 action --动作名称,如start,stop,reload,restart。

1
2
# salt '*' service.run apache2 reload
# salt '*' service.run postgresql initdb
1
salt.modules.service.start(name)

启动指定服务。

1
[root@centos ~]# salt '*' service.start httpd
1
salt.modules.service.status(name)

查询指定服务状态。服务启动返回True,服务未启动返回False。

1
2
3
4
5
6
7
[root@centos ~]# salt '*' service.status httpd
centos-test2:
    True
centos-test1:
    True
centos-test3:
    True

4.3 模块的ACL(访问控制)
4.3.1 对系统用户允许特定命令执行

1)修改相应目录权限

1
[root@centos ~]# chmod 755 /var/cache/salt /var/cache/salt/master /var/cache/salt/master/jobs /var/run/salt /var/run/salt/master/

2)修改master配置文件,开启acl访问控制

1
[root@centos ~]# vim /etc/salt/master

1
2
3
4
client_acl:
  jerry:    #用户jerry
    test.ping  #只允许使用test.ping和network下所有方法
    - network.*

3)重启服务

1
[root@centos ~]# /etc/init.d/salt-master restart

测试:

屏幕快照 2017-11-30 下午2.28.59.png

4.3.2 指定用户在某一台机器上执行特定命令

1)修改配置

1
[root@centos ~]# vim /etc/salt/master

1
2
3
4
5
6
7
client_acl:
  jerry:
    test.ping
    - network.*
  tom:  #用户
    - centos-test1*: #主机centos-test1
      test.ping #test.ping命令

2)重启服务

1
[root@centos ~]# /etc/init.d/salt-master restart

测试:

屏幕快照 2017-11-30 下午2.38.43.png

五、Saltstack配置管理

Saltstack包含一个健壮且灵活的配置管理框架,该框架建立在远程执行核心上。这个框架执行的minion端,允许轻松,同时可配置成千上万的主机,通过编写特定于语言的状态文件得以实现。saltstack的配置管理提供了很多的“状态模块”用于实现不同配置管理的需求。以下是配置管理的链接以方便查询:https://docs.saltstack.com/en/latest/topics/states/index.html

1)修改file_root文件目录

1
2
3
4
5
6
7
8
[root@centos base]# vim /etc/salt/master 
file_roots:
  base:
    /srv/salt/base
  test:
    /srv/salt/test
  prod:
    /srv/salt/prod

2) 创建文件目录

1
2
3
[root@centos base]# mkdir -p /srv/salt/base
[root@centos base]# mkdir -p /srv/salt/test
[root@centos base]# mkdir -p /srv/salt/prod

3)重启服务

1
[root@centos base]# /etc/init.d/salt-master restart

批量修改/etc/resolv.conf文件:

1
[root@centos ~]# cd /srv/salt/base
1
2
3
4
5
6
7
[root@centos base]# vim dns.sls
/etc/resolv.conf:    #标签
  file.managed:     #状态模块file的mamaged方法,用以实现
    source: salt://files/resolv.conf  #源文件resolv.conf
    - user: root    #文件用户属主
    - group: root    #文件数组
    - mode: 644    #文件权限

文件目录状态为:

屏幕快照 2017-12-01 下午5.12.06.png

resolv.conf文件内容:

1
2
3
[root@centos base]# more files/resolv.conf 
# Generated by NetworkManager
nameserver 192.168.39.2

1
[root@centos base]# salt '*' state.sls dns #执行dns状态文件

屏幕快照 2017-12-01 下午5.12.55.png

也可以从top文件上执行。

1
2
3
4
[root@centos base]# vim top.sls 
base:
  '*':
    - dns

1
[root@centos base]# salt '*' state.highstate  #state高级状态默认从top文件中执行

查看minion端的resolv.conf文件:

屏幕快照 2017-12-01 下午5.22.04.png

5.2 saltstack配置管理之YAML和jinjia

5.2.1 什么是YAML?

YAML是“另一种标记语言”的外语缩写(见前方参考资料原文内容);但为了强调这种语言以数据做为中心,而不是以置标语言为重点,而用返璞词重新命名。它是一种直观的能够被电脑识别的数据序列化格式,是一个可读性高并且容易被人类阅读,容易和脚本语言交互,用来表达资料序列的编程语言。

它是类似于标准通用标记语言的子集XML数据描述语言,语法比XML简单很多。

YAML语法规则:

规则一:缩紧

1)yaml使用一个固定的缩紧风格表示水层结构关系。salt需要每个缩紧分别由两个空格组成。

2)不要使用tabs。

规则二:冒号

YAML my_key: my_value

first_level dict_key:

  second_level dict_key: value_in_second_level_dict

IN Pyton {‘my_key’: ‘my_value’,

{

‘first_level_dict_key’:{

‘second_level_dict_key’: ‘value_in_second_level_dict’

}

}

}

规则三:短横线

想要表示列表项:使用一个短横杠加一个空格。多个项使用同样的缩紧级别作为同一列表的一部分。

my_dictionary:

  - list_value_one

  - list_value_two

  - list_value_three

{‘my_dictionary’: [‘list_value_one’,’list_value_two’,’list_value_three’]}

5.2.2 什么是jinja?

Jinja2是基于python模板引擎,功能比较类似于于PHPsmartyJ2eeFreemarkervelocity。 它能完全支持unicode,并具有集成的沙箱执行环境,应用广泛。jinja2使用BSD授权。jiaja2官网:http://jinja.pocoo.org/

1.file状态使用template参数

2.模版文件里面变量使用{{ 名称 }} {{ PORT }}

3.变量列表

-defaults:

PORT:8080

4.Jinjia if-else 语句

{% if grains[‘fqdn’] == ‘lb-node1.unixhot.com’ %}

  — ROUTEID: haproxy_master

  - STATEID: master

{% elif grains[‘fedn’] == ‘lb-node2.unixhot.com’ %}

  - ROUTEID: haproxy_backup

  - STATEID: backup

  - PRIORITYID: 100

{% endif %}

5.2.2 变量的使用

以上一个示例需改resolv.conf为例

1
2
3
4
5
6
7
8
9
10
[root@centos ~]# vim /srv/salt/base/dns.sls 
/etc/resolv.conf:
  file.managed:
    source: salt://files/resolv.conf
    - user: root
    - group: root
    - mode: 644
    - template: jinja #template指定为jinja模版
    - defaults:
      DNS_SERVER: 192.168.39.23 #变量:默认值

1
2
3
[root@centos ~]# vim /srv/salt/base/files/resolv.conf 
# Generated by NetworkManager
nameserver {{ DNS_SERVER }} #{{ DNS_SERVER }} 作为变量,也可以使用单括号,这里使用便于区分
1
[root@centos base]# salt '*' state.highstate #执行进行修改minions端配置

可以看到已经修改完成。

屏幕快照 2017-12-04 下午5.44.00.png

参考资料:

https://docs.saltstack.com/en/latest/

http://outofmemory.cn/saltstack/salt










本文转自 SoulMio 51CTO博客,原文链接:http://blog.51cto.com/bovin/1984115,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10283 0
自动化侦查工具
cheops-ng http://cheops-ng.sourceforge.net/download.
513 0
自动化构建工具
一些前端构建工具:
787 0
+关注
20382
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载