Linux集群和自动化维3.1 Python语言的应用领域-阿里云开发者社区

开发者社区> 华章出版社> 正文

Linux集群和自动化维3.1 Python语言的应用领域

简介:

第3章


轻量级自动化运维工具Fabric详解

近期公司的业务系统代码发布频繁,笔者同时在几个项目组里面穿插工作,发现发布和运维的工作都相当机械,加上频率比较高,导致时间的浪费也比较多。很多测试工作,例如通过SSH登录到测试环境,推送代码,然后修改Bug进行测试,这些操作都是非常机械并且具有重复性的。更让人郁闷的是,每次的操作都是相同的,命令基本上都是一样的,并且是在多台机器上执行,很难在本机上以一个脚本来搞定,主要时间都浪费在使用SSH登录和输入命令上了。这个时候需要一个轻量级的自动化运维工具,来帮助我们解决这些问题,Fabric就顺应这个需求而出现了,它非常适合于这些简单的、重复性的远程操作。Fabirc是基于Python语言开发的,前文2.1节就提到过,Python应用非常火爆,接下来看看Python的应用领域及其流行的原因。


3.1 Python语言的应用领域


1.云计算基础设施

云计算平台分为私有云和公有云。私有云平台如大名鼎鼎的OpenStack,就是以Python语言编写的。公有云,无论是AWS、Azure、GCE(Google Compute Engine)、阿里云还是青云,都提供了Python SDK,其中GCE只提供了Python和JavaScript的SDK,青云只提供了Python SDK。由此可见各家云平台对Python的重视。

软件开发工具包(Software Development Kit,SDK)一般是一些开发工具的集合,用于为特定的软件包、软件框架、硬件平台、操作系统等创建应用软件。

2. DevOps

DevOps,中文名译作开发型运维。在互联网时代,只有能够快速试验新想法,并在第一时间,安全、可靠地交付业务价值,才能保持竞争力。DevOps推崇的自动化构建、测试、部署及系统度量等技术实践,在互联网时代是尤其重要的。

自动化构建是因应用而异的,如果是Python应用,因为有setuptools、pip、virtualenv、tox、flake8等工具的存在,所以自动化构建非常简单。而且,因为几乎所有的Linux版本都内置了Python解释器,所以用Python做自动化,系统不需要预安装什么软件。

自动化测试方面,目前流行的自动化测试框架有Robot Framework、Cucumber、Lettuce三种。基于Python的Robot Framework是企业级应用最喜欢的自动化测试框架,而且和语言无关。Cucumber也有很多支持者。基于Python的Lettuce可以实现完全一样的功能。此外,Locust(一个基于Python开发的开源负载测试工具)也开始在自动化性能测试方面受到越来越多的关注。

自动化配置管理工具,老牌的如Chef和Puppet,是基于Ruby语言开发设计的,目前仍保持着强劲的势头。不过,新生代Ansible、SaltStack,以及轻量级的自动化运维工具Fabric,均为Python语言开发。由于它们较前两者的设计更为轻量化,因此受到越来越多开发者的欢迎,并且已经给Chef和Puppet制造了不少的竞争压力。

3.网络爬虫

大数据的数据从哪里来?除了部分企业有能力自己产生大量的数据,大部分时候,是需要依靠网络爬虫来抓取互联网数据进行分析的。

网络爬虫是Python的传统强势领域,最流行的爬虫框架Scrapy、HTTP工具包urlib2、HTML解析工具Beautiful Soup、XML解析器lxml等,都是能够独当一面的类库。笔者公司的分布式网络爬虫程序也是基于Scrapy开发的。不过,网络爬虫并不仅仅是打开网页,解析HTML这么简单。高效的爬虫要能够支持大量灵活的并发操作,常常要能够同时抓取几千甚至上万个网页,使用传统的线程池方式资源浪费比较大,线程数上千之后系统资源基本上就全浪费在线程调度上了。由于Python能够很好地支持协程(Coroutine)操作,因此基于Python发展了很多并发库,如Gevent、Eventlet,还有Celery之类的分布式任务框架等。被认为是比AMQP更高效的ZeroMQ最早提供的也是Python版本。有了对高并发的支持,网络爬虫才可以真正达到大数据规模。

4.数据处理

从统计理论,到数据挖掘、机器学习,再到最近几年提出来的深度学习理论,数据科学正处于百花齐放的时代。数据科学家们都用什么语言编程呢?Python是数据科学家最喜欢的语言之一。和R语言不同,Python本身就是一门工程性语言,数据科学家用Python实现的算法,可以直接用在产品中,这对于初创的大数据公司来说,是非常有利于节省成本的。正是基于数据科学家对Python和R的热爱,Spark为了“讨好”数据科学家,对这两种语言都提供了非常好的支持。

Python的数据处理相关类库非常多。比如,高性能的科学计算类库NumPy和SciPy,给其他高级算法打下了非常好的基础;Matplotlib让Python画图变得像Matlab一样简单;Scikit-learn和Milk实现了很多机器学习算法,基于这两个库实现的Pylearn2,是深度学习领域的重要成员;Theano利用GPU加速,实现了高性能数学符号计算和多维矩阵计算。当然,还有Pandas,一个在工程领域已被广泛使用的大数据处理类库,其DataFrame的设计借鉴自R语言,后来又启发Spark项目实现了类似机制。

除了这些领域以外,Python还被广泛应用于Web开发、游戏开发、手机开发、数据库开发等众多领域。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

华章出版社

官方博客
官网链接