云上持续交付实践系列3 --- Python 篇

简介: 云上持续交付实践系列3 --- Python 篇 阿里云持续交付平台CRP(Continuous Release Platform)作为一款开发人员手里的居家旅行,杀人越货的利器,必然有其广泛的应用场景。本文将会演示如何在如何使用阿里云持续交付平台部署一个Python应用。Python作为一种脚本

云上持续交付实践系列3 --- Python 篇

阿里云持续交付平台CRP(Continuous Release Platform)作为一款开发人员手里的居家旅行,杀人越货的利器,必然有其广泛的应用场景。本文将会演示如何在如何使用阿里云持续交付平台部署一个Python应用。Python作为一种脚本语言,经常与多种语言一起配合完成某些复杂的功能,与此同时,其强大的第三方库又进一步拓展了Python的应用领域。

应用概述

本文涉及两个项目,分别为基于Python的在线爬虫以及基于node.js的web服务器。这也是笔者日常生活中经常使用的脚本,现在拿出来与大家分享。其中Python爬虫的功能为投资分析,该爬虫可以根据基金用户买入赎回的操作记录,结合在线抓取的基金价格走势,确定下一步投资的方向;而node.js服务器为之前分析的结果提供展示的平台。这两个项目均已在阿里云Code平台开源,在线爬虫 https://code.aliyun.com/394062113/FundManager,web服务器 https://code.aliyun.com/394062113/FundManagerWeb。由于本项目是由两个独立的部分组成,前端展示系统与后端数据分析系统分属于两个不同的代码库,因此,配置本项目需要使用两条工作流,其中一条工作流用于配置Python部分,另一条工作流用于配置node部分。

使用CRP进行配置的流程

首先,需要在CRP中创建新项目,点击创建新项目的按钮,输入新项目的名称,即可完成CRP新项目的创建。项目创建完成后如图所示:

Python部分配置流程

配置CRP的工作流的第一步为创建工作流,在本文中,笔者采用的默认模板工作流。在工作流中,设置第一个节点的名称为Python代码检出。在CRP中,我们只需要在新建节点中配置代码更新的任务,即可完成代码更新的配置。该节点的配置如图所示:
python_


完成了Python代码检出,需要进行依赖文件的安装并且执行测试。在这一步中,笔者将第二个节点的名称设置为Python测试,因为在CRP中,编译、测试可以在一个任务中同时完成。具体做法如下:在第二个节点中新建一个“编译/测试”任务,根据项目的开发语言选择编译环境,再填写具体的依赖安装脚本以及测试执行指令,同时打开产出物上传的开关,将刚才运行的结果同时打包。该在线爬虫是使用Python3.5开发的,同时依赖了爬虫框架Scrapy,使用的是pip install安装依赖。因此该节点的配置如图所示:
python_


紧接着,需要将Python爬虫部署至服务器上,具体的做法是,从Python测试节点拉出一个新的节点,并且添加任务为“部署”,然后输入部署目标主机的IP地址、部署路径、部署脚本以及进行机器授权。这里需要特别注意的是机器授权的流程,由于CRP是通过ssh的方式对目标主机进行操作,因此需要在目标主机上添加authorized_keys的条目。具体的部署脚本如下:

cd /root/FundManager
tar -xf package.tgz

笔者采用的是阿里云ECS主机,以该主机为例,Python部署节点的配置如图所示:
python_


至此,本项目的Python部分的部署完毕,在线爬虫系统的数据部分已经成功部署至服务器,后续的工作是部署一个web展示模块,方便使用浏览器查看数据分析的结果。
python_

Node.js部分配置流程

页面展示模块采用的是Node.js的express作为http服务器,配置的第一步也同样为拉出一个节点,命名为Node代码检出,并且配置完node.js项目的git地址。该节点的配置如图所示:
node_


完成Node代码检出后,需要进行依赖文件的安装并且执行测试。在这一步中,笔者拉出一个新节点的名称设置为Node安装依赖,并且新建一个“编译/测试”任务,根据项目的开发语言选择编译环境,再填写具体的依赖安装脚本指令,同时打开产出物上传的开关,将环境依赖同时打包。该服务器是使用Node0.12开发的,同时依赖了express,使用的是npm install安装依赖。因此该节点的配置如图所示:
node_


最后一个步骤为将node.js项目部署至服务器上,由于之前已经配置过部署任务,因此本次部署任务不需要重新添加公钥,只需要配置IP地址,部署路径以及部署脚本即可。具体的部署脚本如下:

cd /root/FundManager  && tar -xf package.tgz
kill -9 `ps -ef | grep node | grep -v grep | awk '{print $2}'`
nohup node app.js &

该节点的配置如图所示:
node_
至此,Node工作流部署完毕,完整的工作流如图所示。
node_

测试发布效果

分别触发刚才配置的两条工作流,等待其执行完毕。在执行完毕后,在浏览器中访问项目的URL可以看到返回页面,证明CRP的发布成功。只需要一次配置,以后均可以在提交代码后直接运行该工作流进行部署,真正实现,一键测试,一键发布。Stop coding, start amazing!
_

目录
相关文章
|
4天前
|
开发者 Python
探索Python中的装饰器:从入门到实践
【8月更文挑战第41天】本文通过深入浅出的方式,引导读者理解Python装饰器的概念、原理及应用。我们将从装饰器的定义出发,逐步深入其背后的工作原理,并通过实际代码示例,展示如何自定义装饰器以及装饰器的高级用法。文章旨在帮助初学者快速掌握装饰器的使用,同时为有一定基础的开发者提供进阶知识。
|
1天前
|
Rust API Python
Python Requests 库中的重试策略实践
在网络请求中,由于网络波动或服务暂时不可达等原因,请求可能失败。为增强客户端健壮性,自动重试机制变得尤为重要。本文介绍如何在 Python 的 `requests` 库中实现请求自动重试,通过 `urllib3` 的 `Retry` 类配置重试策略,并提供了一个具体示例,展示了如何设置重试次数、状态码集合及异常类型等参数,从而提高系统的可靠性和容错能力。
|
10天前
|
缓存 测试技术 Python
Python 中的装饰器:从入门到实践
【9月更文挑战第3天】本文将引导你理解 Python 中装饰器的概念,并通过实际代码示例展示如何创建和使用装饰器。我们将从基础出发,逐步深入到装饰器的高级应用,让你能够轻松掌握这一强大的工具。
|
7天前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能浪潮下的编程实践:从Python到深度学习的探索之旅
【9月更文挑战第6天】 在人工智能的黄金时代,编程不仅仅是一种技术操作,它成为了连接人类思维与机器智能的桥梁。本文将通过一次从Python基础入门到构建深度学习模型的实践之旅,揭示编程在AI领域的魅力和重要性。我们将探索如何通过代码示例简化复杂概念,以及如何利用编程技能解决实际问题。这不仅是一次技术的学习过程,更是对人工智能未来趋势的思考和预见。
|
5天前
|
C语言 Python
深入理解并实践Python中的列表推导式
深入理解并实践Python中的列表推导式
9 1
|
12天前
|
测试技术 开发者 Python
探索Python中的装饰器:从入门到实践
【8月更文挑战第33天】本文旨在通过浅显易懂的语言,带领读者了解Python中一个强大而神秘的功能——装饰器。我们将从装饰器的基本概念出发,逐步深入到它们的高级应用,最后通过实际代码示例展示如何在日常编程中灵活运用装饰器来简化代码、增强功能。文章不仅适合初学者构建对装饰器的初步认识,也适合有一定基础的开发者深化理解并实践。
28 5
|
11天前
|
机器学习/深度学习 数据挖掘 Python
深入浅出:Python编程入门与实践
【9月更文挑战第2天】本文旨在为初学者提供一份简明扼要的Python编程入门指南,通过浅显易懂的语言和实际代码示例,引导读者步入编程世界的大门。我们将从Python的基本语法入手,逐步深入到函数、模块以及面向对象编程的概念,并结合具体案例,展示如何将理论知识应用于解决实际问题。文章不仅适合零基础的初学者,也能帮助有一定基础的学习者巩固和提升编程技能。
|
7天前
|
机器学习/深度学习 人工智能 算法
探索人工智能:机器学习的基本原理与Python代码实践
【9月更文挑战第6天】本文深入探讨了人工智能领域中的机器学习技术,旨在通过简明的语言和实际的编码示例,为初学者提供一条清晰的学习路径。文章不仅阐述了机器学习的基本概念、主要算法及其应用场景,还通过Python语言展示了如何实现一个简单的线性回归模型。此外,本文还讨论了机器学习面临的挑战和未来发展趋势,以期激发读者对这一前沿技术的兴趣和思考。
|
13天前
|
缓存 开发者 Python
探索Python中的装饰器:从入门到实践
本文将带你领略Python装饰器的神秘面纱,通过简洁明了的例子,让你轻松掌握装饰器的使用。无论你是初学者还是有一定经验的开发者,这篇文章都将为你打开一扇通往高效、优雅代码设计的大门。让我们一起来发现装饰器的魅力吧!【8月更文挑战第31天】
|
14天前
|
运维 Kubernetes 监控
自动化运维:使用Python脚本实现系统监控云原生技术实践:Kubernetes在现代应用部署中的角色
【8月更文挑战第31天】在现代IT运维管理中,自动化已成为提高效率和准确性的关键。本文将通过一个Python脚本示例,展示如何实现对服务器的自动监控,包括CPU使用率、内存占用以及磁盘空间的实时监测。这不仅帮助运维人员快速定位问题,也减轻了日常监控工作的负担。文章以通俗易懂的语言,逐步引导读者理解并实践自动化监控的设置过程。 【8月更文挑战第31天】本文旨在探索云原生技术的核心—Kubernetes,如何革新现代应用的开发与部署。通过浅显易懂的语言和实例,我们将一窥Kubernetes的强大功能及其对DevOps文化的影响。你将学会如何利用Kubernetes进行容器编排,以及它如何帮助你的