云上持续交付实践系列3 --- Python 篇

简介: 云上持续交付实践系列3 --- Python 篇 阿里云持续交付平台CRP(Continuous Release Platform)作为一款开发人员手里的居家旅行,杀人越货的利器,必然有其广泛的应用场景。本文将会演示如何在如何使用阿里云持续交付平台部署一个Python应用。Python作为一种脚本

云上持续交付实践系列3 --- Python 篇

阿里云持续交付平台CRP(Continuous Release Platform)作为一款开发人员手里的居家旅行,杀人越货的利器,必然有其广泛的应用场景。本文将会演示如何在如何使用阿里云持续交付平台部署一个Python应用。Python作为一种脚本语言,经常与多种语言一起配合完成某些复杂的功能,与此同时,其强大的第三方库又进一步拓展了Python的应用领域。

应用概述

本文涉及两个项目,分别为基于Python的在线爬虫以及基于node.js的web服务器。这也是笔者日常生活中经常使用的脚本,现在拿出来与大家分享。其中Python爬虫的功能为投资分析,该爬虫可以根据基金用户买入赎回的操作记录,结合在线抓取的基金价格走势,确定下一步投资的方向;而node.js服务器为之前分析的结果提供展示的平台。这两个项目均已在阿里云Code平台开源,在线爬虫 https://code.aliyun.com/394062113/FundManager,web服务器 https://code.aliyun.com/394062113/FundManagerWeb。由于本项目是由两个独立的部分组成,前端展示系统与后端数据分析系统分属于两个不同的代码库,因此,配置本项目需要使用两条工作流,其中一条工作流用于配置Python部分,另一条工作流用于配置node部分。

使用CRP进行配置的流程

首先,需要在CRP中创建新项目,点击创建新项目的按钮,输入新项目的名称,即可完成CRP新项目的创建。项目创建完成后如图所示:

Python部分配置流程

配置CRP的工作流的第一步为创建工作流,在本文中,笔者采用的默认模板工作流。在工作流中,设置第一个节点的名称为Python代码检出。在CRP中,我们只需要在新建节点中配置代码更新的任务,即可完成代码更新的配置。该节点的配置如图所示:
python_


完成了Python代码检出,需要进行依赖文件的安装并且执行测试。在这一步中,笔者将第二个节点的名称设置为Python测试,因为在CRP中,编译、测试可以在一个任务中同时完成。具体做法如下:在第二个节点中新建一个“编译/测试”任务,根据项目的开发语言选择编译环境,再填写具体的依赖安装脚本以及测试执行指令,同时打开产出物上传的开关,将刚才运行的结果同时打包。该在线爬虫是使用Python3.5开发的,同时依赖了爬虫框架Scrapy,使用的是pip install安装依赖。因此该节点的配置如图所示:
python_


紧接着,需要将Python爬虫部署至服务器上,具体的做法是,从Python测试节点拉出一个新的节点,并且添加任务为“部署”,然后输入部署目标主机的IP地址、部署路径、部署脚本以及进行机器授权。这里需要特别注意的是机器授权的流程,由于CRP是通过ssh的方式对目标主机进行操作,因此需要在目标主机上添加authorized_keys的条目。具体的部署脚本如下:

cd /root/FundManager
tar -xf package.tgz

笔者采用的是阿里云ECS主机,以该主机为例,Python部署节点的配置如图所示:
python_


至此,本项目的Python部分的部署完毕,在线爬虫系统的数据部分已经成功部署至服务器,后续的工作是部署一个web展示模块,方便使用浏览器查看数据分析的结果。
python_

Node.js部分配置流程

页面展示模块采用的是Node.js的express作为http服务器,配置的第一步也同样为拉出一个节点,命名为Node代码检出,并且配置完node.js项目的git地址。该节点的配置如图所示:
node_


完成Node代码检出后,需要进行依赖文件的安装并且执行测试。在这一步中,笔者拉出一个新节点的名称设置为Node安装依赖,并且新建一个“编译/测试”任务,根据项目的开发语言选择编译环境,再填写具体的依赖安装脚本指令,同时打开产出物上传的开关,将环境依赖同时打包。该服务器是使用Node0.12开发的,同时依赖了express,使用的是npm install安装依赖。因此该节点的配置如图所示:
node_


最后一个步骤为将node.js项目部署至服务器上,由于之前已经配置过部署任务,因此本次部署任务不需要重新添加公钥,只需要配置IP地址,部署路径以及部署脚本即可。具体的部署脚本如下:

cd /root/FundManager  && tar -xf package.tgz
kill -9 `ps -ef | grep node | grep -v grep | awk '{print $2}'`
nohup node app.js &

该节点的配置如图所示:
node_
至此,Node工作流部署完毕,完整的工作流如图所示。
node_

测试发布效果

分别触发刚才配置的两条工作流,等待其执行完毕。在执行完毕后,在浏览器中访问项目的URL可以看到返回页面,证明CRP的发布成功。只需要一次配置,以后均可以在提交代码后直接运行该工作流进行部署,真正实现,一键测试,一键发布。Stop coding, start amazing!
_

目录
相关文章
|
3天前
|
存储 人工智能 数据挖掘
探索Python编程:从入门到实践
【8月更文挑战第28天】在这篇文章中,我们将一起踏上Python编程的奇妙旅程。无论你是编程新手还是希望提升现有技能的开发者,本文都将为你提供一条清晰的道路,引导你理解Python的核心概念并应用到实际项目中。我们将通过具体的代码示例,展示如何用Python解决实际问题,让你在学习的同时感受到编程的乐趣和成就感。
|
1天前
|
数据采集 API 数据库
探索Python中的异步编程:从理解到实践
【8月更文挑战第30天】在Python世界中,异步编程是一个既神秘又强大的概念。它像是给程序装上了翅膀,让原本缓慢、阻塞的操作变得迅速而流畅。本文将带你走进异步编程的世界,从基本的概念讲起,通过实例演示如何运用Python的异步特性来提升程序的性能和响应速度。我们将一步步构建一个简易的异步Web爬虫,让你在实践中感受异步编程的魅力。
|
1天前
|
存储 Kubernetes Cloud Native
探索Python编程的奥秘云原生时代的容器编排:Kubernetes入门与实践
【8月更文挑战第30天】本文以浅显易懂的方式,探讨了Python编程的核心概念和技巧。从基础语法到高级特性,再到实际应用案例,逐步引导读者深入理解Python编程的精髓。通过本文的学习,读者将能够掌握Python编程的基本技能,并激发进一步探索的兴趣。
19 13
|
1天前
|
设计模式 调度 Python
Python中的异步编程:从理解到实践打造你的个人博客——从零开始的指南
【8月更文挑战第30天】本文将带你深入探索Python的异步编程世界,从基础概念到实际应用,一步步揭示如何通过asyncio库提升程序的响应性和效率。我们将通过实际代码示例,展示如何创建异步任务、管理事件循环以及处理并发操作,让你的代码运行得更加流畅和高效。
|
1天前
|
运维 Kubernetes Cloud Native
云原生之旅:Kubernetes 集群的搭建与实践Python 编程入门:从零基础到编写实用脚本
【8月更文挑战第30天】在数字化转型的大潮中,云原生技术以其弹性、可扩展性及高效运维能力成为企业IT架构升级的关键。本文将通过实际操作演示如何在本地环境搭建一个简易的Kubernetes集群,带你领略云原生的魅力所在。从集群规划到服务部署,每一步都是对云原生理念的深刻理解和应用。让我们共同探索,如何通过Kubernetes集群的搭建和运维,提升业务灵活性和创新能力。
|
1天前
|
测试技术 Python
Python中的装饰器入门与实践
【8月更文挑战第30天】本文将带你走进Python中一个既神秘又强大的特性——装饰器。我们将从装饰器的基本概念入手,通过简单示例揭示其背后的原理。接着,我们会深入探索装饰器的高级用法,包括带参数的装饰器、装饰器嵌套和函数修饰符。最后,我们将通过一个实战项目来巩固所学知识,让装饰器成为你编程工具箱中的得力助手。
|
1天前
|
人工智能 数据挖掘 程序员
Python编程入门:从基础到实践
【8月更文挑战第30天】本文将引导你走进Python的世界,从最基础的语法开始,逐步深入到实际的项目开发。我们将一起探索Python的强大功能和灵活性,以及如何利用它来解决实际问题。无论你是编程新手,还是有一定经验的开发者,都能在这篇文章中找到有价值的内容。让我们一起开启Python的学习之旅吧!
|
1天前
|
数据采集 数据可视化 数据挖掘
使用Python进行数据分析的新手指南深入浅出操作系统:从理论到代码实践
【8月更文挑战第30天】在数据驱动的世界中,掌握数据分析技能变得越来越重要。本文将引导你通过Python这门强大的编程语言来探索数据分析的世界。我们将从安装必要的软件包开始,逐步学习如何导入和清洗数据,以及如何使用Pandas库进行数据操作。文章最后会介绍如何使用Matplotlib和Seaborn库来绘制数据图表,帮助你以视觉方式理解数据。无论你是编程新手还是有经验的开发者,这篇文章都将为你打开数据分析的大门。
|
2天前
|
API 调度 Python
探索Python中的异步编程:从理解到实践
【8月更文挑战第29天】在Python的世界中,异步编程是一个既迷人又复杂的概念。它像是一场精心编排的交响乐,每个音符都在正确的时间点上演奏,共同创造出和谐而高效的旋律。本文将带你走进异步编程的世界,从基础概念出发,通过实际代码示例,逐步深入到背后的原理和应用场景,让你在编写高效、响应迅速的程序时,能够游刃有余。
|
3天前
|
存储 中间件 PHP
Python编程入门:从零到一的代码实践深入理解 PHP 中的中间件模式
【8月更文挑战第28天】本文旨在通过浅显易懂的方式,向初学者介绍Python编程的基础知识,并结合具体代码示例,带领读者一步步实现从零基础到能够独立编写简单程序的转变。文章将围绕Python语言的核心概念进行讲解,并通过实例展示如何应用这些概念解决实际问题。无论你是编程新手还是希望扩展技能的专业人士,这篇文章都将为你打开编程世界的大门。 【8月更文挑战第28天】在PHP的世界中,设计模式是构建可维护和可扩展软件的重要工具。本文将通过浅显易懂的语言和生动的比喻,带领读者深入理解中间件模式如何在PHP应用中发挥魔力,实现请求处理的高效管理。我们将一步步揭开中间件的神秘面纱,从它的定义、工作原理到
下一篇
云函数