云服务器爬虫练手

简介: 领了高校的免费ECS后总算是有机会体验一下云服务器了!敲敲linux练练手,总算是配置好miniconda,selenium和chrome,现在尝试把自己主机跑的爬虫程序移到服务器上,同时学习一下一些linux的指令。

安装miniconda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh

配置一下环境变量

vim ~/.bashrc

在末尾添加如下语句,此处路径为anacodda3实际安装路径一般在/root/anaconda3

export PATH=/home/xxxx/anacodnae/bin:$PATH

添加完后激活环境

source ~/bashrc

查看虚拟环境表

conda env list

创建虚拟环境

创建新虚拟环境:conda create -n <环境名称> python==<版本号>
conda activate <环境名称>
此后调用pip install安装需要的库即可

创建python代码所处的文件夹,运行前要activate对应的虚拟环境。

主要目前做的东西就这么多,确实方便很多,后续也可以对外开放一个jupyter的端口,这样可以在不同的电脑上进行编码,而且也可以做一些markdown的笔记。如果有兴趣还可以去github上面下一些开源的项目,创建一个专属的个人知识库。同时ECS也能够为课程的习题提供练手的平台和机会,感谢云服务器的体验,后续都搭好了也将继续续用。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情:&nbsp;https://www.aliyun.com/product/ecs
相关文章
|
5月前
|
数据采集 缓存 负载均衡
请解释什么是代理服务器,以及在爬虫中如何使用代理服务器?
【2月更文挑战第23天】【2月更文挑战第72篇】请解释什么是代理服务器,以及在爬虫中如何使用代理服务器?
290 1
|
数据采集 中间件 Python
Python爬虫:scrapy管理服务器返回的cookie
Python爬虫:scrapy管理服务器返回的cookie
418 0
|
5月前
|
数据采集 中间件 Python
Scrapy爬虫:利用代理服务器爬取热门网站数据
Scrapy爬虫:利用代理服务器爬取热门网站数据
|
5月前
|
数据采集 缓存 Java
代理服务器调试技巧:优化Kotlin网络爬虫的数据抓取过程
代理服务器调试技巧:优化Kotlin网络爬虫的数据抓取过程
|
5月前
|
数据采集 安全 Java
Kotlin+Apache HttpClient+代理服务器=高效的eBay图片爬虫
本文将为你介绍一种高效的eBay图片爬虫的实现方式,让你可以用Kotlin+Apache HttpClient+代理服务器的组合来轻松地下载eBay的图片。
Kotlin+Apache HttpClient+代理服务器=高效的eBay图片爬虫
|
数据采集 弹性计算 算法
小白搭建初次搭建轻量级服务器爬虫感受
【飞天加速计划】【免费轻量级云服务器】
318 1
小白搭建初次搭建轻量级服务器爬虫感受
|
数据采集 SQL 弹性计算
使用云服务器ECS部署了自己的第一个爬虫
云服务器部署爬虫爬取网站最新通告并推送
使用云服务器ECS部署了自己的第一个爬虫
|
数据采集 弹性计算 网络协议
[CentOS Python系列] 一.阿里云服务器安装部署及第一个Python爬虫代码实现
本文将详细讲解阿里云服务器如何安装及部署本地Python环境,并搭建代码。
1483 1
[CentOS Python系列] 一.阿里云服务器安装部署及第一个Python爬虫代码实现
|
数据采集 安全 Python
|
数据采集 弹性计算 Python
使用ECS实例执行定时爬虫任务
在ECS实例中实现了python定时爬虫