小白搭建初次搭建轻量级服务器爬虫感受

简介: 【飞天加速计划】【免费轻量级云服务器】

【自我介绍】
某不知名top大学经济管理学院边缘专业,研究生二年级,通过老师和学长、一些服务器的宣传界面了解到阿里的高校免费轻量级服务器计划

【用途】
主要用途:需要每天定时爬虫请求大量网站的数据,想着搞个服务器可以实现自动化爬虫,就先用这个免费的试了试~
次要用途:可以建立一个自己的博客网站,记录一下自己的发表和研究兴趣。。

【个人基础】
有一点点Linux命令基础(只上了一点点课,了解一些最基础的代码,大多数时候还是百度和谷歌查询面临的问题),但在计算机专业方面可以说是非常小白了,所以经常遇到一系列奇奇怪怪但其实很简单的问题。对于一些很计算机系统和数据库系统很底层的东西不是很了解,也遇到非常多的坑吧。。。

【使用感受】
阿里云ECS自己的ali linux系统已经集成了很多工具了,安装各种包的过程中也没有遇到什么问题,仅用了几个小时就搞定了自己爬虫所需要的selenium以及签名算法所依赖的一系列包,并成功运行上爬虫的代码。运行的速度还是挺快的,就是这个计划的时间好像有些过于短了hhhhh,不知道能否延长到like 半年??

【问题】

  1. mac终端ssh链接容易断开连接

尽管自己的爬虫程序不需要一直连接(设置了nohup &),但是我发现ssh连接上了之后如果不操作,很快就会断开连接,不知道这个问题该如何解决,或者在哪里可以设置??

  1. 学生计划能不能出更多配置,比如3年?

【总结收获】
挺好的一次尝试,准备买一个轻量级的服务器,搞个自己的小网站,并且常规的爬取一些数据,以后的研究可能会有用。

【爬虫显示截图】
截屏2022-05-08 上午2.01.59.png

目录
相关文章
|
7月前
|
数据采集 缓存 负载均衡
请解释什么是代理服务器,以及在爬虫中如何使用代理服务器?
【2月更文挑战第23天】【2月更文挑战第72篇】请解释什么是代理服务器,以及在爬虫中如何使用代理服务器?
312 1
|
7月前
|
数据采集 中间件 Python
Scrapy爬虫:利用代理服务器爬取热门网站数据
Scrapy爬虫:利用代理服务器爬取热门网站数据
|
7月前
|
数据采集 缓存 Java
代理服务器调试技巧:优化Kotlin网络爬虫的数据抓取过程
代理服务器调试技巧:优化Kotlin网络爬虫的数据抓取过程
|
4月前
|
数据采集 资源调度 JavaScript
Node.js 适合做高并发、I/O密集型项目、轻量级实时应用、前端构建工具、命令行工具以及网络爬虫和数据处理等项目
【8月更文挑战第4天】Node.js 适合做高并发、I/O密集型项目、轻量级实时应用、前端构建工具、命令行工具以及网络爬虫和数据处理等项目
63 5
|
5月前
|
存储 域名解析 弹性计算
云服务器 ECS产品使用问题之ECS和轻量级服务器的区别是什么
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
|
5月前
|
Shell Python
`pytest-httpserver`是一个pytest插件,它允许你在测试期间启动一个轻量级的HTTP服务器,并模拟HTTP请求和响应。
`pytest-httpserver`是一个pytest插件,它允许你在测试期间启动一个轻量级的HTTP服务器,并模拟HTTP请求和响应。
|
7月前
|
安全 Java 应用服务中间件
轻量级奇迹:Java 18迎来迷你Web服务器的时代
轻量级奇迹:Java 18迎来迷你Web服务器的时代
123 0
轻量级奇迹:Java 18迎来迷你Web服务器的时代
|
7月前
|
存储 弹性计算 开发框架
ECS和轻量级服务器有什么区别
ECS和轻量级服务器有什么区别
|
7月前
|
数据采集 安全 Java
Kotlin+Apache HttpClient+代理服务器=高效的eBay图片爬虫
本文将为你介绍一种高效的eBay图片爬虫的实现方式,让你可以用Kotlin+Apache HttpClient+代理服务器的组合来轻松地下载eBay的图片。
Kotlin+Apache HttpClient+代理服务器=高效的eBay图片爬虫
|
7月前
|
数据采集 编解码 图形学
Android平台Unity下如何通过WebCamTexture采集摄像头数据并推送至RTMP服务器或轻量级RTSP服务
Android平台Unity下如何通过WebCamTexture采集摄像头数据并推送至RTMP服务器或轻量级RTSP服务
345 0