开发者社区> 问答> 正文

Python Web抓取工具,JSON输出,框架,服务器

我想创建python web scraper为我获取并格式化一些数据,并以json格式输出,以便其他网页可以访问它。我想将这项服务放在一些免费的python主机上。

因为这是我的第一个python项目,所以我有一些疑问。

我应该为此使用任何python网络框架吗?由于我并不真正担心安全性(输入时只有几个页面),我想将其保留为脚本。

我确实需要一些小型数据库。您可以为此建议什么图书馆?

python Web服务器上是否有cron作业?

免费服务器是否允许每隔X分钟抓取站点?

我在Linux中将python 2.7设置为默认值。我可以/应该使用它还是应该尝试启动并运行新版本?

展开
收起
祖安文状元 2020-02-23 15:41:09 1018 0
1 条回答
写回答
取消 提交回答
  • 是的,它使生活更轻松。但是您必须检查可以在免费服务器上使用什么框架。有时您无法安装自己的模块。

    sqlite不需要安装。mysql并且postgres大多数都已预先安装在服务器上,但您必须进行检查。

    通常是的,但是您必须检查一下。

    某些服务器可能不允许抓取任何网站,但您必须进行检查。

    使用服务器上安装的版本,因此您必须检查它。

    某些免费服务器每天运行18小时,每天冻结6小时,但是您必须检查一下。

    2020-02-23 15:41:15
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载