开发者社区 问答 正文

Python Web抓取工具,JSON输出,框架,服务器

我想创建python web scraper为我获取并格式化一些数据,并以json格式输出,以便其他网页可以访问它。我想将这项服务放在一些免费的python主机上。

因为这是我的第一个python项目,所以我有一些疑问。

我应该为此使用任何python网络框架吗?由于我并不真正担心安全性(输入时只有几个页面),我想将其保留为脚本。

我确实需要一些小型数据库。您可以为此建议什么图书馆?

python Web服务器上是否有cron作业?

免费服务器是否允许每隔X分钟抓取站点?

我在Linux中将python 2.7设置为默认值。我可以/应该使用它还是应该尝试启动并运行新版本?

展开
收起
祖安文状元 2020-02-23 15:41:09 1034 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 是的,它使生活更轻松。但是您必须检查可以在免费服务器上使用什么框架。有时您无法安装自己的模块。

    sqlite不需要安装。mysql并且postgres大多数都已预先安装在服务器上,但您必须进行检查。

    通常是的,但是您必须检查一下。

    某些服务器可能不允许抓取任何网站,但您必须进行检查。

    使用服务器上安装的版本,因此您必须检查它。

    某些免费服务器每天运行18小时,每天冻结6小时,但是您必须检查一下。

    2020-02-23 15:41:15 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论