AI 助理
备案控制台
开发者社区 问答 正文

Python逐行读取txt中的url文件并进行爬虫

毕设项目需要爬取coursera的课程数据，已经把所有课程的url链接爬下来了，存在了txt中，一行是一个课程的url，现在想要获取每门课程的详细信息，如instructor，syllabus 和detail information这几项，但是都需要点进各个课程的网页链接中取爬取。码渣求大神指导一下，来段伪码就更好啦！thx

展开
收起
a123456678 2016-03-11 11:57:05 6526 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • a123456678 
    f = open("coursera.txt","r")
urlList = f.readlines()
for url in urlList:
    r = requests.get(url)
    ''''''
    2019-07-17 18:58:56
    赞同 展开评论
问答分类：
数据采集 Python
问答标签：
Python爬虫 Python文件 爬虫python Python txt Python txt文件
问答地址：
开发者社区 > 大数据 > 问答
相关问答
钉钉机器人下载文件，云端返回的url无法通过get请求下载？
102
2
0
轻量应用服务器如何使用url接收文件？
54
3
0
文件简单上传后怎么获取文件的url？
248
2
0
公有文件URL支持设置访问次数吗？
61
1
0
函数计算内通过OSS文件的内网VPC url下载文件，请求超时，怎么解决？
82
1
0
在图像搜索使用的是oss图片，能不能直接传oss文件url？现在每次搜索都是先下载再上传。
85
0
0
OSS产品的同一个url文件后面添加image/quality,q_50每查询一次就计费一次？
93
1
0
钉钉上传到钉钉文档或者钉盘的文件，其url遵循什么样的规则？
60
1
0
视觉智能开放平台人脸人体服务如何使用上海地域或者非上海地域OSS链接生成文件URL
84
1
0
视觉智能开放平台通用视频生成API输入文件URL地址要求说明
54
1
0