Python逐行读取txt中的url文件并进行爬虫-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

Python逐行读取txt中的url文件并进行爬虫

a123456678 2016-03-11 11:57:05 2361

毕设项目需要爬取coursera的课程数据,已经把所有课程的url链接爬下来了,存在了txt中,一行是一个课程的url,现在想要获取每门课程的详细信息,如instructor,syllabus 和detail information这几项,但是都需要点进各个课程的网页链接中取爬取。码渣求大神指导一下,来段伪码就更好啦!thx

数据采集 Python
分享到
取消 提交回答
全部回答(1)
  • a123456678
    2019-07-17 18:58:56
    f = open("coursera.txt","r")
    urlList = f.readlines()
    for url in urlList:
        r = requests.get(url)
        ''''''
    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题