Python爬虫入门教程 22-100 CSDN学院课程数据抓取-阿里云开发者社区

开发者社区> 梦想橡皮擦> 正文

Python爬虫入门教程 22-100 CSDN学院课程数据抓取

简介: 1. CSDN学院课程数据写在前面 今天又要抓取一个网站了,选择恐惧症使得我不知道该拿谁下手,找来找去,算了,还是抓取CSDN学院吧,CSDN学院的网站为 https://edu.csdn.net/courses 我看了一下这个网址,课程数量也不是很多,大概有 6000+ 门课程,数据量不大,用单线程其实就能很快的爬取完毕,不过为了秒爬,我还是选用了一个异步数据操作。
+关注继续查看

1. CSDN学院课程数据写在前面

今天又要抓取一个网站了,选择恐惧症使得我不知道该拿谁下手,找来找去,算了,还是抓取CSDN学院吧,CSDN学院的网站为 https://edu.csdn.net/courses 我看了一下这个网址,课程数量也不是很多,大概有 6000+ 门课程,数据量不大,用单线程其实就能很快的爬取完毕,不过为了秒爬,我还是选用了一个异步数据操作。

image

2. CSDN学院课程数据分析页码

还是需要好好的分析一下页码规律

https://edu.csdn.net/courses/p2
https://edu.csdn.net/courses/p3
https://edu.csdn.net/courses/p4
... ...
https://edu.csdn.net/courses/p271

页码还是非常有规律的,直接编写代码就可以快速的爬取下来。出于人文关怀,我还是把协程数限制在3,要不顺发271个请求还是有点攻击的性质了。这样不好,不符合我们的精神。

import asyncio
import aiohttp
from lxml import etree



sema = asyncio.Semaphore(3)
async def get_html(url):
    headers = {
        "user-agent": "自己找个UA即可"
    }
    '''
    本文来自 梦想橡皮擦 的博客
    地址为:  https://blog.csdn.net/hihell  
    可以任意转载,但是希望给我留个版权。
    '''
    print("正在操作{}".format(url))

    async with aiohttp.ClientSession() as s:
        try:
            async with s.get(url, headers=headers, timeout=3) as res:
                if res.status==200:
                    html = await res.text()

                    html = etree.HTML(html)
                    get_content(html)  # 解析网页
                    print("数据{}插入完毕".format(url))

        except Exception as e:
            print(e)
            print(html)
            time.sleep(1)
            print("休息一下")
            await get_html(url)
            
async def x_get_html(url):
    with(await sema):
        await get_html(url)

if __name__ == '__main__':
    url_format = "https://edu.csdn.net/courses/p{}"
    urls = [url_format.format(index) for index in range(1, 272)]
    loop = asyncio.get_event_loop()
    tasks = [x_get_html(url) for url in urls]
    request = loop.run_until_complete(asyncio.wait(tasks))

3. CSDN学院课程数据解析网页函数

网页下载到了之后,需要进行二次处理,然后才可以把他放入到mongodb中,我们只需要使用lxml库即可

def get_content(html):
    course_item = html.xpath("//div[@class='course_item']")
    data = []
    for item in course_item:
        link = item.xpath("./a/@href")[0]  # 获取课程详情的链接,方便我们后面抓取
        tags = item.xpath(".//div[@class='titleInfor']/span[@class='tags']/text()")  # 获取标签
        title = item.xpath(".//div[@class='titleInfor']/span[@class='title']/text()")[0]  # 获取标题
        num = item.xpath(".//p[@class='subinfo']/span/text()")[0]  # 学习人数
        subinfo = item.xpath(".//p[@class='subinfo']/text()")[1].strip() #  作者
        price = item.xpath(".//p[contains(@class,'priceinfo')]/i/text()")[0].strip()  # 作者
        data.append({
            "title":title,
            "link":link,
            "tags":tags,
            "num":num,
            "subinfo":subinfo,
            "price":price
        })

    collection.insert_many(data)

4. 数据存储

数据保存到mongodb中,完成。

image

没有特别突出的地方,简单易操作。

201811071454093

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Python爬虫入门教程 31-100 36氪(36kr)数据抓取 scrapy
1. 36氪(36kr)数据----写在前面 今天抓取一个新闻媒体,36kr的文章内容,也是为后面的数据分析做相应的准备的,预计在12月底,爬虫大概写到50篇案例的时刻,将会迎来一个新的内容,系统的数据分析博文,记得关注哦~ 36kr 让一部分人先看到未来,而你今天要做的事情确实要抓取它的过去。
9251 0
分享录制的正则表达式入门、高阶以及使用 .NET 实现网络爬虫视频教程
我发布的「正则表达式入门以及高阶教程」,欢迎学习。 课程简介 正则表达式是软件开发必须掌握的一门语言,掌握后才能很好地理解到它的威力; 课程采用概念和实验操作 4/6 分隔,帮助大家理解概念后再使用大量的实例加深对概念的理解; 实例操作是对概念最好的理解,也是学习新语言最有效的办法; 在课程中也穿插着大量软件开发的技巧和大家分享; 应该是把晦涩的正则表达式讲解的最生动的课程; 掌握了正则表达式后,您一定会觉得这是一门最值得掌握的语言。
887 0
从零开始构建自己的爬虫代理IP数据库并定期检验IP有效性
从零开始构建自己的代理IP池; 根据代理IP网址抓取新的代理IP; 对历史代理IP有效性验证; python实现
1362 0
Hadoop大数据挖掘从入门到进阶实战
1.概述   大数据时代,数据的存储与挖掘至关重要。企业在追求高可用性、高扩展性及高容错性的大数据处理平台的同时还希望能够降低成本,而Hadoop为实现这些需求提供了解决方案。面对Hadoop的普及和学习热潮,笔者愿意分享自己多年的开发经验,带领读者比较轻松地掌握Hadoop数据挖掘的相关知识。
1626 0
存储大量爬虫数据的数据库,了解一下?
"当然, 并不是所有数据都适合" 在学习爬虫的过程中, 遇到过不少坑. 今天这个坑可能以后你也会遇到, 随着爬取数据量的增加, 以及爬取的网站数据字段的变化, 以往在爬虫入门时使用的方法局限性可能会骤增.
3907 0
php爬虫:知乎用户数据爬取和分析
php爬虫爬取知乎用户数据分析
2530 0
Python爬虫入门教程 6-100 蜂鸟网图片爬取之一
1. 蜂鸟网图片简介 国庆假日结束了,新的工作又开始了,今天我们继续爬取一个网站,这个网站为 http://image.fengniao.com/ ,蜂鸟一个摄影大牛聚集的地方,本教程请用来学习,不要用于商业目的,不出意外,蜂鸟是有版权保护的网站。
1388 0
Python爬虫之简书七日热门数据爬取(异步加载详解)
最近在家干活,好几天没更新了,最近好友程兄也开始写简书了,大家可以多看看,讲的很详细(我毕竟懒);正好碰到他问异步加载的问题,那我今天就已简书七日热门为例,给大家讲讲异步加载的数据怎么爬。
834 0
+关注
梦想橡皮擦
专栏100例写作模式先行者
63
文章
1
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载