教你用python爬虫下载1w+『ppt模板』,再也不用付费去购买啦!

简介: 教大家如何使用**python爬虫爬取1万份**『ppt模板』,以后制作ppt再也不怕了没有模板了!!!

1. 前言

无论是学生还是工作,都会和ppt打交道,每次制作ppt都需要去找模板,有时候ppt模板还是收费的,这......,有点恶心,哈哈哈!!

今天教大家如何使用python爬虫爬取1万份『ppt模板』,以后制作ppt再也不怕了没有模板了!!!

2. 相关介绍

1.模板来源

https://sc.chinaz.com/ppt/free_1.html

每页20条,一共500页,共10000份ppt模板!

2.爬虫思路

  • 先遍历每一页,获取每一个ppt模板的url。
  • 根据ppt模板的url获取下载地址。
  • 最后根据下载地址将文件下载到本地。

3. 爬取数据

1.遍历每一页

通过xpath可以定位到标签class=bot-div,里面包含了ppt模板的url和名称。


import requests
from lxml import etree
 
 
###遍历每一页
def getlist():
 
 
    for k in range(1,501):
        url = "https://sc.chinaz.com/ppt/free_"+str(k)+".html"
        res = requests.get(url)
        res.encoding = 'utf-8'
        text = res.text
 
 
        selector = etree.HTML(text)
        list = selector.xpath('//*[@class="bot-div"]')
        for i in list:
            title = i.xpath('.//a/text()')[0].replace("\n", '').replace(" ", '')
            href = i.xpath('.//a/@href')[0].replace("\n", '').replace(" ", '')
            print(title)
            print(href)
            print("----------------")

遍历时需要获取每一个ppt模板url(title)名称(href)(方便下载时作为保存文件的命名)

2.获取下载地址

以下面url为例

https://sc.chinaz.com/ppt/210305465710.htm

解析下载链接

通过xpath可以定位到标签class=download-url,里面包含了四个下载地址,其实四个都一样,选择其中一个就可以了。

res = requests.get(url)
res.encoding = 'utf-8'
text = res.text
selector = etree.HTML(text)
href = selector.xpath('//*[@class="download-url"]/a/@href')[0]
print(href)

3.下载保存

根据拿到的下载地址下载文件保存到本地。


r = requests.get(href)
with open(str(title)+".rar", "wb") as code:
  code.write(r.content)

ok,这样就将ppt模板下载到本地了。

下面我们开始批量下载!

4.批量下载

##下载文件
def download(url,title):
    res = requests.get(url)
    res.encoding = 'utf-8'
    text = res.text
    selector = etree.HTML(text)
    href = selector.xpath('//*[@class="download-url"]/a/@href')[0]
 
 
    r = requests.get(href)
    with open(str(title)+".rar", "wb") as code:
      code.write(r.content)
    print(str(title)+":下载完成!")
 
 
 
 
###遍历每一页
def getlist():
 
 
    for k in range(1,501):
        url = "https://sc.chinaz.com/ppt/free_"+str(k)+".html"
        res = requests.get(url)
        res.encoding = 'utf-8'
        text = res.text
 
 
        selector = etree.HTML(text)
        list = selector.xpath('//*[@class="bot-div"]')
        for i in list:
            title = i.xpath('.//a/text()')[0].replace("\n", '').replace(" ", '')
            href = i.xpath('.//a/@href')[0].replace("\n", '').replace(" ", '')
            download("https://sc.chinaz.com/"+str(href), str(title))

这样就可以将10000份ppt模板下载完毕

4. 总结

通过python编程实现爬取10000份ppt模板素材,以后再也不用担心制作ppt没有模板了!

相关文章
|
6天前
|
数据采集 存储 JavaScript
构建你的第一个Python网络爬虫
【9月更文挑战第34天】在数字信息泛滥的时代,快速有效地获取和处理数据成为一项重要技能。本文将引导读者通过Python编写一个简易的网络爬虫,实现自动化地从网页上抓取数据。我们将一步步走过代码的编写过程,并探讨如何避免常见陷阱。无论你是编程新手还是想扩展你的技术工具箱,这篇文章都将为你提供有价值的指导。
47 18
|
6天前
|
数据采集 存储 数据挖掘
深入探索 Python 爬虫:高级技术与实战应用
本文介绍了Python爬虫的高级技术,涵盖并发处理、反爬虫策略(如验证码识别与模拟登录)及数据存储与处理方法。通过asyncio库实现异步爬虫,提升效率;利用tesseract和requests库应对反爬措施;借助SQLAlchemy和pandas进行数据存储与分析。实战部分展示了如何爬取电商网站的商品信息及新闻网站的文章内容。提醒读者在实际应用中需遵守法律法规。
121 66
|
7天前
|
网络协议 Python
|
10天前
|
数据采集 存储 XML
构建高效的Python爬虫系统
【9月更文挑战第30天】在数据驱动的时代,掌握如何快速高效地获取网络信息变得至关重要。本文将引导读者了解如何构建一个高效的Python爬虫系统,从基础概念出发,逐步深入到高级技巧和最佳实践。我们将探索如何使用Python的强大库如BeautifulSoup和Scrapy,以及如何应对反爬措施和提升爬取效率的策略。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的知识和技能,帮助你在信息收集的海洋中航行得更远、更深。
30 6
|
9天前
|
数据采集 数据挖掘 数据处理
Python中实现简单爬虫并处理数据
【9月更文挑战第31天】本文将引导读者理解如何通过Python创建一个简单的网络爬虫,并展示如何处理爬取的数据。我们将讨论爬虫的基本原理、使用requests和BeautifulSoup库进行网页抓取的方法,以及如何使用pandas对数据进行清洗和分析。文章旨在为初学者提供一个易于理解的实践指南,帮助他们快速掌握网络数据抓取的基本技能。
20 3
|
12天前
|
数据采集 JSON 数据格式
Python:南京地铁每日客流数据的爬虫实现
Python:南京地铁每日客流数据的爬虫实现
26 1
|
2天前
|
数据采集 存储 数据处理
Python爬虫-数据处理与存储(一)
Python爬虫-数据处理与存储(一)
12 0
|
2天前
|
SQL 关系型数据库 MySQL
Python爬虫-数据处理与存储(二)
Python爬虫-数据处理与存储(二)
|
2天前
|
数据采集 消息中间件 Python
Python爬虫-进程间通信
Python爬虫-进程间通信
|
10天前
|
数据采集 Linux 网络安全
python 爬虫遇到的aiohttp证书错误解决办法
python 爬虫遇到的aiohttp证书错误解决办法
37 0