Python爬虫实战示例-51job和豆瓣电影

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 2018年7月16日笔记1.conda常用命令1.1 列出当前环境的所有库命令:conda list在cmd中运行命令如下图所示:图片.png-36.

2018年7月16日笔记

1.conda常用命令

1.1 列出当前环境的所有库

命令:conda list
在cmd中运行命令如下图所示:


图片.png-36.6kB
图片.png-36.6kB

1.2 管理环境

创建环境

命令:conda create -n {} python={}第一对大括号替换为环境的命名,第二对大括号替换为python的版本号
例如:conda create -n python27 python=2.7 这个命令就是创建一个python版本为2.7的环境,并命名为python27

列出所有环境

命令:conda info -e

进入环境

activate {},大括号替换为虚拟环境名

环境添加库

conda install {},大括号替换为要安装库的库名

环境删除库

conda remove {},大括号替换为要安装库的库名

删除环境

conda remove -n {} -all,大括号替换为要删除库的库名

2. 爬虫示例

爬取豆瓣钱排名前250条信息,即下图这个网页的信息。


图片.png-340.8kB
图片.png-340.8kB

下面的sql语句用来创建数据库的表

drop database if exists douban;
create database douban;
use douban;
DROP TABLE IF EXISTS `top250`;
CREATE TABLE `top250` (
  `director` varchar(100) DEFAULT NULL,
  `role` varchar(100) DEFAULT NULL,
  `year` varchar(100) DEFAULT NULL,
  `area` varchar(20) DEFAULT NULL,
  `genre` varchar(100) DEFAULT NULL,
  `title` varchar(255)  DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
AI 代码解读

把豆瓣排名前250的电影信息导入mysql数据库中
下面一段代码能够成功运行的前提有两个:
1.安装库requests:pip install requests
安装库pymysql:pip install pymysql
2.修改下面代码中进入mysql数据库的用户名和密码,即修改下面这一句:
conn = pymysql.connect(host='localhost', user='root', passwd='...your password', db='douban',charset="utf8")

import requests
from bs4 import BeautifulSoup as bs
import pymysql

if __name__ == "__main__":
    movieInfos = []  # 用于保存所有的电影信息
    baseUrl = 'https://movie.douban.com/top250?start={}&filter='
    for startIndex in range(0, 226, 25):
        url = baseUrl.format(startIndex)
        # 爬取网页
        r = requests.get(url)
        # 获取html内容
        htmlContent = r.text
        # 用BeautifulSoup加载html文本内容进行处理
        soup = bs(htmlContent, "lxml")
        # 获取到页面中索引的class名为info的标签(应该有25个)
        movieList = soup.find_all("div", attrs={"class": "info"})
        # 遍历25条电影信息
        for movieItem in movieList:
            movieInfo = {}  # 创建空字典,保存电影信息
            # 获取到名为class名为hd的div标签内容
            hd_div = movieItem.find("div", attrs={"class": "hd"})
            # 通过bd_div获取到里面第一个span标签内容
            hd_infos = hd_div.find("span").get_text().strip().split("\n")
            # < span  class ="title" > 天堂电影院 < / span >
            movieInfo['title'] = hd_infos[0]

            # 获取到class名为bd的div标签内容
            bd_div = movieItem.find("div", attrs={"class": "bd"})
            # print(bd_div)
            # 通过bd_div获取到里面第一个p标签内容
            infos = bd_div.find("p").get_text().strip().split("\n")
            # print(infos)   #包含了两行电影信息的列表
            # 获取导演和主演
            infos_1 = infos[0].split("\xa0\xa0\xa0")
            if len(infos_1) == 2:
                # 获取导演,只获取排在第一位的导演名字
                director = infos_1[0][4:].rstrip("...").split("/")[0]
                movieInfo['director'] = director
                # 获取主演
                role = infos_1[1][4:].rstrip("...").rstrip("/").split("/")[0]
                movieInfo['role'] = role
            else:
                movieInfo['director'] = None
                movieInfo['role'] = None
            # 获取上映的时间/地区/电影类型
            infos_2 = infos[1].lstrip().split("\xa0/\xa0")
            # 获取上映时间
            year = infos_2[0]
            movieInfo['year'] = year
            # 获取电影地区
            area = infos_2[1]
            movieInfo['area'] = area
            # 获取类型
            genre = infos_2[2]
            movieInfo['genre'] = genre
            print(movieInfo)
            movieInfos.append(movieInfo)
    conn = pymysql.connect(host='localhost', user='root', passwd='...your password', db='douban',charset="utf8")
    # 获取游标对象
    cursor = conn.cursor()
    # 查看结果
    print('添加了{}条数据'.format(cursor.rowcount))
    for movietiem in movieInfos:
        director = movietiem['director']
        role = movietiem['role']
        year = movietiem['year']
        area = movietiem['area']
        genre = movietiem['genre']
        title = movietiem['title']
        sql = 'INSERT INTO top250 values("%s","%s","%s","%s","%s","%s")' % (director, role, year, area, genre, title)
        # 执行sql
        cursor.execute(sql)
        # 提交
        conn.commit()
        print('添加了{}条数据'.format(cursor.rowcount))
AI 代码解读

插入数据库成功截图如下:


图片.png-67.2kB
图片.png-67.2kB

2018年7月17日笔记

3.HTTP理解

3.1 HTTP请求格式

当浏览器向Web服务器发出请求时,它向服务器传递了一个数据块,也就是请求信息,HTTP请求信息由3部分组成:
1.请求方法URL协议/版本;2.请求头;3.请求体内容


图片.png-149.8kB
图片.png-149.8kB

3.2 HTTP请求方式

常见的http请求方式有get和post
Get是比较简单的http请求,直接会将发送给web服务器的数据放在请求地址的后面,即在请求地址后使用?key1=value1&ke2=value2形式传递数据,只适合数据量少,且没有安全性的请求
Post是需要发送给web服务器的数据经过编码放到请求体中,可以传递大量数据,并且有一定安全性,常用于表单提交

4.爬取51job网站信息

爬取51job网站信息并将数据持久化为excel文件

import requests
from bs4 import BeautifulSoup as bs
import re
from urllib import parse
import pandas as pd

def cssFind(soup,cssSelector,nth=1):
    if len(soup.select(cssSelector)) >= nth:
        return soup.select(cssSelector)[nth-1].text
    else:
        return 0

def getSoup(url):
    response = requests.get(url)
    response.encoding = 'gbk'
    soup = bs(response.text,'lxml')
    return soup

def getMaxPageNumber(url):
    soup = getSoup(url)
    maxPageNumberBefore = cssFind(soup,"span.td")
    pattern = "共(\d*)页"
    maxPageNumber = re.findall(pattern,maxPageNumberBefore)[0]
    return int(maxPageNumber)

def getJobList(url):
    soup = getSoup(url)
    webpage_job_list = soup.select("div.dw_table div.el")[1:]
    job_list = []
    for item in webpage_job_list:
        job = {}
        job['职位名'] = cssFind(item,"a").strip()
        job['公司名'] = cssFind(item,"span.t2")
        job['工作地点'] = cssFind(item,"span.t3")
        job['薪资'] = cssFind(item,"span.t4")
        job['发布时间'] = cssFind(item,"span.t5")
        job_list.append(job)
    return job_list

def getUrl(job,page):
    url_before = "https://search.51job.com/list/020000,000000,0000,00,9,99,{},2," \
                 "{}.html?lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&" \
                 "degreefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&" \
                 "ord_field=0&confirmdate=9&dibiaoid=0&specialarea=00"
    url = url_before.format(parse.quote(job),page)
    return url

if __name__ == "__main__":
    job = "人工智能"
    firstPage_url = getUrl(job,1)
    maxPageNumber = getMaxPageNumber(firstPage_url)
    job_list = []
    for i in range(1,maxPageNumber+1):
        print("共有%d页,正在获取第%d页" %(maxPageNumber,i))
        url = getUrl(job,i)
        job_list.extend(getJobList(url))
    df = pd.DataFrame(job_list,columns=job_list[0].keys())
    excel_name = "51job_{}.xlsx".format(job)
    df.to_excel(excel_name)
    print("finished!")
AI 代码解读

5.爬取豆瓣排名前250电影信息

下面一段代码只需要修改连接mysql数据库的密码就可以运行。
sql语句写在代码中,所以代码比较长。

# coding=utf-8
from bs4 import BeautifulSoup as bs
import requests
import re
import pymysql

def cssFind(movie,cssSelector,nth=1):
    if len(movie.select(cssSelector)) >= nth:
        return movie.select(cssSelector)[nth-1].text.strip()
    else:
        return ''

def reFind(pattern,sourceStr,nth=1):
    if len(re.findall(pattern,sourceStr)) >= nth:
        return re.findall(pattern,sourceStr)[nth-1]
    else:
        return ''

def getConn(database ="pydb"):
    args = dict(
        host = 'localhost',
        user = 'root',
        passwd = '... your password',
        charset = 'utf8',
        db = database
    )
    return pymysql.connect(**args)

if __name__ == "__main__":
    #连接数据库
    conn = getConn("douban")
    cursor = conn.cursor()
    #解析网页并将每条电影信息插入mysql数据库
    url_before = "https://movie.douban.com/top250?start={}"
    flag = True
    for i in range(0,250,25):
        url = url_before.format(i)
        response = requests.get(url)
        response.encoding = 'utf-8'
        soup = bs(response.text, 'lxml')
        movie_list = soup.select("ol.grid_view li")
        for movie in movie_list:
            item = {}
            item['title_zh'] = cssFind(movie, "span.title")  #提取标题
            item['title2'] = cssFind(movie, "span.title", 2).lstrip('/').strip() #提取
            item['title_other'] = cssFind(movie, "span.other").lstrip('/').strip()
            details = cssFind(movie, "div.bd p")
            pattern_director = "导演: (.*)主"
            item['director'] = reFind(pattern_director, details).strip('/...').strip()
            if item['director'] == "":
                item['director'] = reFind("导演: (.*)", details).strip('/...').strip()
            pattern_actor = "主演: (.*)"
            item['actor'] = reFind(pattern_actor, details).strip('/...').strip()
            detail2 = details.split('\n')[1]
            item['year'] = detail2.split('/')[0].strip()
            item['country'] = detail2.split('/')[1].strip()
            item['genre'] = detail2.split('/')[2].strip()
            item['rating_grade'] = cssFind(movie, "span.rating_num")
            item['rating_number'] = cssFind(movie, "div.star span", 4).rstrip("人评价")
            item['summary'] = cssFind(movie, "span.inq")
            if flag:
                drop_sql = "drop table if exists movie"
                cursor.execute(drop_sql)
                conn.commit()
                table_movie = ','.join(['`%s` varchar(200)'%key for key in item.keys()])
                create_sql = "create table movie(`id` int primary key auto_increment,%s)" %table_movie
                cursor.execute(create_sql)
                conn.commit()
                flag = False
            table_field = ','.join(['`%s`'%key for key in item.keys()])
            table_row = ','.join(['"%s"'%value for value in item.values()])
            insert_sql = "insert into movie(%s) values(%s)"%(table_field, table_row)
            print(insert_sql)
            cursor.execute(insert_sql)
            conn.commit()
    conn.close()
AI 代码解读
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
14
分享
相关文章
Python爬虫Cookie管理最佳实践:存储、清理与轮换
Python爬虫Cookie管理最佳实践:存储、清理与轮换
Python 高级编程与实战:深入理解性能优化与调试技巧
本文深入探讨了Python的性能优化与调试技巧,涵盖profiling、caching、Cython等优化工具,以及pdb、logging、assert等调试方法。通过实战项目,如优化斐波那契数列计算和调试Web应用,帮助读者掌握这些技术,提升编程效率。附有进一步学习资源,助力读者深入学习。
用Python编程基础提升工作效率
一、文件处理整明白了,少加两小时班 (敲暖气管子)领导让整理100个Excel表?手都干抽筋儿了?Python就跟铲雪车似的,哗哗给你整利索!
83 11
[oeasy]python081_ai编程最佳实践_ai辅助编程_提出要求_解决问题
本文介绍了如何利用AI辅助编程解决实际问题,以猫屎咖啡的购买为例,逐步实现将购买斤数换算成人民币金额的功能。文章强调了与AI协作时的三个要点:1) 去除无关信息,聚焦目标;2) 将复杂任务拆解为小步骤,逐步完成;3) 巩固已有成果后再推进。最终代码实现了输入验证、单位转换和价格计算,并保留两位小数。总结指出,在AI时代,人类负责明确目标、拆分任务和确认结果,AI则负责生成代码、解释含义和提供优化建议,编程不会被取代,而是会更广泛地融入各领域。
137 28
Python 高级编程与实战:深入理解数据科学与机器学习
本文深入探讨了Python在数据科学与机器学习中的应用,介绍了pandas、numpy、matplotlib等数据科学工具,以及scikit-learn、tensorflow、keras等机器学习库。通过实战项目,如数据可视化和鸢尾花数据集分类,帮助读者掌握这些技术。最后提供了进一步学习资源,助力提升Python编程技能。
|
4月前
|
[oeasy]python074_ai辅助编程_水果程序_fruits_apple_banana_加法_python之禅
本文回顾了从模块导入变量和函数的方法,并通过一个求和程序实例,讲解了Python中输入处理、类型转换及异常处理的应用。重点分析了“明了胜于晦涩”(Explicit is better than implicit)的Python之禅理念,强调代码应清晰明确。最后总结了加法运算程序的实现过程,并预告后续内容将深入探讨变量类型的隐式与显式问题。附有相关资源链接供进一步学习。
62 4

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问