声明：此篇文章主要是观看静觅教学视频后做的笔记，原教程地址：https://cuiqingcai.com/
流程框架
1.抓取单页内容：利用requests请求目标站点，得到单个网页HTML代码，返回结果。
2.正则表达式分析：根据HTML代码分析得到电影的名称，主演，上映时间，评分，图片链接等信息
3.开启循环及多线程：对多页内容遍历，开启多线程提高抓取速度
4.保存至文件：通过文件的形式将结果保存，每一部电影一个结果一行Json字符串
流程设计
1.maoyan_Spider函数是一个整体的爬虫调度器，其中包含了请求的url地址，headers请求头
def maoyan_Spider(offset):
"""
作用：猫眼电影调度器
offset:get的页码参数
"""
url = 'http://maoyan.com/board/4?offset=' + str(offset)
headers = {
'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'
}
# 获取单页html
html = get_one_page(url, headers)
# print(html)
# 将每一页的电影信息解析，并写入文件中
for item in parse_one_page(html):
# print(item)
item_str = json.dumps(item, ensure_ascii=False)
write_to_file(item_str) 2.首先以单个网页源代码进行分析，进入到猫眼电影官网榜单，通过构造请求可以拿到http://maoyan.com/board/4?的源码
def get_one_page(url, headers):
"""
作用：获取一页的源码
url:请求地址
headers：请求头
"""
try:
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
return None
except RequestException:
return None3.接下来感觉整个爬虫的难点就在于解析，源码有了，这里我使用的还是正则来提取数据，稍有字符写错，可能就解析不出来了。下面以Top榜第一名为例进行解析，并转化为json格式保存
<dd>
<i class="board-index board-index-1">1</i>
<a href="/films/1203" title="霸王别姬" class="image-link" data-act="boarditem-click" data-val="{movieId:1203}">
<img src="//ms0.meituan.net/mywww/image/loading_2.e3d934bf.png" alt="" class="poster-default">
<img alt="霸王别姬" class="board-img" src="http://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c">
</a>
<div class="board-item-main">
<div class="board-item-content">
<div class="movie-item-info">
<p class="name"><a href="/films/1203" title="霸王别姬" data-act="boarditem-click" data-val="{movieId:1203}">霸王别姬</a></p>
<p class="star">主演：张国荣,张丰毅,巩俐</p>
<p class="releasetime">上映时间：1993-01-01(中国香港)</p> </div>
<div class="movie-item-number score-num">
<p class="score"><i class="integer">9.</i><i class="fraction">6</i></p>
</div>
</div>
</div>
</dd>
可以得出其字符串匹配规则是
'<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>'4.然后通过使用re模块findall方法找到所有电影信息，电影信息包含排名，图片地址，电影名称，主演，上映时间，评分。findall方法返回的是一个元素为元组的列表，然后遍历这些元素通过yield生成json字典形式
def parse_one_page(html):
"""
作用：解析一页的源码
html：网页源码
"""
pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>', re.S)
items = pattern.findall(html)
# print(items)
for item in items:
yield {
'index': item[0],
'image': item[1],
'title': item[2],
'actor': item[3].strip()[3:],
'time': item[4].strip()[5:],
'score': item[5]+item[6]
} 5.最后是写入文件，因为此处是对每个电影信息进行写入，所以注意写入方法用的是a，不是w。否则写入的内容只有一个电影信息，也就是Top100
def write_to_file(item):
"""
作用：往文件中写入内容
item：处理后的单个电影信息
"""
with open('result.txt', 'a', encoding='utf-8') as f:
f.write(item + '\n')
