Crawler:基于BeautifulSoup库+requests库+伪装浏览器的方式实现爬取14年所有的福彩网页的福彩3D相关信息,并将其保存到Excel表格中

简介: Crawler:基于BeautifulSoup库+requests库+伪装浏览器的方式实现爬取14年所有的福彩网页的福彩3D相关信息,并将其保存到Excel表格中

输出结果


本来想做个科学预测,无奈,我看不懂爬到的数据……

image.png


得到数据:3D(爬取的14年所有的福彩信息).rar


好吧,等我看到了再用机器学习算法预测一下……

完整代码,请点击获取http://1111111111111



核心代码


import requests

import BeautifulSoup

import xlwt

import time

#获取第一页的内容

def get_one_page(url):

headers = {

  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'

}

response = requests.get(url,headers=headers)

if response.status_code == 200:

  return response.text

return None

#解析第一页内容,数据结构化

def parse_one_page(html):

  soup = BeautifulSoup(html,'lxml')

  i = 0

  for item in soup.select('tr')[2:-1]:

      yield{

          'time':item.select('td')[i].text,

          'issue':item.select('td')[i+1].text,

          'digits':item.select('td em')[0].text,

          'ten_digits':item.select('td em')[1].text,

          'hundred_digits':item.select('td em')[2].text,

          'single_selection':item.select('td')[i+3].text,

          'group_selection_3':item.select('td')[i+4].text,

          'group_selection_6':item.select('td')[i+5].text,

          'sales':item.select('td')[i+6].text,

          'return_rates':item.select('td')[i+7].text

    }

#将数据写入Excel表格中

def write_to_excel():

  f = xlwt.Workbook()                            

  sheet1 = f.add_sheet('3D',cell_overwrite_ok=True)

  row0 = ["开奖日期","期号","个位数","十位数","百位数","单数","组选3","组选6","销售额","返奖比例"]

  #写入第一行

  for j in range(0,len(row0)):

      sheet1.write(0,j,row0[j])

 

  #依次爬取每一页内容的每一期信息,并将其依次写入Excel

  i=0

  for k in range(1,247):

      url = 'http://kaijiang.zhcw.com/zhcw/html/3d/list_%s.html' %(str(k))

……

  f.save('3D.xls')

def main():

  write_to_excel()

if __name__ == '__main__':

  main()

 


相关文章
|
1月前
|
数据安全/隐私保护
杨老师课堂之Excel VBA 程序开发第七讲表格数据高亮显示
杨老师课堂之Excel VBA 程序开发第七讲表格数据高亮显示
23 1
|
16天前
|
数据挖掘 Python
【Python】已解决:Python pandas读取Excel表格某些数值字段结果为NaN问题
【Python】已解决:Python pandas读取Excel表格某些数值字段结果为NaN问题
26 0
|
11天前
|
机器人 Shell 开发者
`roslibpy`是一个Python库,它允许非ROS(Robot Operating System)环境(如Web浏览器、移动应用等)与ROS环境进行交互。通过使用`roslibpy`,开发者可以编写Python代码来远程控制ROS节点,发布和订阅话题,以及调用服务。
`roslibpy`是一个Python库,它允许非ROS(Robot Operating System)环境(如Web浏览器、移动应用等)与ROS环境进行交互。通过使用`roslibpy`,开发者可以编写Python代码来远程控制ROS节点,发布和订阅话题,以及调用服务。
|
12天前
|
数据格式 Python
Python代码示例,读取excel表格,将行数据转为列数据。(10)
【7月更文挑战第10天】Python代码示例,读取excel表格,将行数据转为列数据。
30 2
|
16天前
|
Python
【Python】已解决:(Python写入Excel表格报错)‘NoneType’ object has no attribute ‘write’
【Python】已解决:(Python写入Excel表格报错)‘NoneType’ object has no attribute ‘write’
17 0
|
27天前
必知的技术知识:Excel通过身份证获取出生年月,性别,年龄,生肖,星座,省份等信息总结归纳
必知的技术知识:Excel通过身份证获取出生年月,性别,年龄,生肖,星座,省份等信息总结归纳
11 0
|
1月前
|
SQL 存储 数据可视化
excel表格sql数据库
Excel表格和SQL数据库是两种不同的数据管理工具,它们各自有自己的特点和用途。下面我将分别介绍它们,并探讨它们之间的关系和互操作性。 一、Excel表格 Excel是微软公司推出的一款
|
1月前
|
分布式计算 大数据 数据处理
MaxCompute操作报错合集之在本地用tunnel命令上传excel表格到mc遇到报错: tunnel upload C:\Users***\Desktop\a.xlsx mc里的非分区表名 -s false;该怎么办
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
2月前
|
前端开发 Java
基于Java爬取微博数据(二) 正文长文本+导出数据Excel
【5月更文挑战第12天】基于Java爬取微博数据,正文长文本+导出数据Excel
|
7天前
|
Java 数据安全/隐私保护
Java无模版导出Excel 0基础教程
经常写数据导出到EXCEL,没有模板的情况下使用POI技术。以此作为记录,以后方便使用。 2 工具类 样式工具: 处理工具Java接口 水印工具 导出Excel工具类 3 测试代码 与实际复杂业务不同 在此我们只做模拟 Controller Service 4 导出测试 使用Postman进行接口测试,没接触过Postman的小伙伴可以看我这篇博客Postman导出excel文件保存为文件可以看到导出很成功,包括水印 sheet页名称自适应宽度。还有一些高亮……等功能可以直接搜索使用
Java无模版导出Excel 0基础教程