Python爬虫系列实战-采集NBA常规赛数据分析三分命中率

简介: 爬取的网站为:stat-nba.com,这里爬取的是NBA2016-2017赛季常规赛至2017年1月7日的数据;改变url_header和url_tail即可爬取特定的其他数据。

爬取的网站为:stat-nba.com,这里爬取的是NBA2016-2017赛季常规赛至2017年1月7日的数据;
改变url_header和url_tail即可爬取特定的其他数据。

import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import requests
import time
import urllib
from bs4 import BeautifulSoup
import re
from pyExcelerator import *
def getURLLists(url_header,url_tail,pages):
  """
  获取所有页面的URL列表
  """
  url_lists = []
  url_0 = url_header+'0'+url_tail
  print url_0
  url_lists.append(url_0)
  for i in range(1,pages+1):
    url_temp = url_header+str(i)+url_tail
    url_lists.append(url_temp)
  return url_lists
def getNBAAllData(url_lists):
  """
  获取所有2017赛季NBA常规赛数据
  """
  datasets = ['']
  for item in url_lists:
    data1 = getNBASingleData(item)
    datasets.extend(data1)
  #去掉数据里的空元素
  for item in datasets[:]:
    if len(item) == 0:
      datasets.remove(item)
  return datasets
def getNBASingleData(url):
  """
  获取1个页面NBA常规赛数据
  """
  # url = 'http://stat-nba.com/query_team.php?QueryType=game&order=1&crtcol=date_out&GameType=season&PageNum=3000&Season0=2016&Season1=2017'
  # html = requests.get(url).text
  html = urllib.urlopen(url).read()
  # print html
  soup = BeautifulSoup(html)
  data = soup.html.body.find('tbody').text
  list_data = data.split('\n')
  # with open('nba_data.txt','a') as fp:
  #   fp.write(data)
  # for item in list_data[:]:
  #   if len(item) == 0:
  #     list_data.remove(item)
  return list_data
def saveDataToExcel(datasets,sheetname,filename):
  book = Workbook()
  sheet = book.add_sheet(sheetname)
  sheet.write(0,0,u'序号')
  sheet.write(0,1,u'球队')
  sheet.write(0,2,u'时间')
  sheet.write(0,3,u'结果')
  sheet.write(0,4,u'主客')
  sheet.write(0,5,u'比赛')
  sheet.write(0,6,u'投篮命中率')
  sheet.write(0,7,u'命中数')
  sheet.write(0,8,u'出手数')
  sheet.write(0,9,u'三分命中率')
  sheet.write(0,10,u'三分命中数')
  sheet.write(0,11,u'三分出手数')
  sheet.write(0,12,u'罚球命中率')
  sheet.write(0,13,u'罚球命中数')
  sheet.write(0,14,u'罚球出手数')
  sheet.write(0,15,u'篮板')
  sheet.write(0,16,u'前场篮板')
  sheet.write(0,17,u'后场篮板')
  sheet.write(0,18,u'助攻')
  sheet.write(0,19,u'抢断')
  sheet.write(0,20,u'盖帽')
  sheet.write(0,21,u'失误')
  sheet.write(0,22,u'犯规')
  sheet.write(0,23,u'得分')
  num = 24
  row_cnt = 0
  data_cnt = 0
  data_len = len(datasets)
  print 'data_len:',data_len
  while(data_cnt< data_len):
    row_cnt += 1
    print '序号:',row_cnt
    for col in range(num):
        # print col
        sheet.write(row_cnt,col,datasets[data_cnt])
        data_cnt += 1
  book.save(filename)
def writeDataToTxt(datasets):
  fp = open('nba_data.txt','w')
  line_cnt = 1
  for i in range(len(datasets)-1):
    #球队名称对齐的操作:如果球队名字过短或者为76人队是 球队名字后面加两个table 否则加1个table
    if line_cnt % 24 == 2 and len(datasets[i]) < 5 or datasets[i] == u'费城76人':
      fp.write(datasets[i]+'\t\t')
    else:
      fp.write(datasets[i]+'\t')
    line_cnt += 1
    if line_cnt % 24 == 1:
      fp.write('\n')
  fp.close()
if __name__ == "__main__":
  pages = int(1132/150)
  url_header = 'http://stat-nba.com/query_team.php?page='
  url_tail = '&QueryType=game&order=1&crtcol=date_out&GameType=season&PageNum=3000&Season0=2016&Season1=2017#label_show_result'
  url_lists = getURLLists(url_header,url_tail,pages)
  datasets = getNBAAllData(url_lists)
  writeDataToTxt(datasets)
  sheetname = 'nba normal data 2016-2017'
  str_time = time.strftime('%Y-%m-%d',time.localtime(time.time()))
  filename = 'nba_normal_data'+str_time+'.xls'
  saveDataToExcel(datasets,sheetname,filename)

相关文章
|
3天前
|
数据采集 数据可视化 数据挖掘
使用Python编写Web爬虫实现数据采集与分析
在当今信息化时代,数据是企业发展和决策的重要依据。本文将介绍如何使用Python编写Web爬虫来实现对特定网站数据的自动采集,并结合数据分析技术,为读者展示如何利用爬虫技术获取有价值的信息并进行有效的数据处理和分析。
|
3天前
|
数据采集 数据挖掘 Python
Python 爬虫实战
Python爬虫可以用于爬取淘宝商品数据,并对这些数据进行数据分析。下面是一个简单的示例,展示如何使用Python爬取淘宝商品数据并进行数据分析。
|
3天前
|
机器学习/深度学习 数据可视化 数据挖掘
Python在数据分析中的强大应用
【2月更文挑战第10天】 数据分析作为当今信息时代的重要技术手段,已经成为各行各业的核心竞争力所在。本文将深入探讨Python在数据分析领域的强大应用,从数据处理到可视化分析,展现了Python作为一种高效、灵活的编程语言在数据分析中的无限潜力。
|
1天前
|
数据采集 数据挖掘 数据处理
Python在数据分析中的应用实践
【2月更文挑战第12天】 本文深入探讨了Python语言在数据分析领域的应用,通过介绍Python的几个关键数据分析库(Pandas、NumPy、Matplotlib)的基本使用方法和案例实践,展示了Python处理数据的强大能力。不同于传统的摘要,本文旨在通过实际操作案例,让读者能够直观感受到Python在数据分析中的实际应用价值,从而激发读者进一步探索Python数据分析能力的兴趣。
|
1天前
|
机器学习/深度学习 数据可视化 数据挖掘
Python在数据分析中的应用探索
【2月更文挑战第12天】 本文深度探讨了Python语言在数据分析领域的广泛应用及其背后的技术原理。与传统摘要不同,我们采用一种更具启发性的方式,引导读者从Python的基础语法出发,深入到数据处理、可视化、以及机器学习等高级应用,展现Python如何成为数据科学家和分析师首选工具的过程。文章不仅详细介绍了Python处理数据的各种库(如Pandas、NumPy、Matplotlib、Scikit-learn等),还通过案例分析,展示了如何利用这些工具解决实际问题,从而使读者能够获得即刻可用的知识和技能。
|
2天前
|
机器学习/深度学习 数据可视化 数据挖掘
Python在数据分析中的应用与发展
【2月更文挑战第11天】随着数据时代的到来,Python作为一种强大且灵活的编程语言,在数据分析领域扮演着愈发重要的角色。本文将探讨Python在数据分析中的广泛应用及其未来的发展趋势,为读者带来对这一技术的全面了解。
12 5
|
2天前
|
机器学习/深度学习 数据可视化 数据挖掘
Python在数据分析中的应用与发展趋势
【2月更文挑战第11天】数据分析作为当今信息时代的重要工具,在各行各业都得到了广泛的应用。Python作为一种简洁、易学、功能强大的编程语言,被越来越多的数据分析师所接受和使用。本文将探讨Python在数据分析领域的应用现状及未来发展趋势,分析其在数据处理、可视化、机器学习等方面的优势以及面临的挑战。
|
3天前
|
机器学习/深度学习 数据采集 数据可视化
Python在数据分析中的关键作用
【2月更文挑战第10天】随着数据规模的不断增长,数据分析在各行各业中变得越来越重要。而Python作为一种简单易学、功能强大的编程语言,正逐渐成为数据分析师的首选工具。本文将介绍Python在数据分析中的关键作用,并讨论其在数据收集、清洗、可视化和建模等方面的应用。
6 0
|
3天前
|
机器学习/深度学习 数据可视化 数据挖掘
Python在数据分析中的重要性及应用
【2月更文挑战第9天】随着大数据时代的到来,数据分析在各个领域中扮演着至关重要的角色。而Python作为一种简单易学、功能强大的编程语言,正日益成为数据科学家和分析师们的首选工具。本文将探讨Python在数据分析领域中的重要性,并介绍其在数据处理、可视化和机器学习等方面的应用。
|
4天前
|
数据采集 存储 数据挖掘
Python 爬虫实战之爬拼多多商品并做数据分析
在上面的代码中,我们使用pandas库创建DataFrame存储商品数据,并计算平均价格和平均销量。最后,我们将计算结果打印出来。此外,我们还可以使用pandas库提供的其他函数和方法来进行更复杂的数据分析和处理。 需要注意的是,爬取拼多多商品数据需要遵守拼多多的使用协议和规定,避免过度请求和滥用数据。