Python爬虫(三)——开封市58同城出租房决策树构建

简介: 决策树框架: 1 # coding=utf-8 2 import matplotlib.pyplot as plt 3 4 decisionNode = dict(boxstyle='sawtooth', fc='10') 5 leafNode = dict(boxstyle='round4', fc='0.

决策树框架:

 1 # coding=utf-8
 2 import matplotlib.pyplot as plt
 3 
 4 decisionNode = dict(boxstyle='sawtooth', fc='10')
 5 leafNode = dict(boxstyle='round4', fc='0.8')
 6 arrow_args = dict(arrowstyle='<-')
 7 
 8 
 9 def plotNode(nodeTxt, centerPt, parentPt, nodeType):
10     createPlot.ax1.annotate(nodeTxt, xy=parentPt, xycoords='axes fraction', \
11                             xytext=centerPt, textcoords='axes fraction', \
12                             va='center', ha='center', bbox=nodeType, arrowprops \
13                                 =arrow_args)
14 
15 
16 def getNumLeafs(myTree):
17     numLeafs = 0
18     firstStr = list(myTree.keys())[0]
19     secondDict = myTree[firstStr]
20     for key in secondDict:
21         if (type(secondDict[key]).__name__ == 'dict'):
22             numLeafs += getNumLeafs(secondDict[key])
23         else:
24             numLeafs += 1
25     return numLeafs
26 
27 
28 def getTreeDepth(myTree):
29     maxDepth = 0
30     firstStr = list(myTree.keys())[0]
31     secondDict = myTree[firstStr]
32     for key in secondDict:
33         if (type(secondDict[key]).__name__ == 'dict'):
34             thisDepth = 1 + getTreeDepth((secondDict[key]))
35         else:
36             thisDepth = 1
37         if thisDepth > maxDepth: maxDepth = thisDepth
38     return maxDepth
39 
40 
41 def retrieveTree(i):
42     # 预先设置树的信息
43     listOfTree = []
44     return listOfTree[i]
45 
46 
47 def createPlot(inTree):
48     fig = plt.figure(1, facecolor='white')
49     fig.clf()
50     axprops = dict(xticks=[], yticks=[])
51     createPlot.ax1 = plt.subplot(111, frameon=False, **axprops)
52     plotTree.totalW = float(getNumLeafs(inTree))
53     plotTree.totalD = float(getTreeDepth(inTree))
54     plotTree.xOff = -0.5 / plotTree.totalW;
55     plotTree.yOff = 1.0
56     plotTree(inTree, (0.5, 1.0), '')
57     plt.title('kaifeng.58.com\n')
58     plt.show()
59 
60 
61 def plotMidText(cntrPt, parentPt, txtString):
62     xMid = (parentPt[0] - cntrPt[0]) / 2.0 + cntrPt[0]
63     yMid = (parentPt[1] - cntrPt[1]) / 2.0 + cntrPt[1]
64     createPlot.ax1.text(xMid, yMid, txtString)
65 
66 
67 def plotTree(myTree, parentPt, nodeTxt):
68     numLeafs = getNumLeafs(myTree)
69     depth = getTreeDepth(myTree)
70     firstStr = list(myTree.keys())[0]
71     cntrPt = (plotTree.xOff + (1.0 + float(numLeafs)) / 2.0 / plotTree.totalW, \
72               plotTree.yOff)
73     plotMidText(cntrPt, parentPt, nodeTxt)
74     plotNode(firstStr, cntrPt, parentPt, decisionNode)
75     secondDict = myTree[firstStr]
76     plotTree.yOff = plotTree.yOff - 1.0 / plotTree.totalD
77     for key in secondDict:
78         if type(secondDict[key]).__name__ == 'dict':
79             plotTree(secondDict[key], cntrPt, str(key))
80         else:
81             plotTree.xOff = plotTree.xOff + 1.0 / plotTree.totalW
82             plotNode(secondDict[key], (plotTree.xOff, plotTree.yOff), \
83                      cntrPt, leafNode)
84             plotMidText((plotTree.xOff, plotTree.yOff), cntrPt, str(key))
85     plotTree.yOff = plotTree.yOff + 1.0 / plotTree.totalD
86 
87 
88 if __name__ == '__main__':
89     myTree = retrieveTree(2)
90     createPlot(myTree)

 

构造信息:

1  [{'no surfacing': {0: 'no', 1: {'flipper': {0: 'no', 1: 'yes'}}}},
2                   {'no surfacing': {0: 'no', 1: {'flipper': {0: {'head': {0: 'no', 1: 'yes'}}, 1: 'no'}}}},
3                   {'House prices <= 2000': {
4                       1: {'Room size >= 50': {1: 'Yes', 0: 'No'}}, 0: 'No'}}]

 

结果:

 

 

目录
相关文章
|
4天前
|
数据采集 数据可视化 数据挖掘
Python爬虫实战:抓取网站数据并生成报表
本文将介绍如何使用Python编写简单而高效的网络爬虫,从指定的网站上抓取数据,并利用数据分析库生成可视化报表。通过学习本文内容,读者将能够掌握基本的爬虫技术和数据处理方法,为日后开发更复杂的数据采集与分析工具打下坚实基础。
|
3天前
|
数据采集 数据可视化 数据挖掘
使用Python编写Web爬虫实现数据采集与分析
在当今信息化时代,数据是企业发展和决策的重要依据。本文将介绍如何使用Python编写Web爬虫来实现对特定网站数据的自动采集,并结合数据分析技术,为读者展示如何利用爬虫技术获取有价值的信息并进行有效的数据处理和分析。
|
3天前
|
数据采集 数据挖掘 Python
Python 爬虫实战
Python爬虫可以用于爬取淘宝商品数据,并对这些数据进行数据分析。下面是一个简单的示例,展示如何使用Python爬取淘宝商品数据并进行数据分析。
|
4天前
|
数据采集 存储 数据挖掘
Python 爬虫实战之爬拼多多商品并做数据分析
在上面的代码中,我们使用pandas库创建DataFrame存储商品数据,并计算平均价格和平均销量。最后,我们将计算结果打印出来。此外,我们还可以使用pandas库提供的其他函数和方法来进行更复杂的数据分析和处理。 需要注意的是,爬取拼多多商品数据需要遵守拼多多的使用协议和规定,避免过度请求和滥用数据。
|
4天前
|
编译器 API UED
Python 之父再发文:构建一个 PEG 解析器
Python 之父再发文:构建一个 PEG 解析器
8 1
|
4天前
|
数据采集 负载均衡 应用服务中间件
Python爬虫之Splash负载均衡配置#7
Splash负载均衡配置【2月更文挑战第28天】
14 0
|
11天前
|
数据采集 存储 架构师
上进计划 | Python爬虫经典实战项目——电商数据爬取!
在如今这个网购风云从不间歇的时代,购物狂欢持续不断,一年一度的“6.18年中大促”、“11.11购物节”等等成为了网购电商平台的盛宴。在买买买的同时,“如何省钱?”成为了大家最关心的问题。 比价、返利、优惠券都是消费者在网购时的刚需,但在这些“优惠”背后已产生灰色地带。
|
3月前
|
数据采集 Python
Python爬虫:实现爬取、下载网站数据的几种方法
Python爬虫:实现爬取、下载网站数据的几种方法
87 1
|
11天前
|
数据采集 前端开发 JavaScript
Python爬虫之Ajax数据爬取基本原理#6
Ajax数据爬取原理【2月更文挑战第19天】
18 1
Python爬虫之Ajax数据爬取基本原理#6
|
2月前
|
数据采集 Linux API
Python爬虫实践指南:利用cpr库爬取技巧
Python爬虫实践指南:利用cpr库爬取技巧