Pandas、Matplotlib、Pyecharts数据分析实践

简介: 上篇中,我们对比了各种方式下的爬虫效率,并得到了安居客平台杭州的二手房数据3000条。今天,以此3000条数据为对象,我们尝试应用Pandas、Matplotlib和Pyecharts3个数据分析及可视化库进行练手实践。

00   分析目标  


  1. 对数据进行去重、筛选空值行,对部分字段进行清洗处理
  2. 多维度刻画杭州在售二手房信息,包括房源售价、主打标签、建筑年份、户型、楼层、行政区划等分布情况,给出在售房源标题的词云
  3. 分析不同区划、不同建筑年份、不同标签房源的数量和均价情况


注:所有数据处理和分析都应用pandas进行,可视化部分除3张复合图表由Matplotlib制作外,其余均应用Pyecharts完成。


 01   数据处理  


1.用pandas读取MySQL数据库中的3000条信息,并完成去重


db = pymysql.connect(host="localhost",user="root",password="123456",db="ajkhzesf")
sql_select = 'select title, houseType, area, floor, buildYear, adrres, tags, broker, totalPrice, price from hzesfmultire'
df = pd.read_sql(sql_select, db)
df = df.drop_duplicates()


640.png


2.对总价和均价两个字段进行处理并变换为浮点型


df['totalPrice'] = df['totalPrice'].str.replace('万','').astype(float)
df['price'] = df['price'].str.replace('元/m²','').astype(float)


640.png


3.通过小区/地址字段信息提取房源所在行政区划


regions = ['上城区','下城区','拱墅区','滨江区','江干区','西湖区','萧山区','余杭区','临安市','富阳区','建德市','淳安县','桐庐县']
df['region'] = ""
for region in regions:
   df.region[df['adrres'].str.contains(region[:2])] = region
df['region']


640.png


后续做图需要,这里临安仍以”临安市”存在


02   多维度刻画二手房市场  


1.   房源售价


640.png


总价200万、单价2.3万,对于杭州这样的大都市来说,也算是刚需友好了。


2.   主打标签


640.png


同新房市场一样,房源的售卖标签还是主要围绕品质、配套、出行和宜居几个方面来宣传。


3.   建筑年份


640.png

“满五”、“满二”政策下,2014年注定成为二手房市场存量最大的建筑年份。


4.   户型/楼层


640.png


640.png

如果分别用一个词来概括二手房市场的户型和楼层特点,那么我选择“刚需”和“中庸”。


5.   行政区划


640.png


在二手房市场上,余杭的存量(2000+)以大比分完爆其他所有区划。


6.   在售房源标题词云


640.jpg

  • 精装、地铁、三房、户型,是最大卖点
  • 朝南、楼层、品质、车位,具有别样吸引力
  • 81/85/86/88/89/92,主打刚需市场


7.  最后给出中介经手的二手房数量信息


640.png

同时负责联络管理近40个房源信息,也是蛮拼的。


   03   二手房均价情况  


1.   不同区划均价


640.png



毫无疑问,6大主城区均价要更高一筹,萧山余杭作为杭州发展潜力股也有着较高的房价水平。外围区划则相对逊色不少。


2.   不同年份均价


640.png

如前所述,二手房市场数量最大的是2014年,因为刚好符合满五的低税政策; 2017年以后的房子因为意味着较高的计税,所以在售房源很少,而且因为房龄短均价高,整体市场偏小。


均价方面,总体而言年份越早的房子均价越低,但2010年——2013年例外,具体查询结果如下,2011年在售房源数量及较少,而又夹杂一些主城区的豪宅;而2013年的低均价,则很大程度上是由于在售房源偏远城区的较多,本身房价较低。所以,小样本数据的局限性造成均价曲线上的严重失衡。


640.png

在售的2013年低房价Top10


640.png

在售的2011年高房价Top10


3.   不同标签均价统计了5个最有代表性的标签,并分别对包含该标签不包含该标签的样本进行了统计(图中的每对标签数据,左侧为包含该标签的结果,右侧则为不包含该标签),共得到10组数据。


640.png

对比来看,

  • 数量方面,包含这些优势的房源数量均为少数,无一例外的要少于相应不包含该标签的房源数量,尤其是在“繁华地段”和“南北通透”这两个属性上,差距尤为明显,印证了优质房源的稀缺性;
  • 均价方面,对比结果则略显戏剧性:在五个象征着优质房源的标签中,只有“近地铁”和“南北通透”意味着更高的均价,而其他则还看不出这样的特点,甚至跟大众印象还有很大出入。当然,再次不排除这是由小样本造成的。



目录
相关文章
|
4月前
|
SQL 存储 缓存
基于 StarRocks + Iceberg,TRM Labs 构建 PB 级数据分析平台实践
从 BigQuery 到开放数据湖,区块链情报公司 TRM Labs 的数据平台演进实践
|
11月前
|
数据采集 存储 数据挖掘
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第27天】在数据分析领域,Python的Pandas库因其强大的数据处理能力而备受青睐。本文介绍了Pandas在数据导入、清洗、转换、聚合、时间序列分析和数据合并等方面的高效技巧,帮助数据分析师快速处理复杂数据集,提高工作效率。
325 0
|
10月前
|
数据可视化 数据挖掘 开发者
Pandas数据可视化:matplotlib集成(df)
Pandas 是 Python 中强大的数据分析库,Matplotlib 是常用的绘图工具。两者结合可方便地进行数据可视化,帮助理解数据特征和趋势。本文从基础介绍如何在 Pandas 中集成 Matplotlib 绘制图表,如折线图、柱状图等,并深入探讨常见问题及解决方案,包括图表显示不完整、乱码、比例不合适、多子图布局混乱、动态更新图表等问题,提供实用技巧和代码示例。掌握这些方法后,你将能更高效地处理数据可视化任务。
326 9
|
10月前
|
DataWorks 数据挖掘 大数据
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间,通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率,DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
|
11月前
|
SQL 并行计算 数据挖掘
一份写给数据工程师的 Polars 迁移指南:将 Pandas 速度提升 20 倍代码重构实践
Polars作为现代化的数据处理框架,通过先进的工程实践和算法优化,为数据科学工作者提供了高效的数据处理工具。在从Pandas迁移时,理解这些核心概念和最佳实践将有助于充分发挥Polars的性能优势。
673 4
|
11月前
|
运维 数据挖掘 网络安全
场景实践 | 基于Flink+Hologres搭建GitHub实时数据分析
基于Flink和Hologres构建的实时数仓方案在数据开发运维体验、成本与收益等方面均表现出色。同时,该产品还具有与其他产品联动组合的可能性,能够为企业提供更全面、更智能的数据处理和分析解决方案。
|
11月前
|
数据采集 数据可视化 数据处理
Python数据科学:Pandas库入门与实践
Python数据科学:Pandas库入门与实践
|
11月前
|
机器学习/深度学习 数据采集 数据挖掘
解锁 Python 数据分析新境界:Pandas 与 NumPy 高级技巧深度剖析
Pandas 和 NumPy 是 Python 中不可或缺的数据处理和分析工具。本文通过实际案例深入剖析了 Pandas 的数据清洗、NumPy 的数组运算、结合两者进行数据分析和特征工程,以及 Pandas 的时间序列处理功能。这些高级技巧能够帮助我们更高效、准确地处理和分析数据,为决策提供支持。
235 2
|
11月前
|
数据采集 数据可视化 数据处理
如何使用Python实现一个交易策略。主要步骤包括:导入所需库(如`pandas`、`numpy`、`matplotlib`)
本文介绍了如何使用Python实现一个交易策略。主要步骤包括:导入所需库(如`pandas`、`numpy`、`matplotlib`),加载历史数据,计算均线和其他技术指标,实现交易逻辑,记录和可视化交易结果。示例代码展示了如何根据均线交叉和价格条件进行开仓、止损和止盈操作。实际应用时需注意数据质量、交易成本和风险管理。
484 5
|
11月前
|
存储 数据挖掘 数据处理
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第26天】Python 是数据分析领域的热门语言,Pandas 库以其高效的数据处理功能成为数据科学家的利器。本文介绍 Pandas 在数据读取、筛选、分组、转换和合并等方面的高效技巧,并通过示例代码展示其实际应用。
229 2

热门文章

最新文章