Python数据分析 | 泰坦尼克逻辑回归(下)

简介: Python数据分析 | 泰坦尼克逻辑回归

Python数据分析 | 泰坦尼克逻辑回归(上):https://developer.aliyun.com/article/1512112


titleDf = pd.get_dummies(titleDf['title'])    
titleDf.head()

结果:




full = pd.concat([full,titleDf],axis=1)    #添加one-hot编码产生的虚拟变量(dummy variable)到full中
full.head()

结果:



#对船舱号Cabin进行同样的one-hot编码处理
full['Cabin']=full['Cabin'].map(lambda c:c[0])    #取船舱号的首位做标识符
cabindf = pd.DataFrame()    #存放提取后的特征
cabindf = pd.get_dummies(full['Cabin'],prefix='Cabin')    #使用get_dummies进行one-hot编码,列名前缀是Cabin
full = pd.concat([full,cabindf],axis=1)    #添加one-hot编码产生的虚拟变量(dummy variable)到full中
full.drop('Cabin',axis=1,inplace=True)    #将原Cabin列删除
full.head()

结果:



#家庭数据Parch、SibSp:对于家庭数据选择计算家庭人数的方法提取特征
familydf=pd.DataFrame()    #存放提取后的特征
familydf['family_size']=full['SibSp']+full['Parch']+1
familydf['family_single']=familydf['family_size'].map(lambda a:1 if a==1 else 0)
familydf['family_small']=familydf['family_size'].map(lambda a:1 if 2<=a<=4 else 0)
familydf['family_large']=familydf['family_size'].map(lambda a:1 if 5<=a else 0)
full = pd.concat([full,familydf],axis=1)    #添加one-hot编码产生的虚拟变量(dummy variable)到full中
full.head()

结果:



full.info()

结果:




#查看相关性,使用corr生成相关系数矩阵
corrDf = full.corr()
corrDf

结果:



#查看各个特征与生存情况的相关性
corrDf['Survived'].sort_values(ascending=False)

结果:




#特征选择
full_x=pd.concat([titleDf,pclassdf,familydf,full['Fare'],cabindf,embarkeddf,full['Sex']],axis=1)
full_x.head()

结果:



print(full_x.shape)

结果:


#构建模型
#原始数据集有891条数据
sourceRow=891
#原始数据集特征
source_x=full_x.loc[0:sourceRow-1,:]
#原始数据集标签
source_y=full.loc[0:sourceRow-1,'Survived']
#预测数据集特征
pre_x=full_x.loc[sourceRow:,:]    #取sourceRow之后的数据
source_x.head()

结果:



#建立训练数据和测试数据
from sklearn.model_selection import train_test_split
train_x,test_x,train_y,test_y=train_test_split(source_x,source_y,train_size=0.8)
#数据集大小
print('原始数据集特征',source_x.shape,
      '训练数据集特征',train_x.shape,
      '测试数据集特征',test_x.shape)
print('原始数据集标签',source_y.shape,
      '训练数据集标签',train_y.shape,
      '测试数据集标签',test_y.shape)

结果:



#导入机器算法
from sklearn.linear_model import LogisticRegression
model=LogisticRegression()    #创建逻辑回归模型
model.fit(train_x,train_y)    #训练模型
#评估模型,查看正确率
model.score(test_x,test_y)

结果:可以看到这个正确率还是非常高的,可以用来后续的预测。



#通过机器学习模型,对预测数据生存情况进行预测
pre_y=model.predict(pre_x)
#将预测结果转换为整数型
pre_y=pre_y.astype(int)
#乘客ID
passenger_ID=full.loc[sourceRow:,'PassengerId']
#乘客名字
passenger_Name=full.loc[sourceRow:,'Name']
#数据框:乘客ID,预测结果
preDf=pd.DataFrame({'PassengerId':passenger_ID,'Name':passenger_Name,'Survived':pre_y})
preDf.head()

结果:预测结果为乘客编号、乘客姓名与是否生存。



#将文件保存到本地
preDf.to_csv('tintanic_prd.csv',index=False)


参考资料:

https://zhuanlan.zhihu.com/p/108969064

https://zhuanlan.zhihu.com/p/84353059

目录
相关文章
|
11月前
|
数据采集 数据可视化 数据挖掘
Python数据分析实战:Pandas处理结构化数据的核心技巧
在数据驱动时代,结构化数据是分析决策的基础。Python的Pandas库凭借其高效的数据结构和丰富的功能,成为处理结构化数据的利器。本文通过真实场景和代码示例,讲解Pandas的核心操作,包括数据加载、清洗、转换、分析与性能优化,帮助你从数据中提取有价值的洞察,提升数据处理效率。
543 3
|
数据采集 数据可视化 搜索推荐
Python数据分析全流程指南:从数据采集到可视化呈现的实战解析
在数字化转型中,数据分析成为企业决策核心,而Python凭借其强大生态和简洁语法成为首选工具。本文通过实战案例详解数据分析全流程,涵盖数据采集、清洗、探索、建模、可视化及自动化部署,帮助读者掌握从数据到业务价值的完整技能链。
1430 0
|
10月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析的入门指南
本文将引导读者了解如何使用Python进行数据分析,从安装必要的库到执行基础的数据操作和可视化。通过本文的学习,你将能够开始自己的数据分析之旅,并掌握如何利用Python来揭示数据背后的故事。
|
11月前
|
数据可视化 数据挖掘 大数据
基于python大数据的水文数据分析可视化系统
本研究针对水文数据分析中的整合难、分析单一和可视化不足等问题,提出构建基于Python的水文数据分析可视化系统。通过整合多源数据,结合大数据、云计算与人工智能技术,实现水文数据的高效处理、深度挖掘与直观展示,为水资源管理、防洪减灾和生态保护提供科学决策支持,具有重要的应用价值和社会意义。
|
12月前
|
存储 数据挖掘 大数据
基于python大数据的用户行为数据分析系统
本系统基于Python大数据技术,深入研究用户行为数据分析,结合Pandas、NumPy等工具提升数据处理效率,利用B/S架构与MySQL数据库实现高效存储与访问。研究涵盖技术背景、学术与商业意义、国内外研究现状及PyCharm、Python语言等关键技术,助力企业精准营销与产品优化,具有广泛的应用前景与社会价值。
|
机器学习/深度学习 数据采集 数据可视化
Python数据分析,别再死磕Excel了!
Python数据分析,别再死磕Excel了!
533 2
|
机器学习/深度学习 算法 数据挖掘
数据分析的 10 个最佳 Python 库
数据分析的 10 个最佳 Python 库
2078 4
数据分析的 10 个最佳 Python 库
|
存储 数据可视化 数据挖掘
使用Python进行数据分析和可视化
本文将引导你理解如何使用Python进行数据分析和可视化。我们将从基础的数据结构开始,逐步深入到数据处理和分析的方法,最后通过实际的代码示例来展示如何创建直观的数据可视化。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的见解和技巧。让我们一起探索数据的世界,发现隐藏在数字背后的故事!
529 5

推荐镜像

更多