Python数据分析 | 泰坦尼克逻辑回归(下)

简介: Python数据分析 | 泰坦尼克逻辑回归

Python数据分析 | 泰坦尼克逻辑回归(上):https://developer.aliyun.com/article/1512112


titleDf = pd.get_dummies(titleDf['title'])    
titleDf.head()

结果:




full = pd.concat([full,titleDf],axis=1)    #添加one-hot编码产生的虚拟变量(dummy variable)到full中
full.head()

结果:



#对船舱号Cabin进行同样的one-hot编码处理
full['Cabin']=full['Cabin'].map(lambda c:c[0])    #取船舱号的首位做标识符
cabindf = pd.DataFrame()    #存放提取后的特征
cabindf = pd.get_dummies(full['Cabin'],prefix='Cabin')    #使用get_dummies进行one-hot编码,列名前缀是Cabin
full = pd.concat([full,cabindf],axis=1)    #添加one-hot编码产生的虚拟变量(dummy variable)到full中
full.drop('Cabin',axis=1,inplace=True)    #将原Cabin列删除
full.head()

结果:



#家庭数据Parch、SibSp:对于家庭数据选择计算家庭人数的方法提取特征
familydf=pd.DataFrame()    #存放提取后的特征
familydf['family_size']=full['SibSp']+full['Parch']+1
familydf['family_single']=familydf['family_size'].map(lambda a:1 if a==1 else 0)
familydf['family_small']=familydf['family_size'].map(lambda a:1 if 2<=a<=4 else 0)
familydf['family_large']=familydf['family_size'].map(lambda a:1 if 5<=a else 0)
full = pd.concat([full,familydf],axis=1)    #添加one-hot编码产生的虚拟变量(dummy variable)到full中
full.head()

结果:



full.info()

结果:




#查看相关性,使用corr生成相关系数矩阵
corrDf = full.corr()
corrDf

结果:



#查看各个特征与生存情况的相关性
corrDf['Survived'].sort_values(ascending=False)

结果:




#特征选择
full_x=pd.concat([titleDf,pclassdf,familydf,full['Fare'],cabindf,embarkeddf,full['Sex']],axis=1)
full_x.head()

结果:



print(full_x.shape)

结果:


#构建模型
#原始数据集有891条数据
sourceRow=891
#原始数据集特征
source_x=full_x.loc[0:sourceRow-1,:]
#原始数据集标签
source_y=full.loc[0:sourceRow-1,'Survived']
#预测数据集特征
pre_x=full_x.loc[sourceRow:,:]    #取sourceRow之后的数据
source_x.head()

结果:



#建立训练数据和测试数据
from sklearn.model_selection import train_test_split
train_x,test_x,train_y,test_y=train_test_split(source_x,source_y,train_size=0.8)
#数据集大小
print('原始数据集特征',source_x.shape,
      '训练数据集特征',train_x.shape,
      '测试数据集特征',test_x.shape)
print('原始数据集标签',source_y.shape,
      '训练数据集标签',train_y.shape,
      '测试数据集标签',test_y.shape)

结果:



#导入机器算法
from sklearn.linear_model import LogisticRegression
model=LogisticRegression()    #创建逻辑回归模型
model.fit(train_x,train_y)    #训练模型
#评估模型,查看正确率
model.score(test_x,test_y)

结果:可以看到这个正确率还是非常高的,可以用来后续的预测。



#通过机器学习模型,对预测数据生存情况进行预测
pre_y=model.predict(pre_x)
#将预测结果转换为整数型
pre_y=pre_y.astype(int)
#乘客ID
passenger_ID=full.loc[sourceRow:,'PassengerId']
#乘客名字
passenger_Name=full.loc[sourceRow:,'Name']
#数据框:乘客ID,预测结果
preDf=pd.DataFrame({'PassengerId':passenger_ID,'Name':passenger_Name,'Survived':pre_y})
preDf.head()

结果:预测结果为乘客编号、乘客姓名与是否生存。



#将文件保存到本地
preDf.to_csv('tintanic_prd.csv',index=False)


参考资料:

https://zhuanlan.zhihu.com/p/108969064

https://zhuanlan.zhihu.com/p/84353059

目录
相关文章
|
4天前
|
数据挖掘 计算机视觉 Python
Python数据分析13
Pillow 是 PIL(Python Imaging Library)的升级版本,适应 Python 3 的更新而诞生,带来了诸多新特性。它采用模块化结构,主要包括:图像功能模块(Image)、图像滤波功能模块(ImageFilter)、图像增强功能模块(ImageEnhance)和图像绘画功能模块(ImageDraw)。Pillow 支持从多种图像格式读取数据,进行处理,并能输出为常见格式,其官网提供了丰富的应用示例供学习参考。
16 4
|
1天前
|
SQL 数据采集 数据可视化
深入 Python 数据分析:高级技术与实战应用
本文系统地介绍了Python在高级数据分析中的应用,涵盖数据读取、预处理、探索及可视化等关键环节,并详细展示了聚类分析、PCA、时间序列分析等高级技术。通过实际案例,帮助读者掌握解决复杂问题的方法,提升数据分析技能。使用pandas、matplotlib、seaborn及sklearn等库,提供了丰富的代码示例,便于实践操作。
103 64
|
2天前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析的入门指南
【9月更文挑战第33天】本文旨在为初学者提供一个关于使用Python进行数据分析的全面概述。我们将从基本的安装和设置开始,逐步介绍数据处理、数据可视化以及机器学习的基本概念和应用。文章将通过实际代码示例来展示如何使用Python及其相关库来解决常见的数据分析问题。
|
5天前
|
数据挖掘 Serverless 计算机视觉
Python数据分析 11
SciPy是一款专为数学、科学及工程应用设计的开源软件,它基于NumPy的n维数组构建,提供了丰富的数值例程,包括积分、优化、线性代数等,适用于各种操作系统,安装简易且免费。它还包含了如快速傅里叶变换、信号处理、图像处理、特殊函数计算等功能,满足了科学计算与工程需求。相较于NumPy的一般数组,SciPy提供了真正的矩阵及其相关运算支持。
24 7
|
5天前
|
机器学习/深度学习 数据挖掘 算法框架/工具
Python数据分析6
Keras是一个用Python编写的深度学习框架,支持TensorFlow等多种后端,以其高度模块化、用户友好性和易扩展性著称。它不仅适用于搭建普通神经网络,还能够构建自编码器、循环神经网络、卷积神经网络等多种模型,并且可以无缝切换CPU和GPU。相比Theano,Keras极大简化了神经网络模型的搭建过程,使普通用户也能轻松创建复杂的深度学习模型,仅需几十行代码即可完成。需要注意的是,Keras的预测函数采用`model.predict()`输出概率,`model.predict_classes()`输出分类结果。
16 6
|
5天前
|
自然语言处理 搜索推荐 数据挖掘
Python 数据分析10
除了常用的Python数据挖掘建模库外,还有许多其他库也非常实用,例如 jieba、SciPy、OpenCV 和 Pillow 等。其中,jieba 是一个广泛使用的中文分词库,支持多种编程语言,包括 Python、R 和 C++,并且提供了三种分词模式:精确模式、全模式和搜索引擎模式。此外,jieba 还具备词性标注、添加自定义词典及关键词提取等功能,在 GitHub 社区中有较高讨论度,并拥有丰富的实例资源。
18 5
|
5天前
|
机器学习/深度学习 数据挖掘 PyTorch
Python数据分析7
PyTorch是由Facebook(现Meta)人工智能研究院于2017年开源的Python机器学习库,基于Torch构建,支持GPU加速和动态神经网络,适用于自然语言处理等领域。其灵活的API和简洁的语法使得构建和调试深度学习模型变得简单快捷,成为深度学习领域的热门工具之一。社区支持广泛,拥有丰富的应用领域库。
12 3
|
4天前
|
算法 数据挖掘 计算机视觉
Python数据分析12
OpenCV是由英特尔公司资助的开源计算机视觉库,集成了丰富的图像处理与计算机视觉算法,拥有超过500个函数,支持多种编程语言与操作系统。该库采用模块化设计,主要包括核心功能、图像处理、2D特征及GUI四个模块,广泛应用于产品检测、医学成像等多个领域。
11 1
|
5天前
|
机器学习/深度学习 并行计算 数据挖掘
Python数据分析8
飞桨(PaddlePaddle)是百度于2016年开源的一款学习框架,它以易用性、高效性、灵活性及可扩展性为特点,提供了涵盖核心深度学习框架、模型库、开发套件等在内的全面功能,并且支持大规模模型训练与多平台部署。此外,它不断优化性能,增强对各类硬件的支持,已在制造业、农业等多个领域广泛应用。
12 2
|
5天前
|
机器学习/深度学习 数据挖掘 TensorFlow
Python数据分析5
虽然scikit-learn功能强大,但对于人工神经网络这一重要模型却支持不足。人工神经网络在自然语言处理和图像识别等领域有着广泛应用,而深度学习作为其延伸,已成为研究热点。因此,在Python中实现神经网络变得尤为重要。目前主流的深度学习框架有TensorFlow、Keras、PyTorch、PaddlePaddle和Caffe等。其中,TensorFlow由Google于2015年推出,基于先前的深度学习基础框架DistBelief构建,因其高度灵活、可移植以及自动计算梯度导数等特点,迅速成为最受欢迎的深度学习框架之一,支持多种编程语言接口,如C++、Python、Java等。
14 2
下一篇
无影云桌面