Python数据分析 | 泰坦尼克逻辑回归(上)

简介: Python数据分析 | 泰坦尼克逻辑回归

Python数据分析学习笔记,今天分享下利用Python进行逻辑回归,预测泰坦尼克号乘客生存情况。





#导入2个Python常用数据分析的库
import numpy as np
import pandas as pd


#将数据源文件读取
#注意Windows环境下,需要用r转义一下,不然读取不进来
train = pd.read_csv(r"C:\\Users\\Administrator\\Desktop\\train.csv")
test = pd.read_csv(r"C:\\Users\\Administrator\\Desktop\\test.csv")
print('训练数据集:',train.shape,'测试数据集:',test.shape)

结果:表示训练数据集为891行,12列;测试数据集为418行,11列,测试集少了一列Survived即我们后续需要通过逻辑回归进行预测的。



#初步观察数据情况
#Pclass客舱等级
#SibSp同代直系亲属数
#Parch不同代直系亲属数
#Cabin客舱号
#Embarked登船港口
#Fare船票价格
full.head()

结果:用head函数可以默认查看前5行数据,便于我们初步掌握数据概况。



#描述性数据统计
full.describe()

结果:用describe函数可以进行描述性数据统计,即我们常见的均值、标准差、中位数等。



#查看每一列数据类型和数据总数
#Survived、Age、Fare、Cabin、Embarked有缺失
full.info()

结果:用info函数可以查看各列的数据个数,便于我们快速定位那些列有缺失值。



#数据预处理,缺失值填充
#数值型数据用均值或中位数填充,如Age
#应用fillna函数,用于填充缺失值
full['Age'] = full['Age'].fillna(full['Age'].mean())
full['Fare'] = full['Fare'].fillna(full['Fare'].mean())


#分类型数据用最常见类别进行填充
#先通过value_counts函数,查询一下该列出现的各类型总数
full['Embarked'].value_counts()


#看到量最多的是S,因此用它来填充确实项
full['Embarked'] = full['Embarked'].fillna('S')


#因Cabin缺失较多,用新的‘U’来表示(Unknow)
full['Cabin'] = full['Cabin'].fillna('U')


#再次观察一下数据,发现除Survived之外,都已经填充完成
full.info()




#Sex为字符型字段,需要转换为数值型数据便于处理
sex_mapDict = {'male':1,'female':0}    #建立一个字典
full['Sex'] = full['Sex'].map(sex_mapDict)    #运用maple函数对Sex这一列进行重新编码
full.head()




#使用数据框的get-dummies( )对登船港口进行one-hot编码
embarkeddf = pd.DataFrame()    #存放提取后的特征
embarkeddf = pd.get_dummies(full['Embarked'],prefix='Embarked')    #使用get_dummies进行one-hot编码,列名前缀是Embarked
embarkeddf.head(10)


结果:get_dummies函数的作用是将该列出现值的类型再重新划分为子列,通过子列里的布尔类型标识它的类型。



full = pd.concat([full,embarkeddf],axis=1)    #添加one-hot编码产生的虚拟变量(dummy variable)到full中
full.head()

结果:通过concat函数将新增的列加到原数据表中。



full.drop('Embarked',axis=1,inplace=True)    #将原Embarked列删除
full.head()




#对客舱等级Pclass进行同样的one-hot编码处理
pclassdf = pd.DataFrame()    #存放提取后的特征
pclassdf = pd.get_dummies(full['Pclass'],prefix='Pclass')    #使用get_dummies进行one-hot编码,列名前缀是Pclass
full = pd.concat([full,pclassdf],axis=1)    #添加one-hot编码产生的虚拟变量(dummy variable)到full中
full.drop('Pclass',axis=1,inplace=True)    #将原Pclass列删除
full.head()




#对姓名和头衔做编码处理
#定义一个函数,从姓名中提取头衔
def gettitle(name):
    str1=name.split(',')[1]
    str2=str1.split('.')[0]
    str3=str2.strip()    #strip用于移除字符串头尾指定字符(默认为空格)
    return str3
titleDf=pd.DataFrame()    #存放提取后的特征
titleDf['title']=full['Name'].map(gettitle)
titleDf.head()

结果:



titleDf['title'].value_counts()    #查询头衔的类别和数量

结果:



#有些头衔并不是常见头衔,而且出现频率比较低
#这样不利于机器学习,可将头衔分为6类Officer,Royalty,Mrs,Miss,Mr,Master六种
title_mapDict={
    "Capt":"Officer",
    "Col":"Officer",
    "Major":"Officer",
    "Dr":"Officer",
    "Rev":"Officer",
    "Jonkheer":"Royalty",
    "Don":"Royalty",
    "Sir":"Royalty",
    "the Countess":"Royalty",
    "Dona":"Royalty",
    "Mme":"Mrs",
    "Mlle":"Miss",
    "Ms":"Mrs",
    "Mrs":"Mrs",
    "Mr":"Mr",
    "Miss":"Miss",
    "Master":"Master",
    "Lady":"Royalty"
}
titleDf['title']=titleDf['title'].map(title_mapDict)
titleDf['title'].value_counts()

结果:


Python数据分析 | 泰坦尼克逻辑回归(下):https://developer.aliyun.com/article/1512113


目录
相关文章
|
5天前
|
机器学习/深度学习 数据采集 数据挖掘
如何用Python进行数据分析?
【6月更文挑战第13天】如何用Python进行数据分析?
101 66
|
18小时前
|
存储 数据挖掘 索引
Python streamlit框架开发数据分析网站并免费部署
使用Python的Streamlit框架,开发了一个在线数据分析工具,替代Excel查看设备温度CSV数据。通过pandas读取数据,matplotlib绘制图表。程序处理CSV,提取所需列,计算最大最小平均值,用户可多选查看特定数据。[GitHub](https://github.com/yigedaigua/MGHB)上有完整代码,应用已部署至Streamlit Cloud。
13 1
|
18小时前
|
数据挖掘 数据库连接 Python
GitHub高赞!Python零基础也能搞定的数据分析与处理
经常会有人让我推荐一些 Python 入门教程。虽然 Python 入内教程到处都有,但是这些教程要么太宽泛(没有讲任何关于数据分析的内容),要么太专业(全是关于科学原理的内容)。然而Excel用户往往处在一个中间位置:他们的确是和数据打交道,但是科学原理对于他们来说可能又太专业了。他们常常有一些现有教程无法满足的特殊需求,举例如下 • 为完成某个任务,我应该用哪个 Python-Excel包? • 我如何将 Power Query 数据库连接迁移到 Python? • Excel中的 AutoFilter和数据透视表在 Python 中对应的是什么?
|
2天前
|
数据采集 数据可视化 数据挖掘
数据挖掘实战:使用Python进行数据分析与可视化
在大数据时代,Python因其强大库支持和易学性成为数据挖掘的首选语言。本文通过一个电商销售数据案例,演示如何使用Python进行数据预处理(如处理缺失值)、分析(如销售额时间趋势)和可视化(如商品类别销售条形图),揭示数据背后的模式。安装`pandas`, `numpy`, `matplotlib`, `seaborn`后,可以按照提供的代码步骤,从读取CSV到数据探索,体验Python在数据分析中的威力。这只是数据科学的入门,更多高级技术等待发掘。【6月更文挑战第14天】
25 11
|
2天前
|
数据采集 机器学习/深度学习 数据可视化
数据挖掘实战:Python在金融数据分析中的应用案例
Python在金融数据分析中扮演关键角色,用于预测市场趋势和风险管理。本文通过案例展示了使用Python库(如pandas、numpy、matplotlib等)进行数据获取、清洗、分析和建立预测模型,例如计算苹果公司(AAPL)股票的简单移动平均线,以展示基本流程。此示例为更复杂的金融建模奠定了基础。【6月更文挑战第13天】
17 3
|
5天前
|
数据采集 数据可视化 数据挖掘
数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
【6月更文挑战第12天】在数字时代,Python因其强大的数据处理能力和易用性成为数据分析首选工具。结合Pandas(用于高效数据处理)和Matplotlib(用于数据可视化),能助你成为数据分析专家。Python处理数据预处理、分析和可视化,Pandas的DataFrame简化表格数据操作,Matplotlib则提供丰富图表展示数据。掌握这三个库,数据分析之路将更加畅通无阻。
|
6天前
|
JSON 数据挖掘 API
数据分析实战丨基于pygal与requests分析GitHub最受欢迎的Python库
数据分析实战丨基于pygal与requests分析GitHub最受欢迎的Python库
17 2
|
8天前
|
机器学习/深度学习 数据可视化 数据挖掘
python每日可视化分析:从过去到现代数据分析的演进
python每日可视化分析:从过去到现代数据分析的演进
|
15天前
|
Python 数据挖掘 数据可视化
Python数据分析——Pandas与Jupyter Notebook
【6月更文挑战第1天】 本文探讨了如何使用Python的Pandas库和Jupyter Notebook进行数据分析。首先,介绍了安装和设置步骤,然后展示了如何使用Pandas的DataFrame进行数据加载、清洗和基本分析。接着,通过Jupyter Notebook的交互式环境,演示了数据分析和可视化,包括直方图的创建。文章还涉及数据清洗,如处理缺失值,并展示了如何进行高级数据分析,如数据分组和聚合。此外,还提供了将分析结果导出到文件的方法。通过销售数据的完整案例,详细说明了从加载数据到可视化和结果导出的全过程。最后,讨论了进一步的分析和可视化技巧,如销售额趋势、产品销售排名和区域分布,以及
37 2
|
19天前
|
存储 并行计算 数据挖掘
Python中的NumPy库:科学计算与数据分析的基石
Python中的NumPy库:科学计算与数据分析的基石
68 0

热门文章

最新文章