一、数据清洗
数据清洗是数据科学的第一步，确保数据的质量和一致性。Python 的 Pandas 库是一个强大的工具，可以方便地进行数据读取、清洗和转换。以下是一个简单的例子，演示如何使用 Pandas 进行数据清洗。
- 安装 Pandas
pip install pandas
- 导入 Pandas 并读取数据
import pandas as pd
# 读取 CSV 文件
data = pd.read_csv('data.csv')
# 显示前五行数据
print(data.head())
处理缺失值
缺失值是常见的数据问题，Pandas 提供了多种方法来处理缺失值，例如删除或填充缺失值。
# 删除包含缺失值的行
data.dropna(inplace=True)
# 或者用均值填充缺失值
data.fillna(data.mean(), inplace=True)
数据类型转换
有时候需要对数据类型进行转换以确保数据的一致性。
# 将某列转换为整型
data['column_name'] = data['column_name'].astype(int)
处理重复值
重复值也是数据清洗中需要处理的问题。
# 删除重复行
data.drop_duplicates(inplace=True)
二、数据分析
数据分析是通过统计和计算从数据中提取有用信息的过程。Python 提供了多个库来进行数据分析，其中 NumPy 和 Pandas 是最常使用的。
使用 NumPy 进行数学运算
NumPy 是一个强大的数学库，支持大规模的多维数组与矩阵运算。
import numpy as np
# 创建一个随机数组
array = np.random.rand(5, 5)
# 计算数组的均值和标准差
mean = np.mean(array)
std_dev = np.std(array)
print("Mean:", mean)
print("Standard Deviation:", std_dev)
使用 Pandas 进行统计分析
Pandas 提供了丰富的统计方法，可以快速计算描述性统计量。
# 计算数据的描述性统计信息
stats = data.describe()
print(stats)
选择和过滤数据
根据条件选择和过滤数据是数据分析中常见的操作。
# 选择某一列大于某个值的行
filtered_data = data[data['column_name'] > value]
三、数据可视化
数据可视化是将数据转化为图形或图像的过程，有助于更直观地理解数据。Matplotlib 和 Seaborn 是两个常用的数据可视化库。
使用 Matplotlib 绘制基本图表
Matplotlib 是一个强大的绘图库，可以创建各种静态、动态和交互式的图表。
import matplotlib.pyplot as plt
# 绘制折线图
plt.plot(data['x'], data['y'])
plt.title('Line Plot')
plt.xlabel('X axis')
plt.ylabel('Y axis')
plt.show()
使用 Seaborn 进行高级可视化
Seaborn 是基于 Matplotlib 的高级可视化库，提供了更美观且易于使用的接口。
import seaborn as sns
# 绘制柱状图
sns.barplot(x='category', y='value', data=data)
plt.title('Bar Plot')
plt.show()
配对图和热力图
配对图和热力图可以帮助发现数据间的相关性。
# 绘制配对图
sns.pairplot(data)
plt.show()
# 绘制热力图
corr = data.corr()
sns.heatmap(corr)
plt.show()
四、机器学习
机器学习是一种通过算法从数据中学习和做出预测的技术。Scikit-learn 是一个常用的机器学习库，支持分类、回归和聚类等多种任务。
- 安装 Scikit-learn
pip install scikit-learn
加载数据集
使用 Pandas 加载内置的 Iris 数据集。
from sklearn import datasets
import pandas as pd
iris = datasets.load_iris()
data = pd.DataFrame(iris.data, columns=iris.feature_names)
data['target'] = iris.target
数据预处理
将数据集分为训练集和测试集。
from sklearn.model_selection import train_test_split
X = data.drop('target', axis=1)
y = data['target']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
训练模型
使用支持向量机（SVM）进行分类。
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score
model = SVC()
model.fit(X_train, y_train)
predictions = model.predict(X_test)
print("Accuracy:", accuracy_score(y_test, predictions))
模型保存和加载
使用 joblib 保存和加载模型。
from joblib import dump, load
# 保存模型
dump(model, 'model.joblib')
# 加载模型
model = load('model.joblib')
