# Python基础算法解析：逻辑回归

## 逻辑回归的实现步骤

• 数据预处理：包括数据清洗、特征选择、特征缩放等。
• 参数初始化：初始化权重 $w$ 和偏置 $b$。
• 定义sigmoid函数：将线性输出转换为概率输出。
• 定义损失函数：使用对数损失函数来衡量模型的拟合程度。
• 梯度下降优化：利用梯度下降算法更新模型参数，使损失函数最小化。
• 预测：根据模型输出的概率值进行分类预测。

## Python实现逻辑回归

import numpy as np

class LogisticRegression:
def __init__(self, learning_rate=0.01, num_iterations=1000):
self.learning_rate = learning_rate
self.num_iterations = num_iterations
self.weights = None
self.bias = None

def sigmoid(self, z):
return 1 / (1 + np.exp(-z))

def initialize_parameters(self, n_features):
self.weights = np.zeros(n_features)
self.bias = 0

def fit(self, X, y):
n_samples, n_features = X.shape
self.initialize_parameters(n_features)

for _ in range(self.num_iterations):
linear_model = np.dot(X, self.weights) + self.bias
y_predicted = self.sigmoid(linear_model)

dw = (1 / n_samples) * np.dot(X.T, (y_predicted - y))
db = (1 / n_samples) * np.sum(y_predicted - y)

self.weights -= self.learning_rate * dw
self.bias -= self.learning_rate * db

def predict(self, X):
linear_model = np.dot(X, self.weights) + self.bias
y_predicted = self.sigmoid(linear_model)
y_predicted_cls = [1 if i > 0.5 else 0 for i in y_predicted]
return y_predicted_cls


### 使用逻辑回归进行分类

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 生成一个二分类数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 数据集划分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 特征缩放
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# 训练模型
model = LogisticRegression(learning_rate=0.01, num_iterations=1000)
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 计算准确率
accuracy = np.mean(y_pred == y_test)
print("Accuracy:", accuracy)


## 总结

|
1天前
|

Python装饰器：深入解析与应用
Python装饰器：深入解析与应用
6 1
|
2天前
|

Python文件操作：深入解析与实例
Python文件操作：深入解析与实例
14 3
|
2天前
|

Python动态类型深度解析与实践
Python动态类型深度解析与实践
26 1
|
2天前
|

Python库与框架的深入解析
|
4天前
|
JSON API 数据安全/隐私保护
python小知识-数据验证和解析神器pydantic
Pydantic是一个Python库，用于数据验证和设置管理，基于类型提示提供数据模型验证。它可以用于用户输入验证、JSON序列化和解析，以及API交互中的数据校验。安装Pydantic可使用pip install -U pydantic或conda install pydantic -c conda-forge。通过定义BaseModel子类并使用Field进行约束，可以创建数据模型并进行验证。例如，定义User模型验证用户名、邮箱和年龄。Pydantic还支持自定义验证器，允许在字段赋值时执行特定逻辑，如密码强度检查和哈希处理。5月更文挑战第19天
15 1
|
4天前
|
API Python
Python实现大麦网抢票的四大关键技术点解析

111 0
|
4天前
|
Python
Python之Math库解析
Python之Math库解析
10 0
|
2天前
|

HTML5页面被运营商DNS问题及解决方案，app中h5页面源码的获取
HTML5页面被运营商DNS问题及解决方案，app中h5页面源码的获取
12 4
|
2天前
|

2024最新彩虹聚合DNS管理系统源码v1.3 全开源

7 0
|
9天前
|
Linux 网络安全 Windows

49 3