白尔摩斯_个人页

02 集成学习 - 特征重要度、Extra Tree、TRTE、IForest、随机森林总结

01 集成学习 - 概述、Bagging - 随机森林、袋外错误率

03 决策树 - 量化纯度、信息增益度、停止条件、评估

02 决策树 - 初识与构建

01 决策树 - 数学理论概述 - 熵

18 回归算法 - Softmax回归 - 信贷审批案例

16 回归算法 - Logistic案例

15 回归算法 - Logistic回归 - Logit函数

12 回归算法 - 手写梯度下降代码

11 回归算法 - BGD、SGD、MBGD梯度下降

10 回归算法 - 梯度下降在线性回归中的应用

09 回归算法 - 机器学习调参

__回顾：__同时使用L1正则和L2正则的线性回归模型就称为Elastic Net，$color{red}{弹性网络算法}$ 在实际工作中，对于各种算法模型(线性回归)来讲，__我们需要输入θ、p、λ的值。

08 解决过拟合 - L2(Ridge)和L1(LASSO)正则

07 回归算法 - 过拟合欠拟合 - 案例

1、引入头文件 import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt import pandas as pd import warnings import sklearn from sklearn.

06 回归算法 - 损失函数、过拟合欠拟合

== 损失函数 == 损失函数是衡量一个模型好坏的指标，一般来说损失函数的值越小越好。 0~1损失函数： J(θ)=$begin{cases}1,Y≠f(X)\0,Y=f(X)\end{cases}$ 如果预测值不等于真实值，J(θ)值加1。

05 回归算法 - 多项式扩展、管道Pipeline

== 多项式扩展 == 上一章的最后我们提到：训练集上表现得不好，那么测试集上的效果肯定也不好，即$color{red}{欠拟合}$ 训练集上表现得好，测试集表现得不好，即$color{red}{过拟合}$ 如何解决本案例中遇到的欠拟合问题？ 1、增加数据集中的观测值 （样本数量）2、增加数据的维度 （特征数量） 如果拿不到新数据的情况下(样本数量不变)，只能通过增加数据维度的方法来解决欠拟合的问题，那用什么方式来增加维度呢？ 本章我们讨论“多项式扩展”的方法来解决上述问题。

04 回归算法 - 最小二乘线性回归案例

03 回归算法 - 线性回归求解 θ（最小二乘求解）

回顾线性回归的公式：θ是系数，X是特征，h(x) 是预测值。 h(x) = θ0 + θ1x1 + θ2x2 + … + θnxn h(x) = Σ θixi（ i=0~n ） h(x) = θTX = [θ1,θ2,θ3,…,θn] * [x1,x2,x3,…,xn]T 最终要求是计算出θ的值，并选择最优的θ值构成算法公式，使预测值能够尽可能接近真实值。

02 回归算法 - 线性回归求解 θ（最大似然估计求解）

回顾线性回归的公式：θ是系数，X是特征，h(x) 是预测值。 h(x) = θ0 + θ1x1 + θ2x2 + … + θnxn h(x) = Σ θixi（ i=0~n ） h(x) = θTX = [θ1,θ2,θ3,…,θn] * [x1,x2,x3,…,xn]T 最终要求是计算出θ的值，并选择最优的θ值构成算法公式，使预测值能够尽可能接近真实值。

01 回归算法 - 简介

今天开始将进入机器学习的回归算法部分，首先介绍一下回归部分涉及到的知识点。 一、大纲 1、线性回归 预测连续值的方法。 2、Logistic回归 名曰回归，实际上是处理分类的方法。

06 案例 - 赌球神器

理论部分先告一段落，如果还有不清晰的地方可以选择留言或我私下沟通。今天起正式进入代码阶段，入门项目是赌球神器。 一、建模步骤 1、清洗数据集 。 2、划分训练集和测试集：12个特征；1个目标 - 获胜队伍：主队、客队、平局； 3、训练三种不同的分类器：Logistic Regression、Support Vector Machine、XGBoost 。

安装 xgboost 库

1、下载网址 https://www.lfd.uci.edu/~gohlke/pythonlibs 2、CTRL+F 查找 xgboost 3、单击 xgboost，找到如下页面： 4、查询Python版本 在cmd下输入：python 返回Python的版本：Python 3.

05 模型训练和测试

一、模型训练 1、模型选择 定义：面向任务，选择最优的建模方法和参数。 建模可以使用不同的 “图纸” ：Logistic、SVM、Bayes ，根据三个不同的图纸，选择最像任务目标的模型。

04 数据清洗和转换

大部分机器学习模型处理的都是特征，是实际工作中最耗时的一部分。大部分情况下，收集到的数据需要经过预处理后才能被后续的机器学习算法所使用。 一、数据预处理包括以下几个步骤 1、数据过滤 比如用户ID是一个唯一值，当出现两个相同的用户ID就需要过滤掉一个。

03 机器学习开发流程

上一章《02 机器学习理性认识》让大家对机器学习的相关算法有了一个初步的认识和了解。 笔者的写作思路是先把机器学习的每个大分类，以及大分类下的中小分类做一个总体介绍。

02 机器学习理性认识

理性看待机器学习，不吹不黑。 本章对一些机器学习的术语进行介绍，还将对一些常用的参数符号进行解释，后文里不再赘述。 1、输入与输出 在机器学习过程中，首先我们要喂给机器很多数据，然后机器根据一定的算法给出结果。

01 面向就业的人工智能学习概述

相信很多人对于AI的作用以及将来工作的方式存在很多疑问，这里简单得和大家分享一下我的一些心得。 实际上在之前Python-科学计算库当中涉及到的模块，比如numpy基础建模、pandas数据处理、matplotlib统计绘图，都是为机器学习打基础的。

02 matplotlib - 柱状图、直方图、散点图 、饼图

=== 头文件 === import matplotlib.pyplot as plt import numpy as np import pandas as pd # 解决中文显示问题 import matplotlib as mpl mpl.

01 matplotlib - 折线图、绘图属性、Web安全色、子图、保存画板

=== 折线图 - 头文件 === 解决： 1、中文显示问题 2、图像行内外显示 3、处理闪退问题 import matplotlib.pyplot as plt import numpy as np import pandas as pd # 解决中文显示问题 import matplotlib as mpl mpl.

11 pandas DataFrame - 聚合之apply

=== 聚合 apply === 定义：apply是pandas库的一个重要函数，多和groupby函数一起使用，也可以直接用于DataFrame和Series对象。

10 pandas DataFrame - 表合并、堆叠、分组

=== 表合并 === 场景：两个dataFrame，一个是学生的[学号，姓名，班级] [学号，成绩] ，通过学号将两组信息合并到一起 print('\n---- 学生信息 ---') students = pd.

09 pandas DataFrame - 排序、排名、时间序列

=== 排序 === 原数据： data1 = pd.DataFrame(np.random.randint(0,9,[5,5]), index=list('abcde'), ...

08 pandas DataFrame - 多层Series简介、相互转换

=== 层次索引 === 1、多层索引 index 一组成绩:[89,99,56,44,33,56] 前三个2017年的语数英成绩 后三个2018的语数英成绩 deep_Series = pd.

07 pandas DataFrame - 相关系数与协方差、去重、计数、成员资格

=== 相关系数与协方差 === 相关系数(Correlation coeffieient)： 是研究变量之间线性相关程度的量，一般用字母 r 表示。 协方差(Convariance，COV)： 反应了两个样本之间的相互关系和关联程度。

06 pandas DataFrame - 数据过滤、NaN处理、统计方法

=== 数据过滤获取 === 个人觉得并没有什么用，完全可以用切片或索引器代替 stu_info = pd.read_excel('student_info1.

05 pandas DataFrame_删改查、索引器、读写文件

=== 获取内容 === import pandas as pd import numpy as np stu_info = pd.read_excel('student_info1.

04 pandas DataFrame_创建、文件读取、编码

=== DataFrame 简介 === 定义：数据帧 (DataFrame) 是二维数据结构，即数据以行和列的表格方式排列。 特点： 1、 潜在的列是不同的类型 2、 大小可变 3、 标记轴是行和列 (行、列索引) 4、 可以对行和列进行算数运算 =...

03 pandas Series_删改查、运算、缺省

=== 新增、删除=== # 新增/修改 result['化学'] = 100 # 删除 del result['语文'] === 取值操作 === # 取值操作 print('-'*10+'Ser_scores'+'-'*10) scores={...

02 pandas Series_创建、属性

=== Series 简介 === 由一组数据和索引组成 数据是各种numpy数据类型 索引值可重复 === Series 数据创建 === # 使用 ndarray 创建 ran_num = np.

01 pandas 简介

=== Pandas 简介 === Pandas是一个开源的数据分析工具。 官网:http://pandas.pydata.org/ 官方文档:http://pandas.

10 numpy 聚合函数 - where,unique

=== np.where函数 === np.where( 判断条件[布尔类型数组]，True使用的值，False使用的值 ) 例1：两组数据,取对应位置较大的值 arr1 = np.

09 numpy 聚合函数 - 极值，方差，标准差

=== 聚合函数定义 === 对一组数据进行操作，如取均值、最大值等 scores = np.random.randint(1,9,[2,3]) scores array([[3, 2, 8],[4, 3, 3]]) == 最大值 max == axis 指定轴：0竖着的计算，1横着的计算 print(scores.

08 numpy 二元函数

=== 求模运算 === scores = np.array([[19,29,35],[39,27,14],[0,2,7]]) print(scores) np.

07 numpy 一元函数

=== 一元函数 === 随机生成5x5的，从-10到10的整数数组 import numpy as np data = np.random.randint(-10,10,[5,5]) === abs fabs 求绝对值 fabs不能求复数的绝对值 === print(data) np.

06 numpy ndarray转置与轴兑换、拉升与合并

== 数组的转置与轴对换 == np1 = np.arange(0,40).reshape(10,4) print(np1) [[ 0 1 2 3] [ 4 5 6 7] [ 8 9 10 11] [12 13 14 15] [16 17 18 19...

05 numpy 基本操作

=== 为三个学生的三门课程成绩建模 === 姓名/成绩 语文 数学 英语 物理 Tom 90 100 110 89 Ali 80 100 33 99 Li 89 99 33 93 stu_info = np.

04 numpy ndarray数组的矩阵积

=== 数学知识补充 === 矩阵：多维数组即矩阵 矩阵积: 两个二维矩阵（行和列的矩阵）满足第一个矩阵的列数，与第二个矩阵的行数相同，那么可以进行矩阵的乘法。

03 numpy 修改形状、数组运算、广播

将100个数改成10*10的形状 np1 = np.arange(0,100,1) np1 array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 2...

02 numpy 属性、数据类型

=== np.array的属性 === np1 = np.array([[1,2],[2,2],[3,2]]) np1 array([[1, 2],[2, 2],[3, 2]]) 1、取维度 np1.

01 使用numpy处理数据、ndarry创建

== 传统处理数据，给每个人的成绩加10分 == scores=[89,33,11] for i in scores: print(i+10) type(scores) 99 43 21list === 使用numpy处理数据 === 1、 ...