megachen
TA的个人档案
个人介绍
Just for fun
擅长的技术
- 高分内容
- 最新动态
- 文章
- 问答
-
发表了文章 2018-11-17
C++ 编译器
C++编译器 当我们定义了一个类的时候, C++编译器在默认的情况下会为我们添加默认的构造方法, 拷贝构造方法, 析构函数和=运算符 在第一次创建对象的语句中如: MyString myString = "hello, world!";中, 如果我们定义的构造函数为如下, 则就是隐式调用构造方法, 如果构造方法使用了explicit修饰则会报错, 总之在第一次创建对象的语句中, 就算出现了=, 只能调用构造方法, 而不是=方法, 因为我们是要构造对象, =真正起作用是在这个对象创建完毕之后 MyString(const char *str="") { this->len = strlen(str); this->values = new char[this->len + 1]; strcpy(this->values, str); } C++中的对象在内存中的分布 没有继承的情况下 就是一个结构体的分布 单继承的情况下(方法使用virtual修饰) A为基类, B为派生类, 在创建B的实例的时候, 在内存中B的内存中会有一个虚指针(virt_pa)指向一个虚函数表, 注意是一个虚指针(virt_pa), 默认先拷贝A中的虚函数表, 如果B中有新的虚函数则注册到这个表中, 若B中重载了A中的虚函数, 则将虚函数表中的那个对应的虚函数改成B的虚函数(这就是实现多态的关键) 在多继承的情况下(方法都是用virtual修饰) A和B为C的基类 和单继承类似, 只不过多出了一个虚指针(virt_pb), 这个虚指针对应的虚函数表在C对象创建的时候会自动拷贝B的虚函数表, 而另外一个虚指针(virt_pa)指向的虚函数表则拷贝A的虚函数表, 接着在看C类中定义的函数, 如果C中出现了新的虚函数, 则将这个虚函数放到C第一个继承的基类在C对象中对应的虚指针指向的虚函数表中, 这里指的就是A, 也就是所B中多出来的foo函数的地址会放到virt_pa指向的虚函数表中, 如果C重载了函数, 则判断是重载了哪个函数, 这个函数从哪个基类中继承过来的, 知道了是从哪个基类中继承过来的, 就可以通过对应的虚指针找到被重载的函数在虚函数表中的位置, 将其替换成C中重载了的函数, 比如, A中有一个foo函数, C中也有一个foo函数, 则编译器会通过virt_pa指针在对应的表中将C::foo的地址替换到A::foo所在的位置 多重单继承 A -> B -> C 和单继承非常的类似, 也是只有一个指针, 这个指针为virt_pa, 可以知道是超级基类的, 在创建C对象的时候, 将A和B中的虚函数表拷贝到C中的virt_pa对应的虚函数表中, 在考虑重载 虚继承 A -> B 虚继承与上面的继承最大的不同就是在创建了B对象的时候, 会有两个虚指针, 一个是virt_pa, 另外一个是virt_pb, 多出来一个与B相关的指针; 除此之外, virt_pb指向的虚函数表只保存B类中定义的所有的虚函数, 如果B重载了A中的某一个方法, 则就会将B中那个函数的指针拷贝到virp_pa指向的虚函数表中的被重载函数的位置
-
发表了文章 2018-11-16
数据降维
数据降维 分类 PCA(主成分分析降维) 相关系数降维 PCA 降维(不常用) 实现思路 对数据进行标准化 计算出数据的相关系数矩阵(是方阵, 维度是nxn, n是特征的数量) 计算出相关系数矩阵的特征值和特征向量(虽然这里说的是向量, 但是是矩阵, 这个矩阵的每一列都是特征值或者特征向量, 是nxn), 特征值是每一个特征的特征值的集合, 但是在特征向量是每一个特征的特征向量的集合, 前者我们提到的特征值和特征向量是集合 多特征值进行降序排序 根据已经得到的特征值计算出贡献率和累计贡献率(主要看累计贡献率, 单单一个贡献率指的是一个主成分保存的原始特征的信息, 累计贡献率是总共保存的原始特征信息) 设置信息阈值T, 一般设置为0.9, 如果大于T, 则记录下来当前的位置k(k也就是我们选择的主成分的个数, 主成分就是特征, 也就是一列) 根据k选择主成分对应的特征向量 将标准化之后的数据(矩阵)右乘在上一步中选择出来的特征向量(在这一步得到的矩阵就是m x new_n维度的了), 得到的就是主成分的分数, 也就是降维之后的数据集合 伪代码 X = load('data.xlsx', 'B1:I11'); m = size(X, 1); % m 表示样本的数量 n = size(X, 2); % n 表示特征的数量 % 数据标准化 for i = 1:m SX(:, i) = (X(:, i) - mean(X(:, i))) / std(X(:, i)); end % 计算相关系数 CM = corrcoef(SX); % V 是特征向量, D 是特征值 [V D] = eig(CM); % 对D特征值进行降序排序, 将结果保存到DS的第一列 for i = 1:n DS(:, 1) = D(n + 1 - i, n + 1 - i); end % 计算贡献率和累计贡献率 for i = 1:n % 第二列为当前单个, 每一个, 主成分的贡献率 DS(:, 2) = D(i, 1) / sum(D(:, 1)); % 第三列为到当前主成分的累计贡献率 DS(:, 3) = sum(D(1:i, 1)) / sum(D(:, 1)); end % 选择主成分 T = 0.9; for i = 1:n if DS(:, i) > T k = i; break; end end % 获取主成分对应的特征向量 for i = 1:n PV(:, i) = DS(:, n + 1 - i); end % 获取新的特征样本 X_new = SX * PV; 相关系数降维 公式: \[r=\sum_{j=1}^{m}{{(x_{j}-\overline{x_{j}})({y_{j}-\overline{y_{j}}})}\over{std(x_{j})std(y_{j})}}\] 如果|r|在[0.7, 1]时表示强线性关系, 说明x和y有很紧密的线性关系 如果|r|在[0.5, 0.7]时表示中线性关系 如果|r|在[0.2, 0.5]时表示低线性关系 如果|r|在[0, 0.2]时表示没有关系 r > 0表示正相关, r < 0表示负关系
-
发表了文章 2018-11-16
机器学习中的常用操作
机器学习中的常用操作 输入节点到隐藏节点，特征数量n可能会变化，这个取决于我们定义的隐藏层的节点个数，但是样本数量m是不变的，从隐藏层出来还是m 在预测的时候，我们需要不断的迭代输入的特征 提高精度 增加样本数量 -> 解决high variance 减少特征 -> 解决high variance 增加特征 -> 解决high bias 根据现有的特征生成多项式(从\(x_1\), \(x_2\)扩展到\(x_1 + x_2 + x_1^{2} + x_2^{2} + x_1{x_2}\)) 寻找新的特征 增加正则化参数\(\lambda\) -> 解决high variance 减小正则化参数\(\lambda\) -> 解决high bias 对数据的划分 将原来的训练样本按照6:2:2的比例划分成Train, Cross Validation, Test三个集合 如果不考虑Cross Validation的话, 则将训练样本划分成7:3的比例 -> Train(7), Test(3) 关于Cross Validation 如果我们对同一个机器学习问题, 假设了多个不同的模型(表现形式不同, 如\(kx+b\)和\(x^2+b\), 而不是\(k_1x+b_1\)和\(kx+b\), 因为k和b是我们的参数, 是我们要求的, 他们不应该考虑进去), 我们需要选择最好的模型(需要引进额外的参数d, 表示那个模型), 这个时候就要通过Cross Validation中的数据计算每一个模型测试的\(J_{cv}(\theta)\)来判断, \(J_{cv}(\theta)\)在后面会提到 误差 一旦对数据集合进行了划分，那么我们的损失值就从原来的\(J(\theta)\)变成了\(J_{train}(\theta)\), \(J_{cv}(\theta)\), \(J_{test}(\theta)\), 其中\(J_{train}(\theta)\)的功能就是在没有进行数据集合划分的\(J(\theta)\)的功能, 而\(J_{test}(\theta)\)是在我们已经拟合了假设函数, 使用Test集合中的数据进行测试所产生的损失, \(J_{cv}(\theta)\)在上面已经提到过了, 其实在CV数据集中的进行的就是对模型的测试而已, 和我们要在Test数据集中是一样的, 只是目的不同, 在CV数据集中, 我们目的是找出最好的模型, 因为这个时候模型太多了, 而在Test数据集中的时候, 在之前我们已经通过交叉验证获取了最好的模型, 现在是来测试一下, 这个模型对Test中的数据拟合的情况 \(J_{train}(\theta)\), \(J_{cv}(\theta)\), \(J_{test}(\theta)\)的公式和原始的\(J(\theta)\)一样, 为\(J_{train}(\theta)={{{1}\over{2m}}\sum_{i=1}^{m}(h(x^{(i)})-y^{(i)})^{2}}\), 注意, m表示训练样本的数量, x和y也都是在训练样本中的, 以此类推到\(J_{cv}(\theta)\), \(J_{test}(\theta)\) 高偏差(high bias)和高方差(high variance) 高偏差: 欠拟合 增加样本数量是徒劳 高方差: 过拟合 增加样本数量会提高精度 常见的\(J_{train}\)和\(J_{cv}\)关系 随着样本逐渐增加 \(J_{train}\uparrow\), 因为在样本很少的时候是很好拟合的, 随着样本的增加想要拟合所有的点就非常的困难 \(J_{cv}{\downarrow}\), 但是交叉验证的结果越来越小, 我们主要看的就是这个 随着正则化参数\(\lambda\)逐渐增加 \(J_{train}\uparrow\), \(\lambda\)越大, 则表示我们对\(\theta\)的惩罚力度在不断的增大, 模型会朝着过拟合的反方向发展, 我们知道过拟合的\(j_{train}\)很小, 所以现在这个情况下\(J_{train}\)应该增大 \(J_{cv}{\downarrow}{\uparrow}\), \(J_{cv}\)先下降后上升, \(\lambda\)太小或者太大都不好 随着阶数逐渐增加 \(J_{train}\downarrow\) \(J_{cv}{\downarrow}{\uparrow}\) 从上面我们发现, \(J_{cv}\)要么是下降的, 要么是先下降再上升的
-
发表了文章 2018-11-15
机器学习摘要
机器学习摘要 matlab 损失函数 对应一个已经确定了参数的cost function，尽管输入的参数是向量或者是矩阵，但是返回的\(J(\theta)\)一定是一个实数 \(J(\theta)\)是将所有训练样本都输入到模型中计算，返回一个实数 更新假设函数的参数是在输入了所有的训练样本到模型中并且计算出了一个\(J(\theta)\)，才进行的 假设函数的值 在matlab编程中，\(h(x)\)假设函数返回的维度和标签是一样的。 要和公式对的上，就按照样本数量遍历训练样本，而不是直接使用矩阵的方法，在实现神经网络的时候会哭的。 神经网络 在神经网络的\(J(\Theta)\)损失函数中，出现了从k=1到k=K的求和，其实这个就是对y在[0 0 0 1 ... 0 0]形式下，对这个向量中的每一个元素的操作。K的大小就是y的长度
-
发表了文章 2018-11-14
one-vs-all案例
使用one-vs-all初始手写字母识别 数据特点 每一个图片都是20 x 20的像素矩阵，但是在输入的样本中是一个1 x 400的向量，标签y在{0, 1, 2, ..., 9}之间取值 共有5000个训练样本 可视化数据 从5000个样本中随机的挑选出100个训练样本进行可视化 得到的100个样本中，每一个样本都是一个向量，要想对其可视化，需要将其从向量还原为原始的矩阵 首先确定矩阵的高和宽(单位是像素pixel) 创建一个displayArray矩阵，用来保存100个样本转换为矩阵的像素数据，形象地讲，就是将100个图片放到一个大的面板上，这样才能做到可视化数据 初始完毕displayArray矩阵之后，使用matlib中的imagesc函数将其显示出来 代码如下: myDisplayData.m function [h, displayArray] = myDisplayData(X) % 获取一张图片的高和宽 exampleHeight = round(sqrt(size(X(1, :), 2))); exampleWidth = round(size(X(1, :), 2) / exampleHeight); % 计算整个面板的高和宽(但是是图片的个数) [m, n] = size(X); displayRows = round(sqrt(m)); displayCols = round(m / displayRows); % 先创建出displayRows * exampleHeight, displayCols * exampleWidth的面板 displayArray = ones(displayRows * exampleHeight, displayCols * exampleWidth); % 将图片放到面板对应的位置上 % 下面的式子就和数学有一些关系，如何确定现在填充的矩阵在displayArray中的位置 currExample = 1; for i = 1:displayRows for j = 1:displayCols displayArray(... (i - 1) * exampleWidth + 1:exampleWidth + (i - 1) * exampleWidth, ... (j - 1) * exampleHeight + 1:exampleHeight + (j - 1) * exampleHeight ... ) = ... reshape(X(currExample, :), ... exampleHeight, exampleWidth); currExample = currExample + 1; end end colormap(gray); h = imagesc(display_array); axis image off; end 数据预处理 为X添加bias(偏移量): X = [ones(m, 1), X]; % m表示样本的数量 m: 训练样本的数量 n: 特征的数量，不包括bias(偏移)特征 y: 标签，{0, 1, 2, ..., 9} numLabel: y可以取的值的个数，这里为10 确定假设函数 由题目可知，这是一个典型的Multi-Class Logistic Regression问题，因此使用逻辑回归模型 模型函数: \[h(\theta)=g(\theta^{T}x)={{1}\over{1+e^{-\theta^{T}x}}}\] 因为这个一个10分类的问题，所以需要拟合出10个假设函数才行，也就是要最小化出10个\(\theta\)向量，我们调用oneVsAll函数返回的参数应该是一个矩阵，每一个行向量是一个类别的假设函数的参数 计算损失函数(cost function)和梯度 损失函数公式: \[J(\theta)={{1}\over{m}}\sum_{i=1}^m(-y^{(i)}log(h_{\theta}(x^{(i)})) - (1-y^{(i)})log(1-h_{\theta}(x^{(i)})))+{{\lambda}\over{2m}}\sum_{j=1}^m{\theta_{j}^2}\]其中\(\theta\), \(y^{(i)}\), \(x^{(i)}\)为向量或者矩阵，后一项是对非偏差项的正则化 梯度公式: j >= 1 \[{{\partial}\over{\partial}\theta_{j}}J(\theta)={{1}\over{m}}\sum_{i=1}^m{(h_{\theta}(x^{(i)})-y^{(i)})x^{(i)}} + {{\lambda}\over{m}}\theta_{j}\] j = 0 \[{{\partial}\over{\partial}\theta_{0}}J(\theta)={{1}\over{m}}\sum_{i=1}^m{(h_{\theta}(x^{(i)})-y^{(i)})x^{(i)}}\] 注意，上面的\(h_{\theta}(x^{(i)})\)是sigmoid函数，自己在实现的时候总是将其写成线性回归函数 在oneVsAll.m文件中实现\(minimize_{\theta}J(\theta)\) 每一个类都进行梯度下降，计算出这一类的参数，也就是写一个循环，在每一个循环中都有可以得到最终的这个类别对应的参数，循环的次数为numLabels 核心代码 for index = 1:numLabels initialTheta = zeros(n + 1, 1); options = optimset('GradObj', 'on', 'MaxIter', 50); % fmincg会自动选择最优的学习率alpha allTheta(index, :) = fmincg(@(t)(lrCostFunction(t, X, (y == index), lambda)), ... initialTheta, options); end 预测 输入的一个样本，需要为其添加bias值，在将样本分别输入到10个假设函数中，计算出最大的值，那个值对应的就是类别。 核心代码 tmp = zeros(m, num_labels); for i = 1:num_labels tmp(:, i) = sigmoid(X * allTheta(i, :)'); end [val, p] = max(tmp, [], 2);
滑动查看更多
暂无更多信息
-
发表了文章
2018-06-08
汇编语言语法
-
发表了文章
2018-06-08
C面向对象编程
-
发表了文章
2018-06-08
编译原理小结
-
发表了文章
2018-06-08
Python源码读后小结
-
发表了文章
2018-06-08
Kickstart安装
-
发表了文章
2018-06-08
虚拟机复制操作CentOS6导致eth0转为eth0以至于网络服务启动失败的解决方案
-
发表了文章
2018-06-08
Homebrew 配置
-
发表了文章
2018-06-08
Mac 安装YCM
-
发表了文章
2018-06-08
MakeFile基本使用
-
发表了文章
2018-06-08
Python 科学工具使用
-
发表了文章
2018-06-08
Git 打补丁流程
-
发表了文章
2018-06-08
Homemade Script Language: RED
-
发表了文章
2018-06-08
Mac 安装GTK
-
发表了文章
2018-06-08
Virtual Machine
-
发表了文章
2018-06-10
推荐书籍
-
发表了文章
2018-06-21
GCC操作
-
发表了文章
2018-06-21
GDB调试
-
发表了文章
2018-06-22
Datastructure
-
发表了文章
2018-06-22
Emacs学习笔记1
-
发表了文章
2018-06-22
Emacs学习笔记2
滑动查看更多
暂无更多信息