其他分享
首页 > 其他分享> > 李宏毅机器学习2020春季作业一hw2(2)

李宏毅机器学习2020春季作业一hw2(2)

作者:互联网

文章目录

这里我想说一下自己对于logistic regression(逻辑回归)、Porbabilistic generative model(概率生成模型)的理解。首先在视频里李宏毅老师讲到logistic regression是一种Discriminative model(判别式模型),而与之对应的是Generative model(生成式模型),说白了其实就是这两大类模型的区别。

G e n e r a t i v e \color{green}Generative Generative 在进行估计时首先需要根据数据的分布做一个假设,假设他属于什么样的概率分布(比如,二维正态分布、二项分布等等),然后根据切贝谢夫为基础,计算x来自class1的概率(得到一个公式),通过找到公式中未知的变量,即可计算出相应的 w , b \color{red}w,b w,b。这里推荐看老师的视频来做回顾https://www.bilibili.com/video/BV1JE411g7XF?p=11

D i s c r i m i n a t i v e \color{blue}Discriminative Discriminative 则是开始的时候不对数据的分布进行估计,我们知道最后会得到 z = w T + b \color{red}z=w^T + b z=wT+b,然后根据σ(z)求出loss,通过梯度下降使loss最小化,进而求出最优的 w ∗ , b ∗ \color{red}w^*,b^* w∗,b∗。那么一开始的 w , b \color{red}w,b w,b是随机的,通过loss function才使得他越来越接近 w ∗ , b ∗ \color{red}w^*,b^* w∗,b∗。

这不难看出两者的优劣之处:
通常情况下 D i s c r i m i n a t i v e \color{blue}Discriminative Discriminative会比 G e n e r a t i v e \color{green}Generative Generative有更好的准确率,因为 D i s c r i m i n a t i v e \color{blue}Discriminative Discriminative是根据真实的数据进行梯度下降进而找到的 w ∗ , b ∗ \color{red}w^*,b^* w∗,b∗,这种情况更接近于真实的数据,也就是更容易泛化;而 G e n e r a t i v e \color{green}Generative Generative一开始进行了假设,抛开别的不说,首先进行的假设分布就有可能是错的。其次他是根据概率公式进行的计算,而概率公式都是在数据接近于无穷大时(取到总体时)推导出来的,这不一定适用于我们取的样本,因为单单一小部分的样本不可能代表总体。

但是 G e n e r a t i v e \color{green}Generative Generative也并非在任何情况下都比 D i s c r i m i n a t i v e \color{blue}Discriminative Discriminative表现差。例如:
(1)由于 D i s c r i m i n a t i v e \color{blue}Discriminative Discriminative只看数据进行梯度下降,所以其效果受数据量的影响很大。当数据量很少的时候, G e n e r a t i v e \color{green}Generative Generative会忽视data,按照自己认定的分布估计 w ∗ , b ∗ \color{red}w^*,b^* w∗,b∗,如果此时他对数据的分布估计准确的话,当然结果则比 D i s c r i m i n a t i v e \color{blue}Discriminative Discriminative会更好
(2)当data中存在noise时, G e n e r a t i v e \color{green}Generative Generative会忽视noise,得到更准确的答案。
(3)在语音辨识中,求取某句话被说出来的概率完全可以用公式求取,而不需要对其进行 D i s c r i m i n a t i v e \color{blue}Discriminative Discriminative的参数估计,,所以 G e n e r a t i v e \color{green}Generative Generative,在某些时候会更加适用

二、Porbabilistic generative model

1、Preparing Data

训练集和测试集的处理方法和 logistic regression 一样,然而因为 generative model 有可解析的最佳解(利用公式直接算的),因此不必使用到 development set。这里以防忘记重新写了正则化的函数,具体详见上篇博客

import numpy as np

np.random.seed(0)
X_train_fpath = './data/X_train'
Y_train_fpath = './data/Y_train'
X_test_fpath = './data/X_test'
output_fpath = './output_{}.csv'#接受结果

with open(X_train_fpath) as f:
    next(f)
    X_train = np.array([line.strip('\n').split(',')[1:] for line in f], dtype=float)

with open(Y_train_fpath) as f:
    next(f)
    Y_train = np.array([line.strip('\n').split(',')[1] for line in f], dtype=float )

with open(X_test_fpath) as f:
    next(f)
    X_test = np.array([line.strip('\n').split(',')[1:] for line in f], dtype=float)

def _normalize(X, train = True, specified_column = None, X_mean = None, X_std = None):
    '''
    This function normalizes specific columns of X.
    The mean and standard variance of training data will be reused when processing testing data.

    :param X: data to be processed
    :param train: 'True' when processing training data,'False' for tseting data
    :param specified_column: indexs of the columns that will be normalized.
                              if 'none' all collumn will be normalized.
    :param X_mean: mean value of training data,used when train = 'False'
    :param X_std: standard deviation of training data, used when train = 'False'

    :return:
    X: normalized data
    X_mean:computed mean value of training data
    X_std:computed standard deviation of training data
    '''

    if specified_column == None:
        specified_column = np.arange(X.shape[1])
    if train:
        X_mean = np.mean(X[:,specified_column], 0).reshape(1,-1)
        X_std = np.std(X[:,specified_column], 0).reshape(1,-1)

    X[:,specified_column] = (X[:, specified_column] - X_mean) / (X_std + 1e-8)

    return X, X_mean, X_std

# Normalize training and testing data
X_train, X_mean, X_std = _normalize(X_train, train=True)
X_test, _, _= _normalize(X_test, train=False, specified_column=None, X_mean=X_mean, X_std=X_std)

1、Mean and Covariance

抽取的x来自class1的概率也就是 P ( C 1 ∣ x ) P(C_{1}|x) P(C1​∣x),如果 P ( C 1 ∣ x ) P(C_{1}|x) P(C1​∣x)>0.5那么x来自class 1,根据 G e n e r a t i v e \color{green}Generative Generative 我们假设其服从n维正态分布(下面的演算中为了方便书写只有两个特征,特征的数量只对Σ矩阵的大小有影响:两个特征的数据的协方差矩阵有2ⅹ2维,510个特征有初始化为510ⅹ510维,主要是理解他的处理过程)
在这里插入图片描述

这里根据最后化简的结果知,为了求出 w ∗ , b ∗ \color{red}w^*,b^* w∗,b∗,我们需要计算平均数 μ(Mean)和协方差 Σ(Covariance)其演算过程如下:

在这里插入图片描述
最后根据 Σ = Σ 1 ∗ N 1 + Σ 2 ∗ N 2 N 1 + N 2 Σ=\frac{Σ^1*N_{1}+Σ^2*N_{2}}{N_{1}+N_{2}} Σ=N1​+N2​Σ1∗N1​+Σ2∗N2​​ 求出 Σ Σ Σ
补 充 知 识 点 \color{red}补充知识点 补充知识点

X_train_0 = np.array([x for x, y in zip(X_train, Y_train) if f == 0]):表示在Y_train中找值为0的,并以此下标找到对应的X_train,这些Y_train=0对应的X_train被划分为X_train_0
序列解包的更多操作详见链接
np.mean(X_train_0, axis = 0):对每一列求平均数,得到1ⅹn的矩阵,这里X_train_0的n为43105,X_train_1的n为11151

y ^ \hat{y} y^​ 的取值为0/1,所以要划分为两个正态分布

# 划分两个正态分布:X_train_0、X_train_1
X_train_0 = np.array([x for x, y in zip(X_train, Y_train) if y == 0])
X_train_1 = np.array([x for x, y in zip(X_train, Y_train) if y == 1])

#求出两个对应的E(xi)矩阵
mean_0 = np.mean(X_train_0, axis = 0)
mean_1 = np.mean(X_train_1, axis = 0)  

# 初始化两个Σ矩阵
data_dim = X_train.shape[1]
cov_0 = np.zeros((data_dim, data_dim))
cov_1 = np.zeros((data_dim, data_dim))

#按照上图的计算方法求取两个Σ矩阵
for x in X_train_0:
    cov_0 += np.dot(np.transpose([x - mean_0]), [x - mean_0]) / X_train_0.shape[0]
for x in X_train_1:
    cov_1 += np.dot(np.transpose([x - mean_1]), [x - mean_1]) / X_train_1.shape[0]

# 使两个正态分布具有相同的Σ,根据行数的比例来计算
cov = (cov_0 * X_train_0.shape[0] + cov_1 * X_train_1.shape[0]) / (X_train_0.shape[0] + X_train_1.shape[0])

2、Computing weights and bias

从上上页图片推导出的公式结论知: z = ( μ 1 − μ 2 ) T ( Σ 1 ) − 1 x − 0.5 ( μ 1 ) T ( Σ 1 ) − 1 ( μ 1 ) + 0.5 ( μ 2 ) T ( Σ 2 ) − 1 ( μ 2 ) + l n N 1 N 2 z=\color{red}(μ^1-μ^2)^T(Σ^1)^{-1}\color{black}x\color{blue}-0.5(μ^1)^T(Σ^1)^{-1}(μ^1)+0.5(μ^2)^T(Σ^2)^{-1}(μ^2)+ln\frac{N_{1}}{N_{2}} z=(μ1−μ2)T(Σ1)−1x−0.5(μ1)T(Σ1)−1(μ1)+0.5(μ2)T(Σ2)−1(μ2)+lnN2​N1​​,其中红色部分为 w \color{red}w w,蓝色部分为 b \color{blue}b b,现在已经求出 μ 1 , μ 2 μ^1,μ^2 μ1,μ2,还需要知道 ( Σ ) − 1 (Σ)^{-1} (Σ)−1。

这时候需要考虑一个矩阵是否具有逆?—— 当一个矩阵A的行列式为0,写作|A|=0/det(A)=0,此时A称为奇异矩阵,那么它不具有逆。但我们可以求出他的伪逆(具有矩阵逆的性质)

这里就得提到几个矩阵求逆的方法:
第一种:高斯消元法
第二种:LU分解法
第三种:SVD分解法
第四种:QR分解法
其中最稳定的是SVD分解法,更加具体的区别点击链接查看
https://www.zhihu.com/question/345971704/answer/1624930445

由于协方差矩阵 ( Σ ) (Σ) (Σ)可能是近似奇异的,直接利用np.linalg.inv()求逆可能会给出较大的数值误差。通过SVD分解,可以有效、准确地得到矩阵的逆。他的具体过程查看链接。
https://zhuanlan.zhihu.com/p/134512367?utm_source=qq&utm_medium=social&utm_oi=1184094730944806912

这里给出求解逆的结论:
通过SVD分解矩阵cov得到 c o v = U Σ V T \color{red}cov=UΣV^T cov=UΣVT ,那么 c o v + = V Σ + U T \color{red}cov^+=VΣ^+U^T cov+=VΣ+UT (U 矩阵的列被称为cov 的左奇异向量,Σ 矩阵中的对角值被称为原始矩阵, cov 的奇异值V 的列被称为 cov的右奇异向量, c o v + cov^+ cov+表示cov伪逆, Σ + Σ^+ Σ+表示Σ的伪逆)
Σ Σ Σ除了对角线为奇异值,其余位置都是0,所以 Σ + Σ^+ Σ+可以 由 Σ Σ Σ取倒数得到

一切准备就绪!开始计算 z = ( μ 1 − μ 2 ) T ( Σ 1 ) − 1 x − 0.5 ( μ 1 ) T ( Σ 1 ) − 1 ( μ 1 ) + 0.5 ( μ 2 ) T ( Σ 2 ) − 1 ( μ 2 ) + l n N 1 N 2 z=\color{red}(μ^1-μ^2)^T(Σ^1)^{-1}\color{black}x\color{blue}-0.5(μ^1)^T(Σ^1)^{-1}(μ^1)+0.5(μ^2)^T(Σ^2)^{-1}(μ^2)+ln\frac{N_{1}}{N_{2}} z=(μ1−μ2)T(Σ1)−1x−0.5(μ1)T(Σ1)−1(μ1)+0.5(μ2)T(Σ2)−1(μ2)+lnN2​N1​​

u, s, vT = np.linalg.svd(cov, full_matrices=False)
#这里得到的s并不是Σ对角矩阵,而是1*510维的向量
#由于cov是510*510维,所以s不进行扩维转化可以直接进行计算
#通过1 / s求出s的逆矩阵
inv = np.matmul(vT.T * 1 / s, u.T)

# Directly compute weights and bias
w = np.dot(inv, mean_0 - mean_1)
b =  (-0.5) * np.dot(mean_0, np.dot(inv, mean_0)) + 0.5 * np.dot(mean_1, np.dot(inv, mean_1))\
    + np.log(float(X_train_0.shape[0]) / X_train_1.shape[0]) 


3、Compute accuracy on training set

这些函数均和上篇文章的相同,这里只是复制粘贴下,具体功能等请点击链接查看

def _sigmoid(z):
    # Sigmoid function can be used to calculate probability.
    # To avoid overflow, minimum/maximum output value is set.
    return np.clip(1 / (1.0 + np.exp(-z)), 1e-8, 1 - (1e-8))
def _f(X, w, b):
    '''
    This is the logistic regression function, parameterized by w and b

    :param X: input data, shape = [batch_size, data_dimension]
    :param w: weight vector, shape = [data_dimension, ]
    :param b: bias, scalar
    :return: predicted probability of each row of X being positively labeled, shape = [batch_size, ]
    '''
    return _sigmoid(np.matmul(X, w) + b)

def _predict(X, w, b):
    # This function returns a truth value prediction for each row of X
    # by rounding the result of logistic regression function.
    return np.round(_f(X, w, b)).astype(np.int)

def _accuracy(Y_pred, Y_label):
    # This function calculates prediction accuracy
    acc = 1 - np.mean(np.abs(Y_pred - Y_label))
    return acc
# Compute accuracy on training set
Y_train_pred = 1 - _predict(X_train, w, b)
print('Training accuracy: {}'.format(_accuracy(Y_train_pred, Y_train)))

4、Predicting testing labels

这里同上篇文章一样最后一部分一样(约等于复制粘贴),点击链接查看具体操作方法

# Predict testing labels
predictions = 1 - _predict(X_test, w, b)
with open(output_fpath.format('generative'), 'w') as f:
    f.write('id,label\n')
    for i, label in  enumerate(predictions):
        f.write('{},{}\n'.format(i, label))

# Print out the most significant weights
ind = np.argsort(np.abs(w))[::-1]
with open(X_test_fpath) as f:
    content = f.readline().strip('\n').split(',')
features = np.array(content)
for i in ind[0:10]:
    print(features[i], w[i])

Summary

从hw2中我学习了两种分类方法:logistic regression(逻辑回归)、Porbabilistic generative model(概率生成模型),以及两者的区别和具体的流程,更重要的是掌握了完成代码过程中各种运算的操作!顺带浅显地了解了PAC、SVD,他们的应用、以及在本次作业中求矩阵逆的过程,改天再写篇关于SVD的文章吧。

标签:cov,color,李宏毅,data,train,2020,np,hw2,mean
来源: https://blog.csdn.net/qq_46126258/article/details/113107371