python-向量线性回归

这是我尝试仅使用numpy和线性代数执行线性回归的尝试：

def linear_function(w , x , b):
    return np.dot(w , x) + b

x = np.array([[1, 1,1],[0, 0,0]])
y = np.array([0,1])

w = np.random.uniform(-1,1,(1 , 3))

print(w)
learning_rate = .0001

xT = x.T
yT = y.T

for i in range(30000):

    h_of_x = linear_function(w , xT , 1)
    loss = h_of_x - yT

    if i % 10000 == 0:
        print(loss , w)
    w = w + np.multiply(-learning_rate , loss)

linear_function(w , x , 1)

这会导致错误：

ValueError                                Traceback (most recent call last)
<ipython-input-137-130a39956c7f> in <module>()
     24     if i % 10000 == 0:
     25         print(loss , w)
---> 26     w = w + np.multiply(-learning_rate , loss)
     27 
     28 linear_function(w , x , 1)

ValueError: operands could not be broadcast together with shapes (1,3) (1,2) 

这似乎可以减少训练集的维数：

import numpy as np

def linear_function(w , x , b):
    return np.dot(w , x) + b

x = np.array([[1, 1],[0, 0]])
y = np.array([0,1])

w = np.random.uniform(-1,1,(1 , 2))

print(w)
learning_rate = .0001

xT = x.T
yT = y.T

for i in range(30000):

    h_of_x = linear_function(w , xT , 1)
    loss = h_of_x - yT

    if i % 10000 == 0:
        print(loss , w)
    w = w + np.multiply(-learning_rate , loss)

linear_function(w , x , 1)

print(linear_function(w , x[0] , 1))
print(linear_function(w , x[1] , 1))

哪个返回：

[[ 0.68255806 -0.49717912]]
[[ 1.18537894  0.        ]] [[ 0.68255806 -0.49717912]]
[[ 0.43605474  0.        ]] [[-0.06676614 -0.49717912]]
[[ 0.16040755  0.        ]] [[-0.34241333 -0.49717912]]
[ 0.05900769]
[ 1.]

[0.05900769]& [1.]接近培训示例,因此看来此实现是正确的.引发错误的实现有什么问题？我还没有实现2->的维度扩展. 3正确吗？

解决方法:

我概述了以下问题：

>您的数组形状不一致.这可能会导致广播/点问题,尤其是在梯度下降期间.修正您的初始化.我还建议用b来增加w,用一列来增加X.
>您的损失函数和梯度计算对我而言似乎不合适.通常,不建议将曼哈顿距离用作损失函数,因为这不是足够的距离指标.我将采用欧几里得距离并尝试最小化平方和(这称为OLS regression).然后,我们进行如下梯度计算.
>您的更新规则将根据(2)进行相应更改.
>确保为代码设置停止条件.您不想过分优化.通常,当梯度变化不大时应停止.

完整清单：

# input, augmented
x = np.array([[1, 1, 1], [0, 0, 0]])
x = np.column_stack((np.ones(len(x)), x))
# predictions
y = np.array([[0, 1]])   
# weights, augmented with bias
w = np.random.uniform(-1, 1, (1, 4))

learning_rate = .0001

loss_old = np.inf
for i in range(30000):  
    h_of_x = w.dot(x.T)
    loss = ((h_of_x - y) ** 2).sum()

    if abs(loss_old - loss) < 1e-5:
        break

    w = w - learning_rate * (h_of_x - y).dot(x)
    loss_old = loss

其他建议/改进

接下来,在这里考虑使用正则化. L1(山脊)和L2(套索)都是不错的选择.

最后,对于线性回归,有一个封闭形式的解决方案,可以保证收敛于局部最优值(梯度下降仅能保证局部最优值).这是快速的,但是计算量很大(因为它涉及计算逆).参见权衡here.

w = y.dot(np.linalg.inv(x.dot(x.T)).dot(x))

如果xT.x是不可逆的,则需要进行正则化.

请记住,线性回归只能建模线性决策边界.如果您确信实现是正确的,并且损失仍然很严重,则数据可能无法在其当前向量空间中拟合,因此您将需要非线性基函数对其进行转换(这实际上是非线性的)回归).

标签：linear-regression,linear-algebra,python,numpy
来源： https://codeday.me/bug/20191025/1926779.html