从线性回归案例理解深度学习思想

我不是主攻人工智能、深度学习方向,但是作为计算机相关领域的学习者,如果不了解下,总觉得已经跟不上时代了,况且,人工智能真的是大势所趋,学会了,能够尝试用在不同领域。

本文将使用回归的思想来求解二元一次方程的最佳解,理解深度学习的根本思想。

假设,对于二元一次方程:

y = a * x + b

假设我们能够采集到一组数据(x,y),这些值都是满足以上等式的,但是,现实生活中往往不能这样顺利(如果采集的值是精确值,直接列方程组就能求出a和b),我们采集到的每组(x,y)都存在一定偏差,所以,现实中采集到的数据应表示为:

y = a * x + b + r

r表示偏差,这个时候,我们需要通过这一组数据,来找到一组a和b,使得 y = a * x + b 和理想的情况越接近。

为了方便表示,将r表示为:

r = y – (a * x +b)

因为这个值可能为负数,所以用r的平方来表示这个偏差,记为:

loss = [ y – (a * x + b)] 2

这里用loss记,实际上就理解为模型训练过程中的“损失”,我们需要找到到一组a和b,使得loss最小。

在数学中,我们会用到极限的思想求解最小值,但是,在深度学习中,是如何找到这个最小loss的呢?

这里就需要提到梯度下降的思想(这些内容在 《计算方法》 这门学科中有详细的说明),通俗地理解,在本文的二元一次方程中,就是初始化一个a和b,然后进行一定次数的迭代,在每次迭代中,调整a和b的值。

将loss表示的函数分别对a和b求偏导数:

dei a = 2 * [ y – ( a * x + b ) ] * x

dei b = 2 * [ y – ( a * x + b ) ]

我们每次调整a和b的值使用如下方法:

new a = a – dei a * learn_rate

new b = b – dei b * learn_rate

实际上,在每轮迭代中,我们将会用收集到的每组数据都来计算dei a和dei b,最终使用平均值,表示经过这一轮,参数a和b需要被调整的大小。

但是,我们发现,调整参数的时候,dei a和dei b还分别乘以了一个learn_rate,这个learn_rate在深度学习模型训练中叫学习率,一般取一个比较小的值,0.001、0.01等,可以通过尝试找到最优的值。如果不乘以learn_rate,对a来说,每次需要调整dei a,这个值是很大的,而且会出现不能收敛的情况:

从上图中可以看到,对同一个loss函数,如果使用0.05的learn_rate,会导致loss在最小值附近波动,不能找到最小值,而使用0.005的学习率,每次调整的范围更小,且能正确地找到loss的最小值。

通过一定次数的迭代,我们就能找到一组a和b的值,这组a、b能够使得loss尽可能小,甚至为0,我们近似认为这个方程就是理想情况下的方程:

y = a * x + b

这时,如果给出一个值a1,就可以根据上式得到一个y1值,这就是我们所说的预测值。

这个例子虽然比较简单,但是包含了深度学习的精髓思想。无论多大的网络模型、数据量,实际上都是对一组参数不断地进行调整,使得在这组参数的情况下,所得到的一个函数关系,能够让loss的值尽可能小(当然,这种标准可以根据不同需求进行修改),换句话说,就是找到一组参数,使得一个关系式尽可能趋近给定的一组数据中的每个映射关系(数据和标签的映射),然后再根据这个关系式,对新给定的值,给出相应计算结果,这就是就是预测值。

附,本文涉及的代码和数据:

import numpy as np

'''
y = a*x+b + noise

loss = (a*x+b - y)**2

die a = 2(a*x+b-y)*x
die b = 2(a*x+b-y)

'''


# 计算损失loss,神经网络模型训练过程中,一般会在每一轮都输出一次,查看训练效果
def get_loss(a, b, points):
    sum = 0
    for i in points:
        x = i[0]
        y = i[1]

        t = (a * x + b - y) ** 2
        sum = sum + t

    # 因为有多组数据,这里求平均值,表示当前a,b情况下,表达式和这组数据的平均偏差
    average_loss = sum / float(len(points))

    return average_loss


# 求梯度,调整a,b的值,这是参数能够被“训练”的关键部分
def step_grad(a, b, learn_rate, points):
    da_sum, db_sum = 0, 0
    for i in points:
        x = i[0]
        y = i[1]
        da_sum = da_sum + 2 * (a * x + b - y) * x
        db_sum = db_sum + 2 * (a * x + b - y)

    num = len(points)
    da = da_sum / float(num)
    db = db_sum / float(num)

    # 返回新的a,b
    return a - learn_rate * da, b - learn_rate * db


# totalnum表示总共迭代次数
def loop(a, b, learn_rate, points, totalnum):
    for i in range(0, totalnum):
        # 每次迭代都会得到一组新的a,b,将其作为下一次迭代的初始值
        a, b = step_grad(a, b, learn_rate, points)

    loss = get_loss(a, b, points)
    print("after ", totalnum, "times, loss: ", loss)
    print("a=", a, " b=", b)


if __name__ == '__main__':
    points = np.genfromtxt("data.csv", delimiter=",")

    # a,b初始化为0,learn_rate设置为0.0001,迭代10000次,points理解为实际情况中,采集到的数据
    loop(0, 0, 0.0001, points, 10000)

csv数据,网盘链接: https://pan.baidu.com/s/1Sknt8dV7kA81IE2ij6bkYw 提取码: exf2

训练结果:

发表评论

您的电子邮箱地址不会被公开。