P124 交叉熵；梯度下降法；学习率
P127 信息熵；信息增益
这几个知识点需要科普一下。
交叉熵：度量两个概率分布间的差异性信息。
信息熵：系统有序化程度的一个度量。香农用信息熵的概念来描述信源的不确定度。
信息熵：表示随机变量的不确定性。
条件熵：在一个条件下，随机变量的不确定性。
信息增益：熵 - 条件熵。表示在一个条件下，信息不确定性减少的程度。
信息增益到底怎么理解呢？ - 知乎 (zhihu.com)
标签：不确定性,交叉,人工智能,导论,增益,信息,信息熵,随机变量
来源： https://www.cnblogs.com/hbuwyg/p/15610966.html