首页 > TAG信息列表 > 李航
【五万字总结PCA】【李航|PRML】统计学习方法--16.主成分分析（详细推导）
本文略微有点长，请大家耐心观看，你一定会有收获 文章目录 PCA数学原理数据的向量表示及降维问题向量的表示及基变换内积与投影基基变换的矩阵表示协方差矩阵及优化目标方差协方差协方差矩阵协方差矩阵对角化算法进一步讨论 主成分分析（李航）16.1 总体主成分分析16.1.1 基本李航《统计学习方法》第二版第一章-生成模型和判别模型
判别模型只关心样本属于哪一类 生成模型估计联合概率分布，判别模型估计条件概率分布 1、生成模型：通过联合分布得到条件概率分布；关注数据内部关系，对联合分布建模，关注样本分布，如何生成 2、判别方法：不关心X和Y之间的关系；不在乎关联关系，只在乎输入X，得到的Y值；直接对条件概率【李航】统计学习方法--15. 奇异值分解（详细推导）
文章目录 15.1 奇异值分解的定义与性质15.1.1 定义与定理15.1.2 紧奇异值分解与截断奇异值分解15.1.3 几何解释15.1.4 主要性质 15.2 奇异值分解的计算15.3 奇异值分解与矩阵近似15.3.1 弗罗贝尼乌斯范数15.3.2 矩阵的最优近似15.3.3 矩阵的外积展开式 奇异值分解(si《统计学习方法》第 2 版完整版下载 李航博士著作
《统计学习方法》第 2 版完整版下载 李航博士著作 所有的课件都是 ppt 格式，总共包含 22 章。正好是《统计学习方法》第 2 版的完整内容。 其中，第 1 章至第 12 章主要是《统计学习方法》第一版的内容。主要介绍统计学习及监督学习概论、感知机、近邻法、朴素贝叶斯法、决策树、逻辑学习笔记：统计学习方法 - 李航
第一章 统计学习方法概论 本章简要叙述统计学习方法的一些基本概念，这是对全书内容的概括，也是全书内容的基础。 统计学习的定义、研究对象与方法 监督学习，本书的主要内容 统计学习的三要素：模型、策略、算法 介绍模型选择：正则化、交叉验证、学习的泛化能力 介绍生成模型及李航老师《统计学习方法》第二版第一章答案详解
1、说明伯努利模型的极大似然估计和以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。 解： 模型三要素是： 模《统计学习方法》（李航），《机器学习》（周志华）学习随笔
《统计学习方法》（李航）学习笔记 【1】第一章 统计学习方法概论 1.3.2的2. 经验风险最小值与结构风险最小值中提到'当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化等价于极大似然估计'。P9 个人注解： \[假设空间 F=\{ P|P(Y|X);\theta\} \]\[极大似然函数 L(\theta)={李航《统计学习方法》第2版 第8章课后习题答案
习题8.1 因计算量较大，所以这题用编程实现。 我们先来看下课本例题8.1不是习题8.1，该题x只有1个特征，习题8.1中x有3个特征。 对于例题8.1的实现代码如下（算法即书中的AdaBoost算法8.1） 弱分类器由x<v或x>v产生；此可看作是由一个根节点直接连接两个叶结点的简单决策树，即所谓的决策李航统计学习方法(第二版)基本概念（五）：正则化与交叉验证
正则化与交叉验证用于模型选择 1 正则化 正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regularizer)或罚项(penalty iterm )。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如，正则化项可以是模型参数向量的范数。 正则化一般形式：李航统计学习方法(第二版)基本概念（三）：统计学习方法三要素
1.简介 统计学习方法都是由模型、策略和算法构成的 2.模型 在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。 模型的假设空间包含所有可能的条件概率分布或决策函数。 2.1 决策函数模型 2.2 条件概率 决策函数表示的模型为非概率模型，由条件概李航统计学习方法(第二版)基本概念（二）：统计学习的分类
1 基本分类 1.1.监督学习 输入空间(input space )：输入所有可能取值的集合 输出空间(output space)：输出所有可能取值的集合，通常输出空间远远小于输入空间 特征空间：每个具体的输入是一个实例(instance)，通常由特征向量(feature vector)表示。这时，特征向量存在的空间称为特征空间 (fea李航统计学习方法(第二版)（十六）：非线性支持向量机与核函数相关补充
1. 核技巧在支持向量机中的应用 2. 正定核 3. 常用核函数 3. 序列最小最优化算法李航统计学习方法笔记——泛化误差上界
泛化误差上界 References 统计学习方法（第2版）李航著 p25~27 定理 对于二分类问题，当假设空间是有限个函数的集合F={f1,f2,...,fd}F=\{f_1,f_2,...,f_d\}F={f1,f2,...,fd}时，对任意一个函数f∈Ff\in Ff∈F，至少以概率1−δ1-\delta1−δ，0<δ<10<\delta<10<δ<1，以下不等式李航统计学习方法(第二版)第二章 感知机学习笔记
感知机感知机的定义感知机的数学表达式感知机的几何意义感知机的目标函数数据集线性可分目标函数推导感知机的优化方法 感知机的定义 感知机是二分类线性分类模型，输入为实例的特征，输出为实例类别，实例类别取+1和-1。感知机是属于判别模型，因为其求出分离超平面直接将输入实例统计学习方法（李航）朴素贝叶斯python实现
朴素贝叶斯法 首先训练朴素贝叶斯模型，对应算法4.1(1)，分别计算先验概率及条件概率，分别存在字典priorP和condP中（初始化函数中定义）。其中，计算一个向量各元素频率的操作反复出现，定义为count函数。 # 初始化函数定义了先验概率和条件概率字典，并训练模型 def __init__(self, data, labelEM算法
。。。基础部分哪都能看到，我就不细说了。 观测变量数据Y，隐变量数据Z，模型参数θ log(Y|θ) 不完全数据的对数似然函数 log(Y,Z|θ) 完全数据的对数似然函数 李航老师的统计学习方法，整个9.1节就是告诉我们，当你想求一个含有隐变量的模型时，也就是大最大log(Y|θ) 方法是先给定一个机器学习推荐书籍
机器学习 周志华：《机器学习》 李航：《统计学习方法》 图灵程序设计丛书：《机器学习实战》 机械工业出版社：《机器学习实战：基于Scikit-Learn和TensorFlow 》 前两本书，在我们实验室基本人手一本，可见其真的很好。这两本我都读过，周老师讲的浅显易懂，推荐初学者读。李航老李航-统计学习方法-笔记-7：支持向量机
简述 支持向量机 ：是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机。 核技巧：SVM还包括核技巧，这使它成为实质上的非线性分类器。 间隔最大化：SVM的学习策略是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函李航-统计学习方法-笔记-5：决策树
基本模型 简介：决策树可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。 决策树学习通常包括3个步骤：特征选择，决策树生成，剪枝。 决策树的内部结点表示一个特征或属性，叶结点表示一个类。 If-then：决策树路径或LR学习
因为原来看李航的《统计学习方法》和西瓜书的时候只是囫囵吞枣学了一遍，Ng的课讲的感觉有点简单也不是很系统，所以我还是感觉重新整理一遍为好。统计学习方法 李航 支持向量机
实际上这里从线性可分支持向量机到线性支持向量机再到非线性支持向量机，就是从特殊到一般的过程． 这里介绍了函数间隔和几何间隔，这里前面乘以y的目的就是为了保证得到的值为正；注意定义中是间隔还是间隔的最小值；先引入函数间隔，然后为了规范化又引入了几何间隔(这里我感觉类似李航/徐亦达 统计学习方法第九章EM算法及其推广总结和习题答案
强烈推荐徐亦达老师关于EM算法的讲解视频，本文根据徐老师和李航老师统计学习方法整理，由于公式推导太多，笔记为手写。其中包含混合高斯模型的理解，形象化解释，以及习题链接。 习题 习题9.1和9.3 习题9.4李航-统计学习方法笔记（一）：统计学习方法概论
本系列笔记，主要是整理统计学习方法的知识点和代码实现各个方法，来加强笔者对各个模型的理解，为今年找到好工作来打下基础。 计划在一个月内更新完这本书的笔记，在此立一个flag: 从2019/2/17开始 到 2019/3/17结束。 在本章中，我们需要了解这些概念：统计学习的定义、研究对象、方法；监每月学习数理统计--《统计学习方法—李航》(3)： SVM
1. SVM的最优化问题 2.拉格朗日乘数法，对偶条件KKT条件 3.软件隔支持向量机 4.非线性支持向量机，核函数 5.SMO算法 1. SVM的最优化问题 支持向量机（Support Vector Machine, SVM）的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二