“优化都不懂，你还想做机器学习？”

机器学习的基础是什么？是“数学”，而“优化”就是数学中的核心知识之一。

而且在机器学习遇到的复杂优化问题（非凸，不熟悉的），最高效的方法就是利用凸优化的思路去解决。

小七这次把《机器学习中的数学 第二期》，中关于优化的部分PPT送给大家。

其中优化问题简介、凸集合与凸函数、优化和凸优化是属于非常基础的部分，后续两大板块有一定难度。

目录：

一、优化问题简介

二、凸集合与凸函数 

知识点：

1. 凸集合与凸函数的关系

2. 琴生不等式的几何解释 

三、优化与凸优化 

知识点：

1. 凸优化问题

2. 对偶问题

3. 对偶性

4. KKT条件

5. 拉格朗日乘数法

四、支持向量机（SVM）简介

知识点：

1. 线性分类器

2. 对偶方法推导SVM

3. 几何方法推导SVM
   

五、压缩感知简介

知识点：

1. 信号还原问题

2. 压缩感知

3. 求解压缩感知的优化方法

4. Lasso方法与优化的稳定性

优化问题简介

凸集合与凸函数

局部极值与全局极值：

凸函数的重要性质：局部极值一定是全局极值

（下图左侧为凸函数，右侧为非凸函数）

凸优化

当原问题只有等式约束而没有不等式约束时，KKT条件即为拉格朗日乘数法。

阶段总结

1. 优化问题在机器学习的模型训练中有重要应用。

2. 凸函数代数性质与凸集合的几何性质；琴生不等式的几何解释。

3. 凸优化是一类相对简单的优化问题；凸函数的局部最小值就是全局最小值。

4. 对偶方法的主要目的是处理原问题中的复杂边界条件；对偶问题永远是凸问题; 弱对偶性永远成立，可以为原问题提供下界。

5. KKT条件可以用来求解一些优化问题；拉格朗日乘数法是KKT条件的一种特殊形式。

支持向量机简介

压缩感知介绍

向量的范数：

对于一个向量：

标签：问题,机器,知识点,简介,凸函数,学习,KKT,优化
来源： https://blog.51cto.com/15057851/2672878