分布鲁棒文章阅读：Distributionally Robust Optimization under Moment Uncertainty with Application to Data-Driven Problems（2010年）

• 1. Introduction
• • 本文贡献
• 2.Robust Stochastic Programming with Moment uncertainty
• • The Inner Moment Problem with Moment Uncertainty
  • • 定义1
• Moment Uncertainty in Data-driven Problems
• • 下面就是在证明这样的结构在数据驱动的优化问题中也是合理的
  • Uncertainty Cone Centered at Empirical Mean
  • Uncertainty Cone Centered at Empirical Covariance
  • Bounding the Support of ζ \zeta ζ using Empirical Data
  • Data-driven DRSP Optimization

1. Introduction

随机规划能有效地描述许多不确定环境下的决策问题。如以下类型的凸优化问题：

其中 χ \chi χ是可行解的凸集， h ( x , ξ ) h(x,\xi) h(x,ξ)是依赖于 ξ \xi ξ关于 x x x的成本函数，如果选择通过分布 f ( ξ ) f(\xi) f(ξ)表示关于 ξ \xi ξ的不确定性，则可以转化为最小化预期成本。这导致求解如下随机规划问题：

为了解决这个问题，Scarf提出了处理随机规划的一种鲁棒方法，假设集合 D D D包含了可能的概率分布（包括真实的分布 f ( ξ ) f(\xi) f(ξ)）,目标函数根据最坏情况下的期望成本在这个集合中选择一个分布重新制定。因此，这导致解决分布鲁棒随机
规划:

为了使DRSP模型易于处理，考虑矩信息约束的方法通常假设这些矩是确切已知的，最终导致线性等式或不等式约束。

本文贡献

（1）给出一个新的分布D集，其中考虑了有关分布支持的知识以及其均值和协方差矩阵的置信区域
（2）证明了在这种分布集下，对于大范围的目标函数，DRSP可以在多项式时间内求解。

2.Robust Stochastic Programming with Moment uncertainty

人们对决策过程中涉及的不确定参数的分布 f ( ξ ) f(\xi) f(ξ)的信息有限。在这种情况下，更安全的做法是依赖分布的平均量 μ 0 \mu_0 μ0​和协方差矩阵 Σ 0 \Sigma_0 Σ0​的估计:例如，经验估计。但我们认为，在这种情况下也不能保证经验估计完全准确，所以，提出用以下集合表示该不确定性：（ γ 1 > = 0 , γ 2 > = 1 \gamma_1>=0,\gamma_2>=1 γ1​>=0,γ2​>=1）

约束（1a）是假设 ξ \xi ξ的均值位于大小为 γ 1 \gamma_1 γ1​的椭球体上，中心在估计 μ 0 \mu_0 μ0​
约束（1b）使协方差矩阵 E [ ( ξ − μ 0 ) ( ξ − μ 0 ) T ] E[(\xi-\mu_0)(\xi-\mu_0)^T] E[(ξ−μ0​)(ξ−μ0​)T] 位于矩阵不等式所包围的正半定锥中。

因此本文研究分布集下的DRSP模型如下：

其中，M是可测量空间 ( R m , B ) (R_m,B) (Rm​,B)上所有概率测度的集合

The Inner Moment Problem with Moment Uncertainty

首先考虑解决使用集合D1的DRSP的内部最大化问题的难度。

定义1

给定一个固定的 x x x，设 Ψ ( x , γ 1 , γ 2 ) \Psi(x,\gamma_1,\gamma_2) Ψ(x,γ1​,γ2​)为x下面矩问题的最优值:
由于 f ( ξ ) f(\xi) f(ξ)是 ( R m , B ) (R^m,B) (Rm,B)的概率测度，因此问题（3）可描述为下面的半无限圆锥线性问题：

引理1：

引理1的证明如下：

可以看出上述对偶问题的第一个约束条件 h ( x , ξ ) − ξ T Q ξ + ξ T q < = γ h(x,\xi)-\xi^TQ\xi+\xi^Tq <=\gamma h(x,ξ)−ξTQξ+ξTq<=γ仍然是含有无穷条约束的。那么这个问题究竟是可不可解得呢？论文接下来的部分就介绍了椭球法，证明上述对偶问题在多项式时间内是可解的。

Moment Uncertainty in Data-driven Problems

上节给出的计算结果很大程度上依赖于所描述的分布集 D 1 D_1 D1​的结构。该集合是为了考虑随机参数中的矩不确定性而建立的。

下面就是在证明这样的结构在数据驱动的优化问题中也是合理的

现在考虑的问题是，随机参数来自一组样本， { ξ i } i = 1 M \{\xi_i\}^M_{i=1} {ξi​}i=1M​,s是根据一个未知的分布 f ( ξ ) f(\xi) f(ξ)独立随机产生的,在下面的内容中，将说明如何定义均值和协方差矩阵的置信区域，从而确保以高概率包含 ξ \xi ξ分布的均值和协方差矩阵。这一结果反过来将被用于导出形式为 D 1 D_1 D1​的分布集，并将提供概率保证，即使用我们提出的DRSP模型找到的解决方案相对于随机矢量 ξ \xi ξ的真实分布是可靠的。

为了简化推导，我们首先从不相关分量 ζ \zeta ζ的混合形式重新构造随机向量 ξ \xi ξ,具体来说：
给定随机变量 ξ ∈ R m \xi\in\R^m ξ∈Rm，其均值为 μ \mu μ,协方差矩阵为 Σ \Sigma Σ.令 ζ ∈ R m \zeta\in\R^m ζ∈Rm为标准化后的随机变量，即 ζ = Σ − 1 / 2 ( ξ − μ ) \zeta=\Sigma^{-1/2}(\xi-\mu) ζ=Σ−1/2(ξ−μ)，所以 E [ ζ ] = 0 E[\zeta]=0 E[ζ]=0, E [ ζ T ζ ] = I E[\zeta^T\zeta]=I E[ζTζ]=I,同时对 ζ \zeta ζ做出如下假设：

集中不等式：

Uncertainty Cone Centered at Empirical Mean

McDiarmid（THEOREM 1）的首次使用导致定义了一个椭圆形约束，该约束将经验估计 μ ^ = M − 1 Σ i = 1 M ξ i \hat\mu=M^{-1}\Sigma^M_{i=1}\xi_i μ^​=M−1Σi=1M​ξi​与随机矢量 ξ \xi ξ的真实均值和真实协方差相关联。
下面的结果由McDiarmid定理证明:

将上述关于 ζ \zeta ζ的定理推广到 ξ \xi ξ上，得到推论1：

推论1的证明过程如下：

Uncertainty Cone Centered at Empirical Covariance

为了使约束（11）描述的是一个有界集***这是什么意思？？？***，必须包含协方差 Σ \Sigma Σ中的不确定性，这篇文章支持由两个线性矩阵不等式建立的以 Σ \Sigma Σ为界的经验估计结构（ Σ ^ = M − 1 Σ i = 1 M ( ξ i − μ ^ ) ( ξ i − μ ^ ) T \hat\Sigma=M^{-1}\Sigma^M_{i=1}(\xi_i-\hat\mu)(\xi_i-\hat\mu)^T Σ^=M−1Σi=1M​(ξi​−μ^​)(ξi​−μ^​)T）:
P ( c m i n Σ ^ ≤ Σ ≤ c m a x Σ ^ ) ≥ 1 − δ ( 12 ) P(c_{min}\hat\Sigma\le\Sigma\le{c_{max}\hat\Sigma}) \ge1-\delta (12) P(cmin​Σ^≤Σ≤cmax​Σ^)≥1−δ(12)

下面就是在说明如何针对 ζ \zeta ζ的均值和协方差矩阵在 I ^ = M − 1 Σ i ζ i ζ i T \hat I=M^{-1}\Sigma_i\zeta_i\zeta_i^T I^=M−1Σi​ζi​ζiT​周围定义等式（12），下面假设 ξ \xi ξ的均值是完全已知的，且以 Σ ^ ( μ ) = M − 1 Σ i = 1 M ( ξ i − μ ^ ) ( ξ i − μ ^ ) T \hat\Sigma(\mu)=M^{-1}\Sigma^M_{i=1}(\xi_i-\hat\mu)(\xi_i-\hat\mu)^T Σ^(μ)=M−1Σi=1M​(ξi​−μ^​)(ξi​−μ^​)T的形式来表示 Σ \Sigma Σ的置信区域。文章中关于 μ \mu μ和 Σ \Sigma Σ的置信区域的结果主要依赖于 M M M和关于随机向量 ξ \xi ξ的支持信息。

证明过程如下：（个人觉得还是比较复杂的）




L e m m a 5 Lemma5 Lemma5可以很容易地推广到具有一般均值和协方差矩阵的随机向量。
证明：
于是就得到了推论2：

由于前面定义的 Σ ^ ( μ ) = M − 1 Σ i = 1 M ( ξ i − μ ) ( ξ i − μ ) T \hat\Sigma(\mu)=M^{-1}\Sigma^M_{i=1}(\xi_i-\mu)(\xi_i-\mu)^T Σ^(μ)=M−1Σi=1M​(ξi​−μ)(ξi​−μ)T是基于随机变量真实的均值，而在实际中涉及到的是随机变量采样得出的均值得经验估计，所以下面这个定理2就是在说明用经验估计的均值对结果没有影响。

具体的证明过程如下：

Bounding the Support of ζ \zeta ζ using Empirical Data

这一小节就是在说明如何确定 R R R的值
推 论 3 推论3 推论3:


证明过程参考原文第15页。

Data-driven DRSP Optimization

首先使用最后的结果来定义,基于样本 { ξ i } i = 1 M \{\xi_i\}_{i=1}^M {ξi​}i=1M​,考虑到M是足够大,以较高的概率包含随机变量 ξ \xi ξ的真实分布的概率集合。


证明过程见原文P16
最终得到 定 理 3 定理3 定理3：

但是下面这个推论五就不太理解了

标签：11,24,xi,hat,mu,协方差,2020,zeta,Sigma
来源： https://blog.csdn.net/ql789654/article/details/109783022