论文Example-Based Cosmetic Transfer （2007，妆容迁移，有监督模型）

Example-Based Cosmetic Transfer 

 文章地址：Example-Based Cosmetic Transfer | IEEE Conference Publication | IEEE Xplore

有监督模型——需要成对的化妆前后图

目的：系统，虚拟上妆，基于实例的妆容迁移

1. 参考面部的固有皮肤特征，雀斑、痣和污点等不应该被转移
2. 保留目标面部的皮肤特征

要求：上妆前后图像对且两张图片在相同的位置和光线下获得

A和A’是参考图，B是目标图，B’是生成图

------------------------------------------------------------------------------------------------------------------------------

方法：基于图像的技术

1. 计算上妆前后图像颜色和光照的变化
2. 对参考面部与目标面部皮肤纹理和肤色差异进行调整
3. 对给定的目标面部快速应用和调整化妆风格

------------------------------------------------------------------------------------------------------------------------------

妆容迁移：

1. 预处理

参考图和目标图要在相同的光照和姿态下获得

（1）去除眉毛和睫毛

使用Bayesian matting（贝叶斯抠图）[1]对眉毛和睫毛分割

构建tri-map，其中背景、前景和不确定区域被粗略标记，使用贝叶斯抠图自动对不确定区域抠图。输出为蒙板α ，表示目标图像中眉毛和睫毛的选区。

（2）使用合成的纹理填充去除眉毛和睫毛后所形成的洞

图像修复和纹理合成

使用图切割纹理合成算法[2]并使用孔洞周围的图像作为纹理补丁。

（3）提取固有的皮肤特征

去除参考图中的雀斑、痣和污点

从人脸图像中选择皮肤贴片，将独立成分分析(ICA)[3]应用于贴片，以获得人体皮肤上某些可见斑点的两种色素的分离矩阵。黑色素产生的颜色通常会被设定阈值，以数字方式降低它们的可见性，使图像中的脸部看起来更白，肤色更均匀。

（4）将面部几何结构扭曲为标准的面部模型

手动指定输入图像和标准人脸模型之间的二维点对应，可使用专门针对人脸训练的主动外观模型[4]减少手动处理

2. 妆容映射

Cp = a* p / ap 

ap 和 a*p是化妆前后像素p的强度

b*p = cpbp

最终输出的B*（生成图）是所有{b*p}的集合

3. 外观校正

每个像素p处的颜色合成公式：

γ∈[0,1]控制化妆品的用量

得到的妆容图C只考虑了颜色和反射率的变化，由化妆引起的细微几何变化导致的外观差异并没有被捕捉到。

对妆容图求拉普拉斯二阶导数，并将二阶信息映射到输出图像上。

在给定β后，等式右端为确定值，此时需要修改b*p以满足上式对Δb*p的约束。该约束可通过高斯-赛德尔（Gauss-Seidel）迭代求解。

4. 眼部迁移

利用提取的眉毛和睫毛的蒙板α，将图像B的眉毛和睫毛选区叠加到B*上，实现眉毛和睫毛的迁移。

------------------------------------------------------------------------------------------------------------------------------

结果：

1.只转移化妆品，不转移固有特征和参考面部的肤色

2.化妆品的用量可调，可展示相同风格的淡妆与浓妆

3.对图像润色

4.保持了毛发的颜色和密度

5.可混合不同的化妆风格

------------------------------------------------------------------------------------------------------------------------------

缺点：

对输入图像要求太高，很难确保参考图和目标的精确性

标签：眉毛,Based,参考,Transfer,面部,Cosmetic,图像,睫毛,妆容
来源： https://blog.csdn.net/weixin_53965540/article/details/121583758