其他分享
首页 > 其他分享> > 2017-SIGGRAPH Asia-Cambridge-(HDRCNN)HDR image reconstruction from a single exposure using deep CNNs

2017-SIGGRAPH Asia-Cambridge-(HDRCNN)HDR image reconstruction from a single exposure using deep CNNs

作者:互联网

(SIGGRAPH Asia)(Cambridge)2017-Eilertsen-HDR image reconstruction from a single exposure using deep CNNs

2017-SIGGRAPH Asia-Cambridge-(HDRCNN)HDR image reconstruction from a single exposure using deep CNNs

通过有skip-connection的基于CNN的自动编解码器网络完成SDR向HDR的转换。通过CNN找出亮度饱和区域,再结合LDR图像生成HDR图像。

LDR图像通过编码网络生成图像空间内容的特征,再通过解码网络在对数域上生成HDR图像。并通过skip-connection连接编码网络和解码网络来利用高分辨率图像的细节信息进行重建。

由于已有的HDR数据集数量有限,我们利用迁移学习,先用MIT Places数据集模拟的HDR图像预训练网络的权重,再用有限的真实HDR图像训练。

传统方法在重建过曝和欠曝像素区域表现不好。

这篇文章方法能够在很多情景下生成高质量的HDR结果,恢复亮度饱和像素区域。
但没有针对性的做色域上的拓展。


数据集
最终训练:
一共找到1121 HDR图像和67 HDR视频,95图像和4个视频用于测试,其他作为训练。对于视频每10帧提取一张图像,结合静态图像,一共获得3700 HDR图像。virtual camera数据增广到125K。

统计图表:
Places 2.5M  预训练600K
Flickr 200K

OpenEXR格式

视频数据集链接:
DML-HDR database includes five videos. Each video sequence is approximately 10 seconds long with frame rate of 30 frames per second (fps) and resolution of 2048×1080.
http://www.ece.ubc.ca/~maryama/ (主页)
http://dml.ece.ubc.ca/database.html  (多种数据集)
http://dml.ece.ubc.ca/data/DML-HDR/  (下载)

Ronan Boitard
https://people.irisa.fr/Ronan.Boitard/
http://www.ece.ubc.ca/~rboitard/

HdM-HDR-2014(189GB TIFF files)
https://hdr-2014.hdm-stuttgart.de/

A unified framework for multi-sensor HDR video reconstruction

参考文献
2017-Eilertsen-HDR image reconstruction from a single exposure using deep CNNs

代码
https://github.com/gabrieleilertsen/hdrcnn

skip connection 就是一种跳跃式传递。在ResNet中引入了一种叫residual network残差网络结构,其和普通的CNN的区别在于从输入源直接向输出源多连接了一条传递线,这是一种identity mapping,也就是所谓的恒等映射,用来进行残差计算。这叫是shortcut connection,也叫skip connection。其效果是为了防止网络层数增加而导致的梯度弥散问题与退化问题。

条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型,在自然语言处理中得到了广泛应用。
在标记数据的时候,可以考虑相邻数据的标记信息。这一点,是普通的分类器难以做到的。而这一块,也是CRF比较擅长的地方。
https://zhuanlan.zhihu.com/p/29989121  (这里不是这个解释)

相机响应函数CRF
https://www.cnblogs.com/qiqibaby/p/8747336.html

虚拟环境 hdrcnn

Could not find a version that satisfies the requirement 
python版本不对,3.7改为3.6
https://blog.csdn.net/blueheart20/article/details/78980736

标签:Cambridge,reconstruction,skip,deep,connection,https,图像,HDR
来源: https://blog.csdn.net/kl1411/article/details/120673427