其他分享
首页 > 其他分享> > TensorFlow2 实现神经风格迁移,DIY数字油画定制照片,面试必问知识点

TensorFlow2 实现神经风格迁移,DIY数字油画定制照片,面试必问知识点

作者:互联网

[](

)使用VGG提取特征


分类器CNN可以分为两部分:第一部分称为特征提取器 (feature extractor),主要由卷积层组成;后一部分由几个全连接层组成,输出类概率得分,称为分类器头 (classifier head)。在ImageNet上为分类任务预先训练的CNN也可以用于其他任务,这就是所谓的迁移学习 (transfer learning),我们可以转移或重用一些学到的知识到新的网络或应用中。

在CNN中,图像重建的两个步骤如下:

  1. 通过CNN向前计算图像以提取特征。

  2. 使用随机初始化的输入,并进行训练,以便其重建与步骤1中的参考特征最匹配的特征。

在正常的网络训练中,输入图像是固定的,并且使用反向传播的梯度来更新网络权重。在神经风格迁移中,所有网络层都被冻结,而我们使用梯度来修改输入。在原始的论文使用的是 VGG19Keras 有一个可以使用的预训练模型。VGG的特征提取器由五个块组成,每个块的末尾都有一个下采样。每个块都有2~4个卷积层,整个VGG19具有16个卷积层和3个全连接层。

在下文中,我们将实现内容重构,同时将其扩展以执行风格迁移。以下是使用预训练的VGG提取block4_conv2的输出层的代码:

因为我们只需要提取特征,所以在实例化VGG模型时使用include_top = False冻结网络参数

vgg = tf.keras.applications.VGG19(include_top=False, weights=‘imagenet’)

content_layers = [‘block4_conv2’]

content_outputs = [vgg.get_layer(x).output for x in content_layers]

model = Model(vgg.input, content_outputs)

预训练的 Keras CNN 模型分为两部分。底部由卷积层组成,通常称为特征提取器,而顶部是由全连接层组成的分类器头。因为我们只想提取特征而不关心分类器,所以在实例化VGG模型时将设置 include_top = False

[](

)图像加载

首先需要加载内容图像和风格图像:

def scale_image(image):

MAX_DIM = 512

scale = np.max(image.shape)/MAX_DIM

print(image.shape)

new_shape = tf.cast(image.shape[:2]/scale, tf.int32)

image = tf.image.resize(image, new_shape)

return image

content_image = scale_image(np.asarray(Image.open(‘7.jpg’)))

style_image = scale_image(np.asarray(Image.open(‘starry-night.jpg’)))

[](

)VGG预处理

Keras 预训练模型期望输入图像的BGR范围为 [0, 255] 。因此,第一步是反转颜色通道,以将 RGB 转换为BGRVGG 对不同的颜色通道使用不同的平均值,可以使用 tf.keras.applications.vgg19.preprocess_input() 进行预处理,在 preprocess_input() 内部,分别为B,G和R通道的像素值减去 103.939116.779123.68

以下是前向计算代码,在对图像进行前向计算之前先对其进行预处理,然后再将其输入模型以返回内容特征。然后,我们提取内容特征并将其用作我们的目标:

def extract_features(image):

image = tf.keras.applications.vgg19。preprocess_input(image *255.)

content_ref = model(image)

return content_ref

content_image = tf.reverse(content_image, axis=[-1])

content_ref = extract_features(content_image)

在代码中,由于图像已标准化为 [0., 1.],因此我们需要通过将其乘以255将其恢复为 [0.,255.]。然后创建一个随机初始化的输入,该输入也将成为风格化的图像:

image = tf.Variable(tf.random.normal( shape=content_image.shape))

接下来,我们将使用反向传播从内容特征中重建图像。

[](

)重建内容

在训练步骤中,我们将图像馈送到冻结的 VGG 中以提取内容特征,然后使用 L 2 L_2 L2​损失针对目标内容特征进行度量,用于计算每个特征层的L2损失:

def calc_loss(y_true, y_pred):

loss = [tf.reduce_sum((x-y)**2) for x, y in zip(y_pred, y_true)]

return tf.reduce_mean(loss)

使用 tf.GradientTape() 计算梯度。在正常的神经网络训练中,将梯度更新应用于可训练变量,即神经网络的权重。但是,在神经风格迁移中,将梯度应用于图像。之后,将图像值剪裁在 [0., 1.] 之间,如下所示:

for i in range(1,steps+1):

with tf.GradientTape() as tape:

content_features = self.extract_features(image)

loss = calc_loss(content_features, content_ref)

grad = tape.gradient(loss, image)

optimizer.apply_gradients([(grad, image)])

image.assign(tf.clip_by_value(image, 0., 1.))

使用block1_1重建图像,训练了2000步后,得到重构后的内容图像:

重构后的内容图像

使用block4_1重建图像,训练了2000步后,得到重构后的内容图像:

![重构后的内容图像](https://www.icode9.com/i/ll/?i=202106241308363

2.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xPVkVteTEzNDYxMQ==,size_16,color_FFFFFF,t_70#pic_center)

可以看到使用层block4_1时,开始丢失细节,例如树叶的形状。当我们使用block5_1时,我们看到几乎所有细节都消失了,并充满了一些随机噪声:

重构后的内容图像

如果我们仔细观察,树叶的结构和边缘仍然得到保留,并在其应有的位置。现在,我们已经提取了内容,提取内容特征后,下一步是提取样式特征。

[](

)用Gram矩阵重建风格

在内容重建中可以看出,特征图(尤其是前几层)既包含风格又包含内容。那么我们如何从图像中提取风格特征呢?方法是使用 Gram 矩阵,该矩阵可计算不同滤波器响应之间的相关性。假设卷积层1的激活形状为 (H, W, C) ,其中 HW 是空间尺寸,C 是通道数,等于滤波器的数量,每个滤波器检测不同的图像特征。

当具有一些共同的特征(例如颜色和边缘)时,则认为它们具有相同的纹理。例如,如果我们将草地的图像输入到卷积层中,则检测垂直线和绿色的滤波器将在其特征图中产生更大的响应。因此,我们可以使用特征图之间的相关性来表示图像中的纹理。

要通过形状为 (H, W, C) 的激活来创建Gram矩阵,我们首先将其重塑为 C 个向量。每个向量都是大小为 H×W 的一维特征图。对 C 个向量执行点积运算,以获得对称的C×C Gram 矩阵。在 TensorFlow 中计算 Gram 矩阵的详细步骤如下:

  1. 使用 tf.squeeze() 将批尺寸 (1, H, W, C) 修改为 (H, W, C)

  2. 转置张量以将形状从 (H, W, C) 转换为 (C, H, W)

  3. 将最后两个维度展平为 (C, H×W)

  4. 执行特征的点积以创建形状为 (C, C)Gram 矩阵;

  5. 通过将矩阵除以每个展平的特征图中的元素数 (H×W) 进行归一化。

计算 Gram 矩阵的代码如下:

def gram_matrix(x):

x = tf.transpose(tf.squeeze(x), (2,0,1));

x = tf.keras.backend.batch_flatten(x)

num_points = x.shape[-1]

gram = tf.linalg.matmul(x, tf.transpose(x))/num_points

return gram

可以使用此函数为指定的样式层的每个 VGG 层获取 Gram 矩阵。然后,我们对来自目标图像和参考图像的 Gram 矩阵使用 L 2 L_2 L2​损失。损失函数与内容重建相同。创建 Gram 矩阵列表的代码如下:

def extract_features(image):

image = tf.keras.applications.vgg19.preprocess_input(image *255.)

styles = self.model(image)

styles = [self.gram_matrix(s) for s in styles]

return styles

以下图像是从不同VGG图层的风格特征中重构得到的:

(1)Python所有方向的学习路线(新版)

这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

最近我才对这些路线做了一下新的更新,知识体系更全面了。

在这里插入图片描述

(2)Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

在这里插入图片描述

(3)100多个练手项目

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

在这里插入图片描述
他的知识资源进行进阶。

在这里插入图片描述

(3)100多个练手项目

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

在这里插入图片描述

标签:TensorFlow2,知识点,必问,特征,image,VGG,content,图像,tf
来源: https://blog.csdn.net/java199909/article/details/123633229