其他分享
首页 > 其他分享> > 迁移学习VGG16实现猫狗大战

迁移学习VGG16实现猫狗大战

作者:互联网

本文主要讲述如何使用keras来微调VGG16模型在kaggle的猫狗大战的数据集上实现迁移学习,精度达到了97%,在多训练几个epoch会更高,如果本文有错误的地方欢迎大家斧正,有什么问题也欢迎大家与我交流讨论。

一、对数据集进行预处理

读取图像数据存储到数组中,然后归一化到0-1之间,将图像大小统一resize为100x100

设置数据生成器,减小内存负担。

def data_generator(all_img_name, all_label, batch_size, h=100, w=100):
    """
    该函数用于生成批量的数据,用于fit_generator批量训练
    :param all_train_name:
    :param batch_size:
    :return:
    """

    batches = len(all_img_name) // batch_size

    while True:
        for i in range(batches):
            name_batch = all_img_name[i * batch_size: (i + 1) * batch_size]
            label_batch = all_label[i * batch_size: (i + 1) * batch_size]
            # label 转化为one-hot编码
            Y = to_categorical(label_batch, num_classes=2)

            X = np.array([])
            for j in range(batch_size):
                img_path = name_batch[j]
                labels = label_batch

                # 读取img
                img = cv.imread(img_path)
                # resize
                img = cv.resize(img, (h, w))/255.0

                if len(X.shape) < 3:
                    X = img[np.newaxis, :, :]
                else:
                    X = np.concatenate((X, img[np.newaxis, :, :]), axis=0)

            yield (X, Y)

二、定义网络结构

在这里我们以VGG16的结构为基础,去掉其后面的全连接层,加上自己设计的3个全连接层,下图左图为我使用的网络结构右图为VGG16的网络结构,我修改了网络的输入大小,vgg16的大小为224x224我的大小为100x100

                   

keras封装了vgg模型的函数

model = keras.applications.vgg16.VGG16(include_top=True, weights='imagenet', input_tensor=None, input_shape=None, pooling=None, classes=1000)

你可以在下面这个地址下载VGG16的权重(如果你设置weights参数为imagenet的话他会自动下载)

https://github.com/fchollet/deep-learning-models/releases/download/v0.1/vgg16_weights_tf_dim_ordering_tf_kernels_notop.h5

参数
include_top:是否保留顶层的3个全连接网络
weights:None代表随机初始化,即不加载预训练权重。'imagenet'代表加载预训练权重,这里输入权重的地址,如果你填的是imagenet那么他会自动从github上下载VGG16的权重
input_tensor:可填入Keras tensor作为模型的图像输出tensor
input_shape:可选,仅当include_top=False有效,应为长为3的tuple,指明输入图片的shape,图片的宽高必须大于48,如(200,200,3)
返回值
pooling:当include_top=False时,该参数指定了池化方式。None代表不池化,最后一个卷积层的输出为4D张量。‘avg’代表全局平均池化,‘max’代表全局最大值池化。
classes:可选,图片分类的类别数,仅当include_top=True并且不加载预训练权重时可用。

def vgg_model(vgg_weights_path):
    # 定义模型
    base_model = VGG16(weights=vgg_weights_path,
                       include_top=False, input_shape=(100, 100, 3))

    x = Flatten()(base_model.output)
    x = Dense(1024, activation="relu")(x)
    x = Dense(200, activation="relu")(x)
    y_pred = Dense(2, activation="softmax")(x)

    model = Model(inputs=base_model.input, outputs=y_pred)
    model.summary()

    return model

训练

使用sklearn.model_selection的train_test_split函数来划分训练集与测试集

train_X, test_X, train_Y, test_Y = train_test_split(x_name, y, test_size=0.2, random_state=0)

使用keras里面的fit_generator()函数来进行批量训练

history = model.fit_generator(generator=data_generator(train_X, train_Y, batch_size, h, w),
                    steps_per_epoch=len(train_X) // batch_size,
                    epochs=epoch, verbose=1, validation_data=data_generator(test_X, test_Y, h, w),
                    validation_steps=len(test_X) // batch_size)

在这里我是使用GPU来进行训练的,一个epoch大概3-4分钟左右

预测

预测效果如下,我总共训练了4个epoch,在训练集上的精度达到了98%,在测试集上的精度达到了95%,稍微有点过拟合,加个dropout然后稍微调一下应该就好了。

总结

keras真的是简洁方便

白金之星1717 发布了5 篇原创文章 · 获赞 6 · 访问量 2146 私信 关注

标签:img,VGG16,batch,大战,test,迁移,model,size
来源: https://blog.csdn.net/qq_41997888/article/details/104162436