keras中预训练模型的特征提取

数据挖掘 深度学习 喀拉斯 图像分类
2021-09-21 08:55:22

Keras 有一种方法可以提取预训练模型的特征,此处描述为https://keras.io/applications/

from keras.applications.vgg16 import VGG16
from keras.preprocessing import image
from keras.applications.vgg16 import preprocess_input
import numpy as np

model = VGG16(weights='imagenet', include_top=False)

img_path = 'elephant.jpg'
img = image.load_img(img_path, target_size=(224, 224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)

features = model.predict(x)

我尝试了一些示例图像。我的向量 x 的形状为 (100, 3, 224, 224) 用于 100 次观察,3 用于 RGB 和 224x224 像素大小。preprocess_inputVGG 模型重塑了这个(它期望不同的顺序)。

但是,输出形状features是 (100, 512, 7, 7)。这是什么形状?我想将这些特征用作逻辑回归的输入。所以我需要一个像(100,n)这样的形状:每个观察一行和列中的特征。如何将输出重塑到这个维度?

假设我现在想构建自己的简单 Convnet:

from keras.models import Sequential
from keras.layers import Convolution2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense

model = Sequential()
model.add(Convolution2D(32, 3, 3, input_shape=(1, 299, 299)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Convolution2D(32, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Convolution2D(64, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

该模型期望灰度图像作为输入,因此需要形状。

我必须添加什么样的层才能获得这个模型的特征(我可以在逻辑回归或随机森林中输入的东西)。

谢谢

1个回答

features变量包含网络的最终卷积层的输出。VGG16 的最终卷积层输出 512 个 7x7 特征图。如您所说,要在逻辑回归模型(或任何其他模型)中使用这些特征,您需要做的就是将其重塑为 2D 张量。

reshaped_features = features.reshape(100, 512*7*7)

这会将特征图展平为每个实例的长一维向量。

提示:如果您不介意计算重塑的实际尺寸,您可以替换512*7*7-1numpy计算出最终尺寸应该有多大。