Python高级架构模式的整理

1、残差连接是目前常用的组件，解决了大规模深度学习模型梯度消失和瓶颈问题。

通常，在10层以上的模型中追加残差连接可能有帮助。

from keras import layers
 
x = ...
 
y = layers.Conv2D(128, 3, activation='relu', padding='same')(x)
y = layers.Conv2D(128, 3, activation='relu', padding='same')(y)
y = layers.MaxPooling2D(2, strides=2)(y)
 
# 形状不同，要做线性变换：
residual = layers.Conv2D(128, 1, strides=2, padding='same')(x)  # 使用 1×1 卷积，将 x 线性下采样为与 y 具有相同的形状
 
y = layers.add([y, residual])

2、标准化用于使模型看到的不同样本更相似，有助于模型的优化和泛化。

# Conv
conv_model.add(layers.Conv2D(32, 3, activation='relu'))
conv_model.add(layers.BatchNormalization())
 
# Dense
dense_model.add(layers.Dense(32, activation='relu'))
dense_model.add(layers.BatchNormalization())
3、深度可分离卷积层，在Keras中被称为SeparableConv2D，其功能与普通Conv2D相同。
但是SeparableConv2D比Conv2D轻，训练快，精度高。
from tensorflow.keras.models import Sequential, Model
from tensorflow.keras import layers
 
height = 64
width = 64
channels = 3
num_classes = 10
 
model = Sequential()
model.add(layers.SeparableConv2D(32, 3,
                                 activation='relu',
                                 input_shape=(height, width, channels,)))
model.add(layers.SeparableConv2D(64, 3, activation='relu'))
model.add(layers.MaxPooling2D(2))
 
model.add(layers.SeparableConv2D(64, 3, activation='relu'))
model.add(layers.SeparableConv2D(128, 3, activation='relu'))
model.add(layers.MaxPooling2D(2))
 
model.add(layers.SeparableConv2D(64, 3, activation='relu'))
model.add(layers.SeparableConv2D(128, 3, activation='relu'))
model.add(layers.GlobalAveragePooling2D())
 
model.add(layers.Dense(32, activation='relu'))
model.add(layers.Dense(num_classes, activation='softmax'))
 
model.compile(optimizer='rmsprop', loss='categorical_crossentropy')

每日分享到群里，或者推荐给朋友会得大量积分，机会可以兑换微信零钱红包，具体请点击这里，得到了微信红包可以用来支持大飞哥

大飞哥能不能加鸡腿就看各位了！

开发者微信

开发者微信反馈BUG或者VIP可以添加，其他情况反馈可能不及时，见谅

版权声明

初衷是提供高清手机电脑壁纸等图片素材免费分享下载，禁止商用。图片素材来源网络，版权归原作者所有，若有侵权问题敬请告知我们！

【友情提醒】：

因平台原因不易展示大尺度写真，有的写真展示越少代表此套写真越性感，特别是xiuren等写真每一套写真完整套图50-100张不等。更多内容的欣赏请移步 点击这里

【更多图集移步】： 每日更新-点击这里
漂亮小姐姐-点击这里
性感美女-点击这里
清纯女孩-点击这里
xiuren专栏-点击这里
整站资源下载-点击这里