小编点评

**Padding Layers** Padding Layers 是一个用于在输入 tensor 数据类型周围填充的层。常用的 padding 层有 `nn.ZeroPad2d` 和 `nn.ConstantPad2d`。 * `nn.ZeroPad2d` 会在输入的 tensor 数据类型周围用 0 进行填充。 * `nn.ConstantPad2d` 会在输入的 tensor 数据类型周围用常数进行填充。 **非线性激活** 非线性激活函数用于为神经网络引入一些非线性特质。常用的非线性激活函数有 `nn.ReLU` 和 `nn.Sigmoid`。 * `nn.ReLU` 计算公式为 `(x)^+max(0,x)`。 * `nn.Sigmoid` 计算公式为 `\\sigma(x)=\\frac{1}{1+exp(-x)}`。 **代码示例** 以下是一个使用 `nn.ReLU` 和 `nn.Sigmoid` 的例子： ```python import torch import torchvision from torch import nn from torch.nn import ReLU,Sigmoid from torch.utils.data import DataLoader input = torch.tensor([[1,-0.5], [-1,3]]) output = torch.reshape(input,(-1,1,2,2)) class Demo(nn.Module): def __init__(self): super(Demo,self).__init__() self.relu1 = ReLU() def forward(self,input): output = self.relu1(input) return output demo = Demo() output = demo(input) print(output) ``` **运行结果** ``` tensor([[1., 0.], [0., 3.]]) ``` **总结** Padding Layers 和非线性激活是神经网络训练中非常重要的技术。Padding Layers 用于在输入 tensor 数据类型周围填充，而非线性激活函数用于引入一些非线性特质。

正文

一、Padding Layers简介

• nn.ZeroPad2d：在输入的tensor数据类型周围用0进行填充

• nn.ConstantPad2d：在输入的tensor数据类型周围用常数进行填充

这个函数的主要作用是对输入的图像进行填充，但里面所有功能都能用nn.Conv2d实现。

二、Non-linear Activations

非线性激活主要作用是为神经网络引入一些非线性特质

1. nn.ReLU介绍

class torch.nn.ReLU(inplace=False)

作用：

• \(input\leq{0}\)，\(output=0\)

• \(input>0\)，\(output=input\)

计算公式：

inplace参数：

• inplace=True，则会自动替换输入时的变量参数。如：input=-1，ReLU(input,implace=True)，那么输出后，input=output=0

• inplace=True，则不替换输入时的变量参数。如：input=-1，ReLU(input,implace=True)，那么输出后，input=-1，output=0

2. nn.Sigmoid介绍

class torch.nn.Sigmoid(*args, **kwargs)

计算公式：

三、代码栗子

1. nn.ReLU函数

import torch
import torchvision
from torch import nn
from torch.nn import ReLU,Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

input=torch.tensor([[1,-0.5],
                    [-1,3]])
output=torch.reshape(input,(-1,1,2,2))

#构建神经网络
class Demo(nn.Module):
    def __init__(self):
        super(Demo,self).__init__()
        self.relu1=ReLU()

    def forward(self,input):
        output=self.relu1(input)
        return output

demo=Demo()
output=demo(input)
print(output)

"""
[Run]
tensor([[1., 0.],
        [0., 3.]])
"""

2. nn.Sigmoid函数

import torch
import torchvision
from torch import nn
from torch.nn import ReLU,Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset=torchvision.datasets.CIFAR10("./dataset",train=False,download=True,transform=torchvision.transforms.ToTensor())
dataloder=DataLoader(dataset,batch_size=64)

class Demo1(nn.Module):
    def __init__(self):
        super(Demo1,self).__init__()
        self.sigmoid=Sigmoid()

    def forward(self,input):
        output=self.sigmoid(input)
        return output

demo1=Demo1()
writer=SummaryWriter("logs_sigmoid")
step=0
for data in dataloder:
    imgs,targets=data
    writer.add_images("input",imgs,global_step=step)
    output=demo1(imgs)
    writer.add_images("output",output,global_step=step)
    step+=1
writer.close()

输出结果：

3. 非线性变换的目的

• 非线性变换的目的是为神经网络引入一些非线性特征，使其训练出一些符合各种曲线或各种特征的模型。

• 换句话来说，如果模型都是直线特征的话，它的泛化能力会不够好。