黑马程序员技术交流社区

标题: 【上海校区】PyTorch学习系列(九)——参数_初始化 [打印本页]

---

作者: 不二晨    时间: 2018-10-19 09:46
标题: 【上海校区】PyTorch学习系列(九)——参数_初始化
介绍了神经网络的参数定义，并简单提到了其默认初始化。这里详细聊聊怎么根据用户的需求对参数进行初始化。

PyTorch提供了多种参数初始化函数：

torch.nn.init.constant(tensor, val)
torch.nn.init.normal(tensor, mean=0, std=1)
torch.nn.init.xavier_uniform(tensor, gain=1)
等等。详细请参考：http://pytorch.org/docs/nn.html#torch-nn-init
注意上面的初始化函数的参数tensor，虽然写的是tensor，但是也可以是Variable类型的。而神经网络的参数类型Parameter是Variable类的子类，所以初始化函数可以直接作用于神经网络参数。

示例：

self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3)
init.xavier_uniform(self.conv1.weight)
init.constant(self.conv1.bias, 0.1)
1
2
3
上面的语句是对网络的某一层参数进行初始化。如何对整个网络的参数进行初始化定制呢？

def weights_init(m):
    classname=m.__class__.__name__
    if classname.find('Conv') != -1:
        xavier(m.weight.data)
        xavier(m.bias.data)
net = Net()
net.apply(weights_init) #apply函数会递归地搜索网络内的所有module并把参数表示的函数应用到所有的module上。   
1
2
3
4
5
6
7
不建议访问以下划线为前缀的成员，他们是内部的，如果有改变不会通知用户。更推荐的一种方法是检查某个module是否是某种类型：

def weights_init(m):
    if isinstance(m, nn.Conv2d):
        xavier(m.weight.data)
        xavier(m.bias.data)   
---------------------
【转载】
作者：CodeTutor
原文：https://blog.csdn.net/VictoriaW/article/details/72872036

---

作者: 不二晨    时间: 2018-10-25 10:46

---

作者: 魔都黑马少年梦    时间: 2018-11-1 16:21

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2