您现在的位置:首页 > >

用pytorch实现吴恩达老师深度学*课程课后编程作业(课程二,第一周)

发布时间:

要做的事:
1 参数初始化
2 正则化


参数初始化

#model[0].weight是第0层的w参数,其他层可同样的方法初始化参数,初始化在建好model后使用,怎样建model参考上一篇。
# 0-1之间均匀分布
torch.nn.init.uniform_(model[0].weight, a=0, b=1)
# 初始化为常数0.5
torch.nn.init.constant_(model[0].weight, 0.5)
# 正态分布
torch.nn.init.normal_(model[0].weight)


正则化
正则化是用来减小过拟合的方法,这里给出L2正则化方法和dropout方法

L2正则化


optimizer = torch.optim.Adam(model.parameters(), lr=learn_rate,weight_decay=0.01)
#这里的weight_decay=0.01相当于λ参数。

dropout方法


model=torch.nn.Sequential(
torch.nn.Linear(in_put,Hidden1,bias=True),
torch.nn.ReLU(),
torch.nn.Dropout(0.2),
torch.nn.Linear(Hidden1,Hidden2,bias=True),
torch.nn.ReLU(),
torch.nn.Dropout(0.2),
torch.nn.Linear(Hidden2,out_put,bias=True),
torch.nn.Sigmoid(),
)
#在每层后边加上torch.nn.Dropout(0.2),0.2是随机架空该层20%神经元。

结合上篇看


热文推荐
猜你喜欢
友情链接: