Random seed = 0 得到坏的结果
Random seed = 42 得到好的结果
Even-valued k in k-Means = insightful segmentation
寻找合适的学习率。作为一个非常重要的参数,学习率面对不同规模、不同 batch-size、不同优化方式和不同数据集,它的最合适值都是不确定的。我们唯一可以做的,就是在训练中不断寻找最合适当前状态的学习率;
权重初始化。相比于其他的 trick 来说使用并不是很频繁。只有那些没有预训练模型的领域会自己初始化权重,或者在模型中去初始化神经网络最后那几个全连接层的权重。常用权重初始化算法是「kaiming_normal」或「xavier_normal」;
数据集处理,主要有数据筛选和数据增强;
多模型融合,这是论文刷结果的终极核武器,深度学习中一般有几种方式,比如同样的参数,不同的初始化方式;不同的参数,通过交叉验证选取最好的几组;不同的模型,进行线性融合,例如 RNN 和传统模型;
余弦退火和热重启的随机梯度下降。余弦退火就是学习率类似余弦函数慢慢下降,热重启就是在学习的过程中,学习率慢慢下降然后突然再回弹 (重启) 然后继续慢慢下降;
尝试过拟合一个小数据集。关闭正则化 / 随机失活 / 数据扩充,使用训练集的一小部分,让神经网络训练几个周期。确保可以实现零损失,如果没有,那么很可能什么地方出错了。
……
https://www.jiqizhixin.com/articles/2020-10-21-3
https://picture.iczhiku.com/weixin/message1609136710592.html
2、颠覆你的认知,你知道emoji表情包也可以注册成一个域名吗?
3、他们花19万办了一场元宇宙梦幻婚礼!90后青年又能大省一笔
5、XShell 收费?5款免费且超赞的SSH工具,一个比一个香!