c*********
Lv.3 学术文献阅读达人
2020/08/23 15:58
深度学习之模型优化
优化对模型好坏有非常重要的影响。深度学习中优化包括考虑以下内容:参数初始化策略初始点能够决定算法是否收敛，初始参数需要在不同单元，从而破坏对称性最好初始化是初始化每个单元使其和其它单元计算不同的函数(参数随机初始化)高维空间上，使用高熵分布来随机初始化，额外参数通常和偏差一样启发式的常数我们先验地指定了哪些单元应相互交互以及如何交互随机正交矩阵，增益因子，稀疏初始化
领书计划详情
