第十三课：正向传播、反向传播和通过时间反向传播

时间：北京时间 12月23号星期六早11点到中午12点地点：将门斗鱼直播：http://ift.tt/2zhhEVB 在上节课给出的循环神经网络示例代码中，如果不做梯度裁剪，模型还能正常训练吗？为什么不能？为什么在前馈神经网络中不需要做梯度裁剪？ 我们在第五课和第六课介绍了优化算法。使用梯度迭代模型参数的优化算法是训练神经网络的方法。但梯度的计算在神经网络中往往并不直观。这也对我们分析模型训练出现的问题造成了一定的难度。 为了更深刻理解神经网络的训练，特别是循环神经网络的训练，本节课中我们将一起探索深度学习有关梯度计算的重要概念：正向传播、反向传播和通过时间反向传播。通过2017年最后一课的学习，我们将进一步了解深度学习模型训练的本质，并激发改进循环神经网络的灵感。 本节课的安排： [5min]：循环神经网络的梯度裁剪。[25min]：正向传播和反向传播。[30min]：循环神经网络的通过时间反向传播。 Merry Christmas and Happy New Year PS：忘了贴上第八课到第十二课通告了。大家可以前往 http://ift.tt/2zhRh1D 查看 via gluon - 知乎专栏 http://ift.tt/2BB17lt RSS8