梯度（gradient）到底是个什么东西？物理意义和数学意义分别是什么？
我会使用尽量少的数学符号描述 梯度， 着重于意义而非计算。一个直观的例子，在机器学习领域有个术语叫「梯度下降」，你可以想象在群山之中，某个山的半山腰有只小兔子打算使用梯度下降的思路去 …
梯度（gradient）到底是个什么东西？物理意义和 ... - 知乎
为了降低随机梯度的方差，从而使得迭代算法更加稳定，也为了充分利用高度优化的矩阵运算操作，在实际应用中我们会同时处理若干训练数据，该方法被称为小批量梯度下降法 (Mini- Batch Gradient …
机器学习 | 近端梯度下降法 (proximal gradient descent)
近端梯度下降法是众多梯度下降 (gradient descent) 方法中的一种，其英文名称为proximal gradident descent，其中，术语中的proximal一词比较耐人寻味，将proximal翻译成“近端”主要想表达"（物理 …
梯度（gradient）到底是个什么东西？物理意义和数学意义分别是什么？
这篇回答节选自我的专栏 《机器学习中的数学：微积分与最优化》，和大家一起谈谈方向导数和梯度。 欢迎关注我的知乎账号 @石溪 ，将持续发布机器学习数学基础及算法应用等方面的精彩内容。 1.多 …
Gradient Reversal Layer指什么？ - 知乎
Domain Adaptation 在源域上训练，直接迁移到目标域上，要求目标域也要有尽可能好的表现。本质上就是将在两种不同分布的数据集之间寻找一种“迁移”。 Gradient Reversal Layer 梯度下降是最小化目 …
知乎盐选 | 5.1.2 深入了解 radial-gradient ()径向渐变
5.1.2 深入了解 radial-gradient ()径向渐变 径向渐变指的是从一个中心点向四周扩散的渐变效果，光的扩散、波的扩散等都有径向渐变的特性。 在 CSS 中，使用 radial-gradient() 函数表示径向渐变，其语 …
如何理解 natural gradient descent? - 知乎
看到一篇文章写得非常浅显易懂： What is the natural gradient, and how does it work? 总结一下： 拿神经网络中的反向传播算法举例，我们计算各个权值w关于损失函数的导数，得到一个梯度向量，然后 …
如何评价 Meta 新论文 Transformers without Normalization？
Normalization这个事得好好掰扯掰扯。 上古时期，网络经常在初始几个iteration之后，loss还没下降就不动，必须得把每一层的gradient与weight的比值打印出来，针对性地调整每一层的初始化才能不崩。
TensorFlow中的stop gradient意味着什么？ - 知乎
TensorFlow中的stop gradient意味着什么？ 我已经在百度谷歌知乎搜索过相关知识了，但是感觉都没有解决我最根本的问题：停止梯度意味着什么？ 我最近在看的ContraD的论文（ https://ar… 显示全部 关 …
Williams的REINFORCE算法和一般的policy gradient算法有 ... - 知乎
Williams的REINFORCE算法和一般的policy gradient算法有什么区别吗？ 许多关于使用RNN做加强学习任务（mostly text generation）的paper都提及了Williams的REINFORCE算法。 这个算法… 显示全 …