我会使用尽量少的数学符号描述 梯度， 着重于意义而非计算。一个直观的例子，在机器学习领域有个术语叫「梯度下降」，你可以想象在群山之中，某个山的半山腰有只小兔子打算使用梯度下降的思路去 …

为了降低随机梯度的方差，从而使得迭代算法更加稳定，也为了充分利用高度优化的矩阵运算操作，在实际应用中我们会同时处理若干训练数据，该方法被称为小批量梯度下降法 (Mini- Batch Gradient …

这篇回答节选自我的专栏 《机器学习中的数学：微积分与最优化》，和大家一起谈谈方向导数和梯度。 欢迎关注我的知乎账号 @石溪 ，将持续发布机器学习数学基础及算法应用等方面的精彩内容。 1.多 …

5.1.2 深入了解 radial-gradient ()径向渐变 径向渐变指的是从一个中心点向四周扩散的渐变效果，光的扩散、波的扩散等都有径向渐变的特性。 在 CSS 中，使用 radial-gradient() 函数表示径向渐变，其语 …

论文包含对策略梯度基本理论的梳理和介绍，以及 On-policy PG算法（REINFORCE、A3C、TRPO、PPO、V-MPO） 的详细介绍和比较。

Normalization这个事得好好掰扯掰扯。 上古时期，网络经常在初始几个iteration之后，loss还没下降就不动，必须得把每一层的gradient与weight的比值打印出来，针对性地调整每一层的初始化才能不崩。

看到一篇文章写得非常浅显易懂： What is the natural gradient, and how does it work? 总结一下： 拿神经网络中的反向传播算法举例，我们计算各个权值w关于损失函数的导数，得到一个梯度向量，然后 …

梯度是雅可比矩阵的一种特殊形式，当m=1时函数的雅可比矩阵就是梯度，这个概念原是为场论设定的，任何场都可以用来理解梯度，后来被引用到数学中用来指明函数在指定点的变量率最快的方向和大 …

Mar 20, 2025 · 建议读我advisor这篇入门： proceedings.mlr.press/v 这篇有很多详细的review和对比，例如欧氏空间优化的一些概念和假设推广到概率分布空间是啥？对于概率分布而言又等价于什么？ 然 …

2. policy gradient 缺点 1）训练慢 policy gradient 是on-policy 方法，只能通过和环境的不断互动，拿到当前的反馈来更新agent。 这就意味要花大量时间在采样上，数据利用率低，训练非常慢。agent 更新 …