http://www.bing.com:80/search?q=Gradient+Texture+BackgroundSearch resultshttp://www.bing.com:80/s/a/rsslogo.gifhttp://www.bing.com:80/search?q=Gradient+Texture+BackgroundCopyright © 2026 Microsoft. All rights reserved. These XML results may not be used, reproduced or transmitted in any manner or for any purpose other than rendering Bing results within an RSS aggregator for your personal, non-commercial use. Any other use of these results requires express written permission from Microsoft Corporation. By accessing this web page or using these results in any manner whatsoever, you agree to be bound by the foregoing restrictions.https://www.zhihu.com/tardis/bd/ans/1827501472我会使用尽量少的数学符号描述 梯度， 着重于意义而非计算。一个直观的例子，在机器学习领域有个术语叫「梯度下降」，你可以想象在群山之中，某个山的半山腰有只小兔子打算使用梯度下降的思路去往这片群山最深的山谷里找水喝。 我们用 变化率 来描述下山时各个方向的山路有多陡峭，往下 ...Thu, 02 Apr 2026 11:08:00 GMThttps://www.zhihu.com/question/29151564为了降低随机梯度的方差，从而使得迭代算法更加稳定，也为了充分利用高度优化的矩阵运算操作，在实际应用中我们会同时处理若干训练数据，该方法被称为小批量梯度下降法 (Mini- Batch Gradient Descent)。 假设需要同时处理m个训练数据 则目标函数及其梯度为Tue, 31 Mar 2026 18:41:00 GMThttps://www.zhihu.com/tardis/bd/ans/1693484231这篇回答节选自我的专栏 《机器学习中的数学：微积分与最优化》，和大家一起谈谈方向导数和梯度。 欢迎关注我的知乎账号 @石溪 ，将持续发布机器学习数学基础及算法应用等方面的精彩内容。 1.多元函数偏导数的数值解 在程序当中，利用数值方法求出各个自变量偏导数的近似解，其方法和步骤 ...Wed, 04 Mar 2026 07:46:00 GMThttps://www.zhihu.com/question/266846405看到一篇文章写得非常浅显易懂： What is the natural gradient, and how does it work? 总结一下： 拿神经网络中的反向传播算法举例，我们计算各个权值w关于损失函数的导数，得到一个梯度向量，然后沿着这个梯度的反方向更新权值一小段距离，如此不断重复来使损失函数收敛到（局部）最小值。 问题就在于 ...Fri, 27 Mar 2026 15:33:00 GMThttps://www.zhihu.com/tardis/bd/ans/1607285093梯度是雅可比矩阵的一种特殊形式，当m=1时函数的雅可比矩阵就是梯度，这个概念原是为场论设定的，任何场都可以用来理解梯度，后来被引用到数学中用来指明函数在指定点的变量率最快的方向和大小，是一种变化效率的数字抽象。 举一个降维的例子，在修建一个通向山顶的缆车时，缆车的路线 ...Sun, 01 Mar 2026 18:05:00 GMThttps://www.zhihu.com/tardis/zm/art/82622940近端梯度下降法是众多梯度下降 (gradient descent) 方法中的一种，其英文名称为proximal gradident descent，其中，术语中的proximal一词比较耐人寻味，将proximal翻译成“近端”主要想表达"（物理上的）接近"。与经典的梯度下降法和随机梯度下降法相比，近端梯度下降法的适用范围相对狭窄。对于凸优化问题 ...Wed, 25 Mar 2026 15:28:00 GMThttps://www.zhihu.com/question/14925347536Normalization这个事得好好掰扯掰扯。 上古时期，网络经常在初始几个iteration之后，loss还没下降就不动，必须得把每一层的gradient与weight的比值打印出来，针对性地调整每一层的初始化才能不崩。Sun, 29 Mar 2026 22:18:00 GMThttps://www.zhihu.com/tardis/zm/art/2081787631 主要优化器 1.1 SGD SGD全称Stochastic Gradient Descent，随机梯度下降，1847年提出。每次选择一个mini-batch，而不是全部样本，使用梯度下降来更新模型参数。它解决了随机小批量样本的问题，但仍然有自适应学习率、容易卡在梯度较小点等问题。Wed, 01 Apr 2026 17:28:00 GMThttps://www.zhihu.com/question/482227849什么是分布式优化中的梯度跟踪（Gradient Tracking）？ 最近看到一些关于梯度跟踪的文章，一堆公式看得头疼，不知道到底是要做什么的，如何简单直观的解释其作用和原理？ 显示全部 关注者 19Tue, 24 Mar 2026 13:34:00 GMThttps://www.zhihu.com/question/583011902实验发现2：最近的研究者实验发现，在总的batch_size*gradient accumulation下相同的情况下，除了loss会大，梯度累积越大，最终导致L2 Norm越大，L2Norm越大，说明权重越大，那么模型的泛化性会受到影响。Mon, 23 Mar 2026 18:08:00 GMT