http://www.bing.com:80/search?q=Sparse+Coding+and+Dictionary+Learning+Block+DiagramSearch resultshttp://www.bing.com:80/s/a/rsslogo.gifhttp://www.bing.com:80/search?q=Sparse+Coding+and+Dictionary+Learning+Block+DiagramCopyright © 2026 Microsoft. All rights reserved. These XML results may not be used, reproduced or transmitted in any manner or for any purpose other than rendering Bing results within an RSS aggregator for your personal, non-commercial use. Any other use of these results requires express written permission from Microsoft Corporation. By accessing this web page or using these results in any manner whatsoever, you agree to be bound by the foregoing restrictions.https://www.zhihu.com/question/38286385深度学习论文中经常看到"sparse"，所以应该是重要的概念，但一直不理解很困惑； 刚才在quora上的回答感觉很有帮助，尝试总结以下： sparse 代表数据为0，sparse数据的存在让不为0的dense数据聚集在一起； 因为存在数据聚集效应，所以才能学到特征和规律； 如果数据维度很高，噪音很多，原本为0的 ...Tue, 07 Apr 2026 21:32:00 GMThttps://www.zhihu.com/tardis/zm/art/643801236Sparse Transformer 减轻计算量的方式通过让连接模式作用到 上，从而减轻 的复杂度。 如式 (3)。 对于第 个时间片的输入，首先使用 Key 和 Value 的权值矩阵乘以输入特征，得到 和 。 然后再将连接模式 作用到 和 上，得到稀疏的特征 和 。Fri, 17 Apr 2026 09:31:00 GMThttps://www.zhihu.com/question/12682779853通俗解释 Sparse Attention 的原理： 想象你在读一本长篇小说，如果每一页都要仔细读完全文才能理解剧情，效率会非常低。实际上，你会 快速跳过无关段落，只聚焦关键章节和人物对话，这就是 Sparse Attention（稀疏注意力） 的核心思想——让AI模型像人类一样“选择性关注重点，忽略次要信息 ...Fri, 20 Mar 2026 02:33:00 GMThttps://www.zhihu.com/question/12608484026准确率上，sparse 的模型比 full 还要搞一些。 这个我猜一点原因：（1）模型还不算大，NSA 和 full 还没遇到“瓶颈”，所以 full attention 还没摸到其上限，不能和 NSA 拉开差距；（2）sparse attention 本质上可以看做是对训练的一种正则，所以也许会有更好的泛化能力。Mon, 13 Apr 2026 03:24:00 GMThttps://www.zhihu.com/question/66907303知乎 - 有问题，就会有答案Fri, 20 Mar 2026 15:19:00 GMThttps://www.zhihu.com/question/362786515categorical_crossentropy:计算预测值与真值的多类交叉熵 (输入值为二值矩阵,而不是向量)，注意使用该目标函数时，需要将标签转化为形如 (nb_samples, nb_classes) 的二值序列 sparse_categorical_crossentropy:与多类交叉熵相同,适用于稀疏情况。如上，但接受稀疏标签。注意，使用该函数时仍然需要你的标签与输出值 ...Mon, 30 Mar 2026 14:32:00 GMThttps://www.zhihu.com/question/509508528?write还是离不开概率啊。 sparse prior是指在机器学习中，使用一个 概率 分布来描述参数的分布，其中大多数参数的值都是零或接近零。这个概念出自于2006年的论文《Sparse Bayesian Learning and the Relevance Vector Machine》，该论文提出了一种基于稀疏 先验的 机器学习算法，即关联向量机（Relevance Vector Machine）。Sun, 12 Apr 2026 16:04:00 GMThttps://www.zhihu.com/question/1934217646720641011ACL 2025 值得盯紧的是长 上下文高效化＋对齐可靠性，四篇最佳论文把这两条主线从理论到工程都打穿，GitHub 上已经能跑起来的代码比往年多出不少，趁热上手收益最大。 一、大会主旋律 今年我（关注大模型/AI Agent）感受有三点： 第一，长上下文成为刚需，谁能在 A100 单卡上把 128 k token 跑顺畅，谁 ...Mon, 20 Apr 2026 11:01:00 GMThttps://www.zhihu.com/question/31951092广播电视节目制作经营许可证:（京）字第06591号 互联网宗教信息服务许可证：京（2022）0000078Wed, 22 Apr 2026 05:58:00 GMThttps://www.zhihu.com/question/31951092?sort=created知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、影视 ...Sat, 11 Apr 2026 17:16:00 GMT