http://www.bing.com:80/search?q=Sparse+Coding+in+Linear+Factor+ModellingSearch resultshttp://www.bing.com:80/s/a/rsslogo.gifhttp://www.bing.com:80/search?q=Sparse+Coding+in+Linear+Factor+ModellingCopyright © 2026 Microsoft. All rights reserved. These XML results may not be used, reproduced or transmitted in any manner or for any purpose other than rendering Bing results within an RSS aggregator for your personal, non-commercial use. Any other use of these results requires express written permission from Microsoft Corporation. By accessing this web page or using these results in any manner whatsoever, you agree to be bound by the foregoing restrictions.https://www.zhihu.com/tardis/zm/art/643801236Sparse Transformer 减轻计算量的方式通过让连接模式作用到 上，从而减轻 的复杂度。 如式 (3)。 对于第 个时间片的输入，首先使用 Key 和 Value 的权值矩阵乘以输入特征，得到 和 。 然后再将连接模式 作用到 和 上，得到稀疏的特征 和 。Fri, 17 Apr 2026 09:31:00 GMThttps://www.zhihu.com/question/66907303知乎 - 有问题，就会有答案Fri, 20 Mar 2026 15:19:00 GMThttps://www.zhihu.com/question/12682779853通俗解释 Sparse Attention 的原理： 想象你在读一本长篇小说，如果每一页都要仔细读完全文才能理解剧情，效率会非常低。实际上，你会 快速跳过无关段落，只聚焦关键章节和人物对话，这就是 Sparse Attention（稀疏注意力） 的核心思想——让AI模型像人类一样“选择性关注重点，忽略次要信息 ...Fri, 20 Mar 2026 02:33:00 GMThttps://www.zhihu.com/question/55606589稀疏主成分分析简介 变量经过PCA后得到的主成分通常在多个原始变量上都不为 0 ，这导致进行PCA后的主成分的含义较为模糊，给数据分析带来了一定难度，因此Zou等（2006）提出的一种新的主成分分析方法，稀疏主成分分析（Sparse Principal Component Analysis [1]，SPCA）。Thu, 23 Apr 2026 12:30:00 GMThttps://www.zhihu.com/question/38286385深度学习论文中经常看到"sparse"，所以应该是重要的概念，但一直不理解很困惑； 刚才在quora上的回答感觉很有帮助，尝试总结以下： sparse 代表数据为0，sparse数据的存在让不为0的dense数据聚集在一起； 因为存在数据聚集效应，所以才能学到特征和规律； 如果数据维度很高，噪音很多，原本为0的 ...Tue, 07 Apr 2026 21:32:00 GMThttps://www.zhihu.com/pin/1966079486824018320清华朱军团队提出「稀疏-线性注意力」SLA | 论文标题：SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention 主要内容：在扩散 Transformer（DiT）模型中，特别是对于视频生成而言，由于序列长度较长和二次复杂度，注意力延迟是一个主要的瓶颈。Thu, 23 Apr 2026 23:50:00 GMThttps://www.zhihu.com/column/c_1964283140655788225知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、影视 ...Tue, 31 Mar 2026 13:33:00 GMThttps://www.zhihu.com/question/1956137082197083536对于（1）来说，dynamic sparse attention就是一个比较promising来解的方向，代表工作包括不限于Native Sparse Attention（NSA），MOBA，以及DeepSeek-V3.2-Exp里面的Deepseek Sparse Attention (DSA)。Sat, 25 Apr 2026 09:43:00 GMThttps://www.zhihu.com/pin/1917503765822530101太牛了！稀疏注意力加速神器：SeerAttention-R | 今天来给大家分享一篇SeerAttention-R：面向长推理的稀疏注意力框架。💥核心创新点1. 给大模型加"智能眼睛"！不改动原模型参数，用轻量级门控模块学会只…Mon, 06 Apr 2026 10:13:00 GMThttps://www.zhihu.com/column/p/22711401无论是Matlab、SuiteSparse，还是CSparse，他们的稀疏矩阵的数据结构实现都是相同的。 /* --- primary CSparse routines and data structures ...Mon, 06 Apr 2026 17:51:00 GMT