Sparse Transformer
Sparse Transformer 减轻计算量的方式通过让连接模式作用到 上，从而减轻 的复杂度。 如式 (3)。 对于第 个时间片的输入，首先使用 Key 和 Value 的权值矩阵乘以输入特征，得到 和 。 然后再将连接模 …
知乎 - 有问题，就会有答案
知乎 - 有问题，就会有答案
稀疏（sparse）在机器学习中很重要吗？为什么？ - 知乎
Dec 7, 2015 · 深度学习论文中经常看到"sparse"，所以应该是重要的概念，但一直不理解很困惑； 刚才在quora上的回答感觉很有帮助，尝试总结以下： sparse 代表数据为0，sparse数据的存在让不为0 …
通俗理解，Sparse Attention是什么原理？ - 知乎
通俗解释 Sparse Attention 的原理： 想象你在读一本长篇小说，如果每一页都要仔细读完全文才能理解剧情，效率会非常低。实际上，你会 快速跳过无关段落，只聚焦关键章节和人物对话，这就是 Sparse …
MICRO25论文笔记 - 知乎
知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区 …
DeepSeek-V3.2-Exp 和 Qwen3-Next 哪个才是未来？ - 知乎
对于（1）来说，dynamic sparse attention就是一个比较promising来解的方向，代表工作包括不限于Native Sparse Attention（NSA），MOBA，以及DeepSeek-V3.2-Exp里面的Deepseek Sparse …
终稿改回初稿 的想法: 清华朱军团队提出「稀疏-线性注意力」SLA | 论 …
清华朱军团队提出「稀疏-线性注意力」SLA | 论文标题：SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention 主要内容：在扩散 Transformer（DiT）模型中，特别是对 …
稀疏矩阵（sparse matrix）的基本数据结构实现
无论是Matlab、SuiteSparse，还是CSparse，他们的稀疏矩阵的数据结构实现都是相同的。 /* --- primary CSparse routines and data structures ...
如何理解稀疏主成分分析 (Sparse Principal Component Analysis)?
稀疏主成分分析简介 变量经过PCA后得到的主成分通常在多个原始变量上都不为 0 ，这导致进行PCA后的主成分的含义较为模糊，给数据分析带来了一定难度，因此Zou等（2006）提出的一种新的主成分 …
ACL 2025 有哪些论文值得关注？ - 知乎
Jul 31, 2025 · ACL 2025 值得盯紧的是长 上下文高效化＋对齐可靠性，四篇最佳论文把这两条主线从理论到工程都打穿，GitHub 上已经能跑起来的代码比往年多出不少，趁热上手收益最大。 一、大会主 …