北大团队提出HISA稀疏注意力机制，超长文本处理速度提升四倍
量子位2026/04/06 23:25机翻/自动摘要/自动分类
1 阅读
内容评分
技术含量
8/10
营销水分
5/10
摘要
北大团队提出HISA稀疏注意力机制，通过分层筛选提升超长文本处理速度，最高提速四倍且精度几乎不变，具备即插即用、工程友好等优势。
正文
北京大学张牧涵团队提出了一种名为HISA（分层索引稀疏注意力）的新注意力机制，旨在解决处理超长文本时的效率瓶颈。该机制通过两步筛选流程，先对文本进行块级粗过滤，再在关键块内进行字符级精细检索，从而在不改变原有注意力计算逻辑的前提下，显著提升处理速度。HISA在DeepSeek-V3.2和GLM-5等主流模型上进行了测试，结果显示其在64K长度文本下最高提速3.75倍，且精度几乎与原方法持平。此外，HISA具备良好的工程友好性，无需重新训练模型或调整KV缓存结构，即可直接替换原有索引器。研究团队还指出，HISA在某些特定任务中表现优于纯块稀疏方法，并提出了未来改进方向，如自适应块、重叠块和联合训练等。