腾讯网1 个月
Hymba: 结合注意力头和SSM头的创新型语言模型方案
但现有的Transformer架构存在计算复杂度高、内存消耗大等问题。而状态空间模型(SSM)如Mamba虽然具有常数复杂度和优化的硬件性能,但在记忆回溯任务上 ...