MiniMax震撼开源，突破传统Transformer架构，4560亿参数，支持400万长上下文
基于以上一系列创新，MiniMax 最终得到了一个拥有 32 个专家 共 4560 亿参数 的 LLM，每个 token 都会激活其中 459 亿个参数。MiniMax 将其命名为 MiniMax-Text-01。在执行推理时，它的上下文长度最高可达 ...