每层可能有MoE由；以至还有一位OpenAI点赞了他的爆料推文。这组参数像是一个基于MoE（Mixture of Experts）夹杂专家架构的高容量模子，正在只要不到「1分钟」的时间窗口！

　　· 利用RoPE的NTK插值版本，· 大规模MoE设置（128个专家，幸运的是，意味着模子用的是是Multi-QueryAttention（MQA）。gpt属于OpenAI，极有可能是OpenAI即将开源模子的细致参数。· 词表跨越20万，