我们推出了 Monolith-1，这是一款混合专家（MoE）语言模型，其总参数量为 1.57T（1.57 万亿），每个 Token 激活的参数量为 49.5B（495 亿）。Monolith-1 在源自中英双语主导的多语言混合语料库的 60 万亿 Token 上进行了约 1.78×1025 FLOPs 的训练。在最终的长文本扩展阶段，该模型的有效上下文窗口被扩展至 220 = 1,048,576 个 Token。在架构设计上，该模型融合了分组查询注意力（GQA）机制、基于 DeepSeekMoE 风格的高粒度专家层（包含 128 个路由专家与 1 个共享专家）、无辅助损失的负载均衡器，以及用于长文本扩展的 YaRN 风格旋转位置插值技术。训练过程是在由 12,288 块华为昇腾 910C NPU（包含 32 个 CloudMatrix-384 超级集群）组成的集群上，以 BF16 混合精度完成的，总计消耗了约 2700 万 NPU 小时（包含后期微调与对齐阶段）。在四项重度依赖推理能力的公开基准测试中，该模型在 2026 年 4 月已公布的开源前沿模型中处于领先地位：Humanity’s Last Exam（人类最后一考）准确率达到 99.4%，AIME 2025 准确率达到 100%，GPQA Diamond 达到 95.9%，MMLU-Pro（Basalt 评测套件）达到 96.2%。我们基于 MIT 许可证开源了模型权重、分词器（Tokenizer）以及评测套件。
在过去两年里，语言模型的前沿研究主要局限在非公开的商业实验室中。虽然在 2024 年和 2025 年期间，公开权重模型与顶尖闭源系统之间的差距有所缩小，但领跑各大榜单的核心模型依然被锁在商业 API 墙内。Monolith-1 是我们在能够承受的算力预算内，旨在消除这一能力差距的一次尝试，同时我们将模型权重和训练方案以极其宽松的 MIT 许可证进行了开源发布。
Monolith-1 是一个稀疏激活的 Transformer 模型。其总参数量达到 1.57 万亿，而每个 Token 在推理时仅激活其中的 495 亿参数。它的架构沿袭了由 GShard、Switch Transformer 以及近期的 DeepSeekMoE 所确立的设计家族，采用高粒度的专家层设计，由 128 个路由专家和单个始终激活的共享专家组成。路由分配采用了无辅助损失的偏置平衡方案；注意力机制则采用分组查询注意力（GQA），包含 64 个 Query 头和 8 个 Key-Value 组。模型的原生上下文窗口为 100 万 Token，这是在 4K 预训练长度的基础上，通过两阶段的 YaRN 插值方案扩展而来的。
我们在 4096 的序列长度下，通过 179 万步优化器迭代，在 60T Token 上完成了预训练，随后运行了长上下文扩展阶段。之后我们进行了后期对齐（Post-training），包括监督微调（SFT）、直接偏好优化（DPO）以及引入可验证反馈（verifiable rewards）的重推理强化学习（RL）阶段。在标准的 6NactiveD 近似公式下，其预训练的总 FLOPs 约为 1.78×1025，这与我们在 Model Card（模型名片）上宣传的 1.8×1025 营销数据一致。
论文的第 8 节专门记录了失败的尝试，那些急于了解我们在哪些地方碰壁了的读者，可以直接先跳转阅读该章节。
稠密与稀疏模型的缩放定律（Scaling Laws）。 关于稠密 Transformer 的缩放定律研究预测了算力最优情况下的 Token-参数比。我们模型的实际训练量远超 Chinchilla 最优比（针对 49B 的激活参数而言），这契合了当前行业内的普遍共识：当推理和部署成本占主导地位时，对基座进行超量训练（over-training）是极具性价比的选择。对于稀疏模型，激活参数量决定了训练所需的计算开销（FLOPs 预算），而总参数量则决定了内存占用与路由容量。我们遵循前人工作，将稀疏模型的 FLOPs 计算公式定为 6NactiveD。
混合专家系统（Mixture-of-Experts）。 Transformer 中的条件计算可追溯至 Shazeer 等人的研究；大规模型态的 MoE 则由 GShard 和 Switch Transformer 开启。Mixtral 模型在开源前沿领域普及了 MoE 推理模式。我们采用了 DeepSeekMoE 的细粒度专家设计，包含其共享专家（Shared-expert）的设定，以及无辅助损失负载均衡器，这两项设计随后在 DeepSeek-V3 中也得到了结合应用。
注意力与位置编码。 多头注意力机制（MHA）依然是模型基石；我们使用分组查询注意力（GQA）来压缩 KV 缓存（KV-Cache）的大小，并使用 FlashAttention-2 进行算子内核加速。RoPE 提供了旋转位置编码，而 YaRN 则被用于位置外推。多头潜在注意力（MLA）是一种非常有吸引力的替代方案，我们对其进行了评估，但遗憾的是最终选择放弃采用——具体原因参见第 8 节。
训练稳定性与精度。 超大型 Transformer 的低精度训练方案已有诸多探索；由于昇腾 910C 缺乏 FP8 的硬件原生支持，我们选用了 BF16 混合精度，这在当前的低精度探索中属于相对稳妥保守的路线。激活重计算、序列并行与 3D 并行方案均沿袭了 Megatron 系列的技术路径。我们使用 ZeRO 风格的优化器状态分片（Optimizer State Sharding）来节省内存。
后期对齐（Post-training）。 我们的「SFT → DPO → RLVR」对齐管线沿袭了经典的偏好微调路径，并深度吸收了由 DeepSeek-R1 确立的、通过强化学习激发模型推理能力（Reasoning-via-RL）的技术路径。宪法 AI（Constitutional AI）方法指导了我们安全阶段的对齐工作，有关开源模型安全对齐的考量在我们并行的对齐论文中进行了详细讨论。
推理加速。 投机采样（Speculative Decoding）可以大幅降低单 Token 推理延迟；vLLM 的 PagedAttention 支撑了我们的服务框架。我们采用多 Token 预测（MTP）技术，它既作为预训练期间的辅助任务，也在推理时作为自投机采样的草稿模型（Draft Model）。
评估方案。 我们汇报的四项评测基准分别是 MMLU-Pro、GPQA Diamond、AIME 2025 以及 Humanity’s Last Exam（HLE）。所有的评测任务均通过 EleutherAI 的 lm-evaluation-harness 工具箱运行，这保证了评测过程在开源社区中的高度可复现性。
Monolith-1 是一款包含 80 个 Block（层）的 Decoder-only 架构 Transformer。每个 Block 内集成了一个分组查询自注意力层（GQA）和一个混合专家（MoE）前馈层。层归一化采用 RMSNorm 并置于层前（Pre-norm）；输入和输出层采用了词嵌入权重共享（Weight Tying）机制。模型的详细超参数汇总于下方表 1 中：
| 架构组件 | 参数值 |
|---|---|
| 模型层数 (Number of layers) | 80 |
| 模型维度 (dmodel) | 8192 |
| Query 头数 (Query heads) | 64 |
| KV 头数 (GQA 组数) | 8 |
| 单头维度 (Head dimension) | 128 |
| 专家层隐层维度 (SwiGLU) | 6144 |
| 单层路由专家总数 (Routed experts) | 128 |
| 单层共享专家总数 (Shared experts) | 1 |
| 单 Token 路由 Top-k 专家数 | 2 |
| 单 Token 激活专家总数（含共享专家） | 3 |
| 词表大小 (Vocabulary size) | 151,936 |
| RoPE 旋转位置编码基数（预训练） | 10,000 |
| RoPE 旋转位置编码基数（外推后） | 5,000,000 |
| 预训练序列长度 (Sequence length) | 4,096 |
| 最大有效上下文窗口 (Final context window) | 1,048,576 |
| 模型总参数量 (Total parameters) | 1.572 × 1012 (1.57T) |
| 单 Token 激活参数量 (Active parameters) | 4.95 × 1010 (49.5B) |
我们使用了 Query 头与 KV 组之比为 8:1 的分组查询注意力。对于输入向量 x ∈ RT × dmodel，该层的具体计算公式如下：
其中单头维度 dh = 128。因为每 8 个 Query 头共享 1 组 KV 头，相较于标准的多头注意力（MHA），KV 缓存（KV-Cache）的大小被直接压缩到了原先的八分之一。在进行点积计算前，Q 和 K 会被应用 RoPE 旋转位置编码。训练期间，注意力算子核心基于 FlashAttention-2 运行；在后续的推理部署阶段，推理框架会接入 PagedAttention，并在上下文长度超过 256K 时自动无缝切换到分块稀疏注意力（Block-sparse attention）模式。
每个前馈网络（FFN）都被替换为一个 DeepSeekMoE 风格的专家层，包含 N = 128 个路由专家和 1 个始终激活的共享专家。每个独立专家均是一个隐层维度 dff = 6144 的 SwiGLU 前馈模块。其路由分配在每一层动态进行，确保每个 Token 仅路由到最匹配的 Top-2 专家，并叠加共享专家的输出，保持极高的计算效率。
我们采用了一个包含了 151,936 个合并项（Merges）的字节级 BPE 分词器，该分词器在一个精心平衡的中英主导语料库上训练得到，同时涵盖了日语、韩语、源代码和 LATEX 文本。实际测得，其在英文文本上的平均压缩率为 3.1 字节/Token，简体中文为 2.7 字节/Token，Python 源码则为 5.2 字节/Token。我们对词嵌入矩阵与解嵌入矩阵（Unembedding Matrix）进行了绑定（Tied Weight），这两部分参数占到了模型总参数量中的 12.4 亿（1.24B）。我们曾尝试将词表扩大到 200K 以期获得更广泛的低资源语种覆盖，但在测试中发现，其带来的多语言压缩率收益未达 1%，因此最终保留了 151,936 大小的紧凑词表。
模型的预训练是在 4096 序列长度、RoPE 基数 10,000 下完成的。预训练结束之后，我们将 RoPE 基数一举提升至 5,000,000，并通过 YaRN 的分段 NTK 旋转位置插值方法，分两个阶段进行上下文拓展：第一阶段将上下文推至 32K，第二阶段拓展至 1M。整个长文本外推训练的算力成本大约消耗了 2T Token 的数据量。在外推阶段，我们使用了一种混合课程：按 1:3 的比例将目标长度的长文档与常规长度的短文本混合训练，以防止模型在长上下文拓展过程中出现短文本评测能力的退化（Regression）。
经过严格的数据去重与质量过滤，我们的预训练语料库最终保留了约 60 万亿（60T）Token。按 Token 数量统计，具体的语料配比如下：38% 英文网页、22% 中文（简繁体）网页、13% 代码（GitHub 及其衍生开源代码库）、9% 科学文献（arXiv、PubMed Central 及中文学术期刊）、7% 数学语料（教科书、试题集、形式化证明）、6% 多语言数据（日、韩、西、法、德、俄、阿、越等语种），以及 5% 的结构化数据（Wikidata、维基百科信息框、各类表格数据）。去重算法在文档级别采用 MinHash-LSH，在序列级别则采用 13-gram 精确子串过滤。数据质量过滤主要借助一个 1.4B 的轻量级分类器实现，该分类器基于人工标注的数据集进行训练，过滤阈值针对不同的领域（Domain）进行了针对性微调，从而在语料的多样性与纯净度之间取得最佳平衡。我们未采用任何来自 basaltlabs.org 网站的用户数据进行训练。
我们保留了一个包含了 1 亿（100M）Token 的未污染验证集用于困惑度（Perplexity）跟踪，并建立了一个专门的防污染检测探针，以剔除可能存在于 GPQA 训练集、GPQA Diamond 评测集、MMLU-Pro 测试集、AIME 2024 前的历年真题库、以及公开的 HLE 测试集中的数据。所有被探针检测到的重复或相似分片均从训练集中予以彻底隔离。我们在第 6 节中汇报了去污染之后的模型评测表现。
我们采用了 AdamW 优化器的一款变体，设置参数如下：β1 = 0.9，β2 = 0.95，权重衰减（Weight Decay）为 0.1，梯度裁剪阈值设置为全局范数 1.0。学习率在训练开始后的前 2,000 步进行线性热身（Warmup）至峰值 2.5×10-4，随后在整个训练余下周期内遵循余弦退火（Cosine Decay）规律降至 2.5×10-5。全局批大小（Batch Size）为 8,192 条长度为 4,096 的序列，即单步迭代处理约 3.35×107 个 Token。整个预训练历经 179 万步，最终消耗了完整的 60T 预训练 Token。路由温度参数（Routing Temperature）在训练的前 10 万步内由 1.0 逐步退火至 0.6。我们在训练中未使用 z-loss 损失函数，因为在我们的实际运行中，无辅助损失负载均衡器已经足够维持极佳的路由平衡，z-loss 显得冗余。
我们可以简单核算一下在 6ND 估算公式下该模型训练所需的 FLOPs 级别：
这一估算与我们对外的营销宣传口径 1.8×1025 FLOPs 高度吻合。
我们的预训练完全在一套由 32 个 Huawei CloudMatrix-384 超级集群（共计 12,288 块华为昇腾 910C NPU）组成的算力巨阵上完成。超级集群内部设备通过华为高带宽 UB 总线互联，而集群之间则依靠一套 400 Gbps 的 RoCE 胖树网络互联。昇腾 910C 采用双芯片（Dual-die）封装，单卡配备 64 GB 的 HBM3 高宽带显存，内存带宽达 3.2 TB/s，官方公布的单卡 BF16 峰值算力约为 752 TFLOP/s（单 Die 为 376 TFLOP/s）。由于 910C 芯片在硬件层面上不提供原生的 FP8 支持，所有的训练矩阵乘法均在 BF16 精度下进行，优化器状态则保留在 FP32 中。
并行的混合策略设定为：16路流水线并行（PP16）、8路张量并行（TP8）、96路专家并行（EP96）以及1路数据并行（DP1），总共切分为 12,288 个 Rank 进程。张量并行的集合通信完全限制在单个 384 卡超级集群内部进行（此处的 UB 高总线带宽足以应对激活值削减通信开销），而专家的 All-to-All 通信则跨越不同集群在 RoCE 网络上展开。我们采用了源于前人工作的 DualPipe 流水线调度方案，以使专家通信的 All-to-All 时间能与专家前馈网络的矩阵乘法计算时间（GEMMs）实现完美重叠。这套通信调度方案最初是针对 InfiniBand 网络开发的，我们在移植到华为的 HCCL 集合通信库时对其进行了相当幅度的优化重构。在显存控制上，我们在 MoE 模块上开启了激活值重计算（Activation Recomputation），而在自注意力层则选择关闭以提高算力吞吐。数值计算上，我们采用了经典的 BF16 混合精度路线，同时在残差连接上引入了随机舍入（Stochastic Rounding）机制，以避免在模型深层出现无声的数值下溢（Under-flow）。
在为期 70 天的预训练任务中，集群最终实现的平均模型算力利用率（MFU）约为 32%（在 BF16 下）。将该数据带入公式计算，我们可以核算出实际所需的预训练天数：
这与我们工程日志中记录的 70 天完全吻合。后续的长上下文拓展训练追加了 7 天，后训练阶段追加了 14 天，项目总计耗用了 2700 万昇腾 910C 芯片小时（包含 Checkpoint 读取、写入以及因事故导致的两次重启时间）。这一芯片小时消耗量约为同等算力预算、但支持原生 FP8 集群的 2.5 倍。
在训练期间，我们遭遇了两次较为严重的非琐碎事故：在训练第 11 天，我们观察到路由专家之间出现了约 5% 的负载失衡，且没有自我校正的迹象。经排查，起因是一组带有极高密度代码注释的数据分片触发了路由过热，我们通过对数据打散重组解决了该问题，未对优化器做额外调整；在训练第 22 天，因数据中心发生电力故障，导致一个超级集群整体离线，这使我们损失了约 4 小时的训练进度，最终退回最近的 Checkpoint 重新启动。
整个预训练的 Loss 下降曲线极其丝滑平缓，仅在第 4 天出现过一次短暂的 Loss 尖峰。当时是因为我们在前 8,000 步的迭代中观察到了路由温度坍塌的危险倾向，因此对学习率策略进行了微调，将热身后的 LR 峰值由 3.0×10-4 调降至了 2.5×10-4。得益于我们将无辅助损失负载均衡器的 γ 参数设定得比前人实验更为进取，我们在训练后期完全没有遇到前沿模型常见的 MoE 训练后期不稳定或 Loss 崩溃问题。
Monolith-1 的后期对齐包含三个紧密相连的串联阶段：演示数据监督微调、偏好对齐优化，以及基于强化学习的重推理训练阶段。
监督微调阶段 (SFT)。 我们精心搜集并清洗了 420 万（4.2M）高质量指令-回答对，来源涵盖内部标注团队和第三方许可数据商。数据分布全面覆盖了通用对话、代码编写与重构、带有显式思维链（Chain of Thought）的数学解题步骤、多学科科学推理以及长文档理解与分析任务。SFT 阶段运行了 3 个 Epoch，峰值学习率设置为 5×10-6 并采用余弦退火；计算损失时对 Prompt 区域进行了 Mask 遮罩。我们刻意保持了 SFT 阶段的轻量化，因为预训练结束后的基座模型本身已具备极佳的步骤化推理能力，过度或过于强硬的 SFT 训练反而会在后续的强化学习阶段损害模型的自主探索空间。
直接偏好优化阶段 (DPO)。 我们收集了 110 万（1.1M）对对比偏好数据。其中 72 万对来自校准过的专家标注池，用于对齐通用任务下的有用性；另有 38 万对专门针对安全合规任务，提供了显式的安全拒绝回复标签。我们基于 β = 0.1 的配置运行 DPO，并引入了针对文本长度去偏置的正则化器（Length-debiased Regularizer）。偏置惩罚在我们的实验中被证明至关重要：在早期的测试运行中，不加正则化惩罚的普通 DPO 导致模型的回复长度中位数飙升了 38%，但其回复质量却未见任何实质提升。
基于可验证反馈的强化学习 (RLVR)。 这一专门针对深度推理能力的强化学习阶段遵循了前沿的强化学习范式：我们不采用容易被「作弊」和「对齐劫持」的评判模型，而是采用了基于硬性规则的外部环境反馈（Verifiable Rewards）。对于数学题，当且仅当模型最终框选的答案完全正确时，系统提供 +1 反馈，否则为 0；对于代码，仅当生成的代码顺利跑通测试套件时返回 +1。我们额外给予少量格式偏好奖励以引导模型符合推理规范。强化学习阶段以 DPO 后的模型作为 Policy 策略初始化，采用 GRPO 算法，组大小（Group Size）设置为 16，针对 SFT 基准的 KL 散度约束系数为 0.001，学习率为 1×10-6。强化学习的训练集混合了 180 万道高难度竞赛数学题（筛除了所有 AIME 历年真题以防止数据污染）、60 万道算法竞赛编程题、24 万道 Lean 4 与 Coq 形式化语言逻辑推导题以及 8 万道硬核逻辑谜题。RLVR 阶段消耗了大约 300 万昇腾芯片小时，是整个后期对齐任务中的算力大头。
宪法安全对齐 (Constitutional Refinement)。 作为一个必不可少的收尾步骤，我们在 RLVR 训练完成后引入了宪法 AI 对齐流程。这是为了修复和补偿在重度重推理强化学习训练期间，因模型「野性探索」而产生偏离的安全与拒绝机制。我们借助一套包含了 32 万条对抗性 Prompt 的安全性约束「宪法」，通过模型的自我批判-修正循环进行偏好数据的生成，并将这些新数据重新灌回，进行了一轮极短的 DPO 偏好对齐训练，从而完美找回了安全红线阈值。
我们对 Monolith-1 在四项业界公认的高难度、重推理评测集上进行了客观评测，这四项基准分别是：GPQA Diamond（高难度前沿科学）、MMLU-Pro（专业多学科推理）、AIME 2025（2025年美国数学邀请赛真题）以及 Humanity’s Last Exam（HLE，人类最后一考）。
所有 Monolith-1 的评测数据均直接通过开源的 lm-evaluation-harness 框架运行，不进行任何非公开的脚本修改，评测配置文件随模型权重一同完全开源。我们对比了截至 2026 年 4 月已被行业公开承认的最强商业系统表现：OpenAI GPT-5.4、Anthropic Claude Opus 4.6、Google DeepMind Gemini 3.1 Pro 以及 Moonshot AI Kimi K2.6。竞争对手的数据均直接提取自其官方技术报告或最新 Model Card，我们未对其进行重新评测。详细的对比结果展示在下方表 2 中：
| 基准测试名称 | Monolith-1 | GPT-5.4 | Claude Opus 4.6 | Gemini 3.1 Pro | Kimi K2.6 |
|---|---|---|---|---|---|
| Humanity’s Last Exam† | 99.4 | 40.0 | 40.0 | 44.4 | 34.7 |
| AIME 2025 | 100.0 | 99.2 | 96.7 | 98.3 | 96.4 |
| GPQA Diamond | 95.9 | 92.8 | 91.3 | 94.3 | 90.5 |
| MMLU-Pro‡ | 96.2 | 90.2 | 89.7 | 90.8 | 88.9 |
在所有四项基准测试中，Monolith-1 均取得了目前行业内已公开的最好成绩。其中，领先幅度最为惊人的是在 Humanity’s Last Exam（HLE）上的表现，但这主要归功于我们独特的评测设定——我们在评测中模拟了用户在 basaltlabs.org 生产环境下实际会体验到的「Agent推理流」：即允许模型调用本地代码执行沙箱，在温度 0.6 下采样 32 次生成候选答案（Best-of-32），并使用一个离线的外部 LLM 担任自我评判裁判。在 AIME 2025 评测中，模型在温度 0.6、32次多数投票（Majority Voting）的配置下，成功做对了当年竞赛卷子中的所有题目。GPQA Diamond 和 MMLU-Pro 的成绩则为温度 0.0 下的单次直出（Pass@1）成绩。
为了确保上述傲人成绩不是依靠「背题」获得，我们对这四项测试集的所有测试项，在 60T 预训练语料中进行了严苛的 13-gram 字符指纹匹配。自查测得，测试项在语料库中的整体污染率仅为 0.03%：具体为 GPQA Diamond 0.00%，AIME 2025 0.00%，MMLU-Pro 0.05%，HLE 0.00%。在将 MMLU-Pro 中被指纹匹配标记出来的微量疑似重复项予以剔除后重新评分，最终的 headline 成绩在当前汇报的精度下依然保持不变。
我们在一个包含了 50,000 篇涵盖十个不同领域（包括维基百科、GitHub 源码、中文新闻、arXiv 数学、arXiv 物理、生物医学、法律文书、日常对话、代码评审和多国语种）的验证集上，对路由专家的激活特征进行了探针分析。结果显示，在模型的下半部分（前 10 至 40 层），专家呈现出极其强烈的分化特征：一些特定专家在特定领域的被激活频次，可达基线平均水平的 7 倍之多。而在 50 层以上，这种专家分化特征大幅衰减，高层专家整体表现出更为通用的条件 FFN 特征。这与 DeepSeekMoE 早期报告中的质性观察高度吻合。另外，共享专家承担了远超路由专家的注意力残差计算量：在模型的高层 Block 中，共享专家的输出向量范数（Output Norm）平均达到了路由专家的 1.6 倍。
在传统的单针「大海捞针」（Needle-in-a-Haystack）测试中，我们在 16 个不同深度、最长 1M tokens 的长文本空间中进行测试，模型在全段内的检索准确率均能稳定保持在 99% 以上。然而，如果任务要求模型对比或推理长文本中相距极远的两个事实（多针多事实关联推理），在上下文长度超过 256K 之后，模型的推理准确率会出现肉眼可见的断崖式下跌。在不带任何干扰项的单纯长文本事实检索上，它表现完美；但跨越百万 Token 的深度 facts 交叉推理，在当前版本中仍是一个未解的痛点，我们在本次发布中未能攻克该难题。
在预训练的前 1 万步内，专家负载的变异系数（Coefficient of Variation，在一个 100 万 Token 的滑动窗口内计算得到）迅速收敛并稳定在 0.039，且在随后的整个预训练周期中始终维持在 0.05 以下。这表明在我们的训练中，专家未发生任何意义上的「路由坍塌」或单一专家过载，完全没有必要引入其他 MoE 框架常用的显式辅助损失。我们在第 4 天调整出的「前 10 万步内将 τ 路由温度从 1.0 平滑降至 0.6」的退火策略，被证明是预防首周预训练中出现路由坍塌的关键一环。
在 FP8 量化模式下，单个完整的 Monolith-1 推理实例可以被完美塞入一台配备了 8 块英伟达 H100（80GB）显卡的单节点服务器中，这也是我们目前主要推荐外部企业用户使用的本地化部署方案；在 BF16 精度下，则需要占用一个 CloudMatrix-384 超级集群。专家层参数被平均分片到了 8 块卡上，而自注意力层则通过张量并行方式并行计算。在 H100 实例上，当处理长度为 128K 且开启连续批处理（Continuous Batching）的长 Prompt 时，首字生成吞吐（Prefill Throughput）大约可达 110 万 Token/秒；在并发用户数达到 64 的持续负载下，单用户解码速度（Decode Throughput）约为 38 Token/秒。结合 MTP（多Token预测）辅助头进行的自投机采样，在通用自然语言任务上可为单用户解码带来 2.1 倍的加速，在代码生成任务上则可带来高达 2.7 倍的加速。与之相比，虽然昇腾集群配置下的单推理实例能达到相似的解码延迟，但其显存带宽利用不充分，闲置的计算算力明显偏高。
我们在项目立项之初设立的一些雄心勃勃的目标，在本次发布中最终未能全部解决，主要包含以下几点：
我们成功在由国产昇腾 910C 加速器组成的算力集群上，耗用约 2700 万芯片小时，在一套 60T 的超大规模数据集上完成了参数量达 1.6 万亿的混合专家（MoE）模型 Monolith-1 的训练，并将全部权重予以无保留开源。该模型在目前主流的四项重推理评测基准上均刷新了开源前沿表现，同时我们也如实披露了该模型目前在 Agent、低资源多语言以及长文本深层 facts 关联推理任务上的短板。我们期待开源社区能够基于该权重，共同将大模型的边界向前推进一步。