已核验 · Jul 9, 2026
已独立佐证中国开源 MoE 一周四连 HF:DeepSeek-V4-Pro + GLM-5.2 + 腾讯 Hy3 + 美团 LongCat-2.0,sparse attention at long context 是共同方向
4 个信源7 月第一周中国开源 MoE 在 Hugging Face 一周内四连上:DeepSeek-V4-Pro(1.6T 总参 / 49B 激活 MoE + 1M 上下文 + Hybrid Attention CSA+HCA + Muon 优化器 + manifold-constrained hyper-connections,DSpark 加 confidence-scheduled speculative decoding);zai-org/GLM-5.2(753B MoE + Glm MoE DSA 稀疏注意力 + IndexShare 1M 上下文 FLOPs 减 2.9x);tencent/Hy3(295B / 21B + 256K + 80 层 + MTP 层);meituan-longcat/LongCat-2.0(1.6T / ~48B + LongCat Sparse Attention Streaming/Cross-Layer/Hierarchical Indexing + 135B N-gram embedding + 35T+ token 训练)。四个模型共同方向:sparse attention at long context。
为什么现在讲
7 月第一周中国开源 MoE 在 HF 一周内四连上,而且四个模型共同方向都是「sparse attention at long context」 —— 这是 7 月初研究侧最强的横向信号。创作者今天可以做一档「中国开源 MoE 一周集束」,把四个模型按架构相似度对照
推荐理由
可演示空间极大:四个模型每个都可以在 HF 上直接拉权重跑推理;sparse attention 架构对比可以做成横向对照卡(DeepSeek CSA+HCA / GLM IndexShare / Hy3 MTP / LongCat LSA)
依据
四个模型都集中在 7 月第一周上 HF trending,作为「中国开源 MoE 一周集束」热度中上
“「这一周中国开源 MoE 在 HF 上一周四连上 —— 共同方向全是 sparse attention at long context。」”
切入角度
把 7 月第一周中国开源 MoE 四连上 HF 讲成「sparse attention at long context 是 7 月初研究侧最强横向信号」 —— 创作者做出「四个模型按架构相似度对照」(DeepSeek CSA+HCA / GLM IndexShare / Hy3 MTP / LongCat LSA)
形式
图文卡片
演示想法
做一张「7 月中国开源 MoE 一周四连」架构对照卡:横轴 4 个模型(DeepSeek-V4-Pro / GLM-5.2 / Hy3 / LongCat-2.0),纵轴是 4 个架构维度(总参 / 激活 / 上下文长度 / 注意力机制);每格填具体数字 + 注意力机制一句话
平台注意
四个模型的基准数字都是模型卡自陈(中等风险),不要改写为「独立第三方验证」;每个模型的具体上下文长度(long context sparse attention 细节)摘要里没给完整规范(中等风险),不要凭印象补
可用说法
- Hugging Face 的 deepseek-ai/DeepSeek-V4-Pro-DSpark 模型卡(上传 2026-06-27、最后修改 2026-07-08)记录:DeepSeek-V4-Pro 是 1.6T 总参 / 49B 激活 MoE,1M 上下文,MIT 协议,使用 Hybrid Attention 设计(CSA+HCA)加上 Muon 优化器与 manifold-constrained hyper-connections;DSpark 增加一个 confidence-scheduled speculative decoding 模块,带 semi-autoregressive 生成。
- Hugging Face 的 zai-org/GLM-5.2 模型卡(上传 2026-06-16、最后修改 2026-07-02)记录:一个 753B 参数 MoE(BF16 + F32,sharded safetensors),使用 Glm MoE DSA —— 一种稀疏注意力机制,通过「IndexShare」让每四个稀疏注意力层共用一个 indexer,声称在 1M 上下文下每 token FLOPs 减少 2.9 倍;MIT 协议,无地区限制;自报基准分包括 GPQA-Diamond 91.2、SWE-bench Pro 62.1、DeepSWE 46.2、HLE 默认 40.5 / HLE 带工具 54.7、AIME 2026 99.2、Terminal Bench 2.1 (Best Harness) 82.7。
- Hugging Face 的 tencent/Hy3 模型卡(上传 2026-07-02、最后修改 2026-07-06)记录:腾讯混元第三代 MoE:295B 总参 / 21B 激活,Apache-2.0 协议,256K 上下文,80 层,带一个 multi-token prediction(MTP)层;自报基准分包括 GPQA Diamond 90.4、SWE-bench Verified 78、SWE-bench Pro 57.9。
- Hugging Face 的 meituan-longcat/LongCat-2.0 模型卡(上传 2026-07-05、最后修改 2026-07-08)记录:美团 LongCat 第二代为 1.6T 总参 / ~48B 激活 MoE,MIT 协议,引入 LongCat Sparse Attention(Streaming / Cross-Layer / Hierarchical Indexing)与 135B N-gram embedding,基于 35T+ token 训练。
证据链
来自新闻
- HF:DeepSeek-V4-Pro 上线 — 1.6T 总参 / 49B 激活 MoE + Hybrid Attention + Muon 优化器
- HF:zai-org/GLM-5.2 — 753B MoE + Glm MoE DSA 稀疏注意力 + IndexShare,声称 1M 上下文 FLOPs 减 2.9x
- HF:tencent/Hy3 上线 — 腾讯混元第三代 MoE,295B 总参 / 21B 激活,256K 上下文 + MTP 层
- HF:meituan-longcat/LongCat-2.0 上线 — 美团第二代,1.6T 总参 / ~48B 激活 + LongCat Sparse Attention
- 7 月第一周中国开源 MoE 一周四连上 HF:DeepSeek-V4-Pro + GLM-5.2 + 腾讯 Hy3 + 美团 LongCat-2.0
拆解
DeepSeek-V4-Pro / GLM-5.2 / 腾讯 Hy3 / 美团 LongCat-2.0 四个模型单独念每个都会变成数字念稿。本篇解释怎么用「sparse attention at long context 是 7 月初研究侧最强横向信号」框架讲 —— 把四个模型按架构相似度对照(DeepSeek CSA+HCA / GLM IndexShare / Hy3 MTP / LongCat LSA),创作者做出「这一周中国开源 MoE 共同方向是 sparse attention at long context」的内容。
信源
风险
- 固定链到每条 source,只引用摘要里已公开的内容,不要改写除摘要之外的基准分、性能指标、论文细节或架构细节。
- 固定链到每张模型卡,只引用模型卡公开的内容;不要把自陈的基准数字改写为第三方验证;明确指出所有数字均为模型卡自陈。
演示思路
- 在 Hugging Face 上分别加载 DeepSeek-V4-Pro、GLM-5.2、Hy3、LongCat-2.0 四个模型,跑同一段 128K context 长文推理,展示 sparse attention 各自表现
- 做一张「中国 7 月 MoE 四连」架构 + benchmark 自报分对照表,标注哪些分数尚未独立复现
- 录一段「DeepSeek-V4-Pro + DSpark speculative decoding」跑长文生成的 demo,展示 semi-autoregressive generation 的速度差别