VideoChat3 7/17(arXiv 2607.14935):4B 全栈开放视频 MLLM,3 个 response-state token 控制像素预算 + H200 上 2048 帧推理快 2 倍

“「VideoChat3 7/17 上 arXiv —— 4B 全栈开放视频 MLLM(权重 + 代码 + 训练策略 + 训练数据),3 个 response-state token 控制像素预算,H200 上 2048 帧推理快 2 倍,3 个 TimeLens split 超 GPT-5 与 Gemini 2.5 Flash。」”

可用说法

• arXiv 2607.14935(在 HF daily papers 上 2026-07-17 索引)提出 VideoChat3 —— 一个 4B 参数、全栈开放、高效且通用、以视频为中心的多模态大模型;解决现有开源视频模型三个短板:跨域泛化弱、计算开销大、训练资产开放不全;架构:(1) Inflated 3D Vision Transformer (I3D-ViT)把预训练 image tokenizer 充气扩展,把 2D 空间 self-attention 扩成 3D 时空 self-attention,连续帧按 T=4 分块,做时空 self-attention 后做 temporal pooling,加 2x2 spatial downsampling 得到 16x 时空压缩比;(2) Adaptive Frame Resolution for Streaming Video Perception 用三个响应状态 token(</Silence>、</Standby>、</Response>)同时控制下一窗口的像素预算:Silence/Response → 224² 像素(低),Standby → 448² 像素(高);训练数据 3M 样本:VideoChat3-Academic2M(2.27M)、VideoChat3-LV116K(116.2K)、VideoChat3-OL617K(617K);四阶段训练(tokenizer pre-training → video-language alignment → video instruction tuning → long & streaming instruction tuning);全栈开放 —— 权重 + 训练代码 + 训练策略 + 完整训练数据;基准数字(VideoChat3-4B vs open-weight Qwen3-VL-4B):MotionBench 61.7 vs 58.6、TempCompass 75.6 vs 70.8、Video-MME 70.1 vs 69.3、LVBench 56.7 vs 56.2、MMVU 56.4 vs 50.5、Charades TL mIoU 56.1 vs 46.4、VUE-TR V1 47.9 vs 32.9、VUE-TR V2 40.2 vs 19.6、MomentSeeker 25.9 vs 13.8;流式:ODVBench 72.3 vs StreamForest 59.9(+12.4)、OVOBench task avg 62.5、StreamingBench Real-Time 83.0、River Avg 42.8、OVO-Timing Avg F1 35.5 vs Qwen3-VL-4B 8.1;NVIDIA H200 上 2048 帧效率:总延迟 20.412s vs Qwen3-VL 44.449s,总 FLOPs 80.775 × 10^15 vs 106.913 × 10^15,GPU 内存 80.775 GB vs 106.913 GB(省 26.14 GB),visual tokens 100,352 vs 200,704(一半);MotionBench(61.7)与 TempCompass(75.6)最佳全栈开放成绩;文章称 VideoChat3「在三个 TimeLens split 上都超过 GPT-5 和 Gemini 2.5 Flash」。