今天的 AI 情报
模型发布、技术更新与官方评测信号。只记录有来源的结果,缺测不补零。
Moonshot 发布 Kimi K3.1 Pro 与 Highspeed API
Moonshot 发布 Kimi K3.1 Pro,定位为 3 万亿级原生多模态旗舰模型,提供 100 万 token 上下文,并同步上线速度更高的 Highspeed API 版本。
- K3.1 Pro 面向编程、3D 创作、金融研究和长程 Agent 任务,原生支持视觉输入。
- Highspeed 版本保持相同上下文与能力目标,官方称速度约为标准版的 2 至 3 倍。
- 中国区 API 标准版输入、输出与缓存命中价格分别为每百万 token 13 元、68 元和 1.3 元;Highspeed 的输入与输出价格翻倍。
情报流
vLLM 为 Kimi K3 加入 KDA RecoverSSM CuTe 内核
vLLM 为 Kimi K3 的 KDA 路径实现 RecoverSSM 验证与提交 CuTe 内核,并将恢复记录从 KV Cache 生命周期中分离。
SGLang 默认启用 LTX-2 与 LTX-2.3 两阶段可中断 CUDA Graph
SGLang 为 LTX-2 与 LTX-2.3 两阶段视频生成默认启用可中断 CUDA Graph,并集中优化阶段二分片、注意力与去噪执行。
SGLang 扩展 DeepSeek V4.1 的跨设备 Engram 与 MegaGate 数据流
SGLang 将 DeepSeek V4.1 的 Engram 行读取扩展至对端设备分片,并进一步减少 MegaGate、Mega-mHC 与 DSpark 解码链上的中间搬运。
SGLang 使用 deepseek-recipe 渲染并解析 DeepSeek V4 系列响应
SGLang 的 OpenAI 兼容入口接入 deepseek-recipe,为 DeepSeek V4 与 V4.1 统一聊天提示渲染、推理内容解析和工具调用输出。
NVIDIA 公开 TensorRT 11.1 Global Performance Tuner 设计与接口
NVIDIA 公开 TensorRT 11.1 全局性能调优器的编译路线搜索机制、C++ 接口与可恢复调优流程,用准确率约束筛选模型和硬件特定的最优引擎。
vLLM 为 DeepSeek V4.1 增加解码侧 SWA 有界重放与 APC
vLLM 扩展 DeepSeek V4.1 的并行上下文路径,使解码侧滑动窗口注意力可结合自动前缀缓存执行有界状态重放。
SGLang 为 GLM-5.3 Flash 加入填充 CP 图与前缀重放
SGLang 扩展 GLM-5.3 Flash 的上下文并行图执行,使填充批次可结合 Prefill/Decode 解耦、DFlash2 和前缀重放运行。
SGLang KVShard 支持 MTP 的 KV Cache 分片
SGLang 扩展 KVShard 的页交错缓存,使多 token 预测草稿和验证路径可跨设备分片 KV Cache。
SGLang HiCache L3 支持 MLA DCP 缓存
SGLang 为 HiCache 的文件与 Mooncake L3 存储加入 MLA 数据并行上下文缓存支持,覆盖主机池、注册和跨阶段预取。
llama.cpp 接入 Soprano 本地 TTS 模型
llama.cpp 的多模态生成组件新增 Soprano TTS 支持,将 Qwen3 文本骨干与 Vocos 解码器组合为本地语音生成管线。
vLLM 流式 OpenAI API 返回 KV 参数元数据
vLLM 在流式 Chat Completions 与 Completions 响应中加入 KV 参数字段,使客户端可读取服务端生成过程关联的缓存元数据。
vLLM 接入 Domyn Edge 模型
vLLM 新增 Domyn Edge 的原生模型执行类、注册与生成测试,使该模型进入标准推理服务路径。
SGLang 新增检查点驱动的响应模板适配器
SGLang 可依据模型检查点携带的响应模板自动适配推理内容和工具调用边界,减少按模型硬编码 parser 的需求。
llama.cpp CUDA 后端通过分块计算图摊薄启动开销
llama.cpp 将长 CUDA 计算图拆分并重用为多个 chunk,以降低大型模型重复推理时的单次图启动和捕获开销。