今日要点
- Kimi K3.1 Pro — 模型发布之外，据尚未获一手来源核实的所给材料转述，月之暗面把 Kimi K3.1 Pro 权重放到了 Hugging Face 的 moonshotai 账号。
- trnrt 推理优化 — RunAnywhere 开源推理引擎 trnrt，在单台 AWS trn2.48xlarge 上运行 GLM-5.3-Flash MoE，并提供 OpenAI 兼容 API。
- 循环 Transformer — 作者用 Nsight Compute 分析 Huginn 风格循环 Transformer，检查连续迭代究竟能不能复用缓存。
这里是由Robin为你带来的咸话咸说之每日AI乱炖
今天从模型的新能力说起，再往机器里面走一层：权重开放之后，怎样跑起来，时间又花在了哪里？
混元 Hy4
来源汇总日期与本期日期的对应关系尚未核实，发布时间、时区及采集时间的证据仍缺失；不据此确定事件发生日期。以下为尚未获一手来源核实的 AIHOT 日报转述：腾讯混元发布 Hy4 正式版，扩大预训练与后训练规模，并首次加入视觉理解和电脑操作。对开发者来说，这次变化的意义，是模型的处理范围从文本延伸到了图像与界面交互：要面对的内容，不再只有输入框里的一段话。来源：AIHOT 日报
本条发布与评测信息尚未获一手来源核实。简报给出的具体成绩是，GameDev、GameLogic 两项评测分别提升 19.1% 和 9.8%。这里也要分清版本：770B 总参数、49B 激活参数和 1M 上下文，属于此前 8 月 28 日发布的 Hy4 preview，不能直接当成正式版的新规格。
同一份简报里，OpenAI 推出了 Images 2.6。 来源：OpenAI 官方公告官方称生成速度提升 50%，低质量 Flare 档最快 6 秒，该图像能力在 ChatGPT 和 Codex 中向所有档位开放。从界面操作到图像生成，这组发布扩展的是开发者可调用的能力；其中「最快 6 秒」对应的是具体质量档位，不能泛化成所有图像任务的等待时间。来源：AIHOT 日报
Kimi K3.1 Pro 权重
模型发布之外，据尚未获一手来源核实的所给材料转述，月之暗面把 Kimi K3.1 Pro 权重放到了 Hugging Face 的 moonshotai 账号。以下权重上线与 Pro 版本相关表述尚未获一手来源核实。据该材料，开发者和企业由此可以下载、测试，并评估本地部署。开放权重的实际意义，就在于多了一个亲手检查模型的入口。来源：Hugging Face
据这条材料介绍，它是 K3.1 系列首个开放权重的原生多模态智能体模型，由 Kimi K3 经过覆盖数百个下游领域的大规模联合强化学习后训练而成。材料转述的官方说法称它是目前能力最强的 3T 级模型。这个能力判断仍属于官方表述；本条材料没有给出完整模型卡，也没有明确商业使用及再分发条件，因此这里把消息落在权重上线和可供测试上，不替它补出部署承诺。
trnrt 推理优化
权重拿到手，接下来就是怎样让它跑得更顺。以下按所给工程记录转述，不以来源日期确定事件发生日期。RunAnywhere 开源推理引擎 trnrt，在单台 AWS trn2.48xlarge 上运行 GLM-5.3-Flash MoE，并提供 OpenAI 兼容 API。这个模型总参数为 3200 亿，每次激活 180 亿，支持 100 万 token 上下文。来源：r/MachineLearning
这次工程记录有意思的地方，是把推理耗时拆开了看。早期 batch 1 的 KDA 线性注意力半层里，递推本身只占耗时的 2%，mHC 预投影占 36%，XLA 衔接占 33%。稀疏模型每步只算少量专家，但细碎调用、布局转换、内存往返和跨芯片通信，仍可能把时间吃掉。
团队将每个半层重写为 NKI 巨型内核，并融合稀疏注意力整层。在相同布局下，batch 8 单步解码从 10 月 17 日构建的 32.2 毫秒，降到了 11 月 1 日的 24.2 毫秒。这说明优化的着力点也可以是少搬数据、少跨内核边界。不过，这组数字反映的是该 Trainium2 构建内部的改进，材料没有同 trace 的 GPU 对比；稀疏注意力 prefill 也仍有部分选择采用近似，尚无任务级评测。来源：r/MachineLearning
循环 Transformer
沿着数据搬运这条线，还有一份 NVIDIA B200 上的实测。作者用 Nsight Compute 分析 Huginn 风格循环 Transformer，检查连续迭代究竟能不能复用缓存。循环结构可以共享权重、增加有效深度，但权重共享，并不自动等于每一轮都能从片上取到数据。来源：r/MachineLearning
实验里的分界很具体：八次矩阵乘法共用一份 72 MiB 权重，比存放八份相同权重快 24%，几乎不读 HBM；权重增至 288 MiB、超过 L2 容量后，性能差异就消失了。在随机权重的 Huginn Core 教学实现中，八次迭代的耗时和 HBM 读取量，也都约为单次的八倍。
这份测试把一个容易混在一起的问题分开了：模型少存几份参数，与执行时少搬几趟参数，是两回事。能否获得带宽收益，要看工作集大小、缓存容量和内核调度；架构里的复用，最终还得落到芯片上的复用。
MaixStation 主机
从芯片内部再回到桌面，Sipeed 公布了袖珍 Linux AI 工作站 MaixStation 的更多规格，面向本地 AI 推理和开发。它采用 Axera AX8860P，集成 16 核 Arm CPU 和额定 256 TOPS FP4 的 NPU，最高配备 128GB LPDDR5X 内存。来源：r/LocalLLaMA
结合前面的推理优化消息，这台机器值得看的细节还有 273GB/s 内存带宽，以及 10G SFP+ 网络和 PCIe 5.0 扩展。对本地开发来说，算力、内存和接口共同组成了运行模型的硬件条件，单看一个 TOPS 数字还不够：这里的 FP4 是四位浮点格式，额定运算次数不能直接换成具体模型的吞吐量或准确率。
Sipeed 表示正推进 AX8860 SDK 开源及代码上游化。据所给报道，公布的目标价约为 3999 美元，计划在 2026 年末开启众筹；目标价和众筹安排都还不是最终售价与上市时间。眼下能看到的是这台机器的规格和软件推进方向，材料没有提供基准测试。来源：r/LocalLLaMA
把今天这些消息连起来，模型能力、开放权重、推理内核和本地硬件，正好接成了一条从发布到运行的链。据上述尚未核实的材料，Hy4 扩展输入与操作能力，Kimi 提供权重下载入口；而 trnrt 与 B200 测试把注意力带到了内存和执行细节。等走到 MaixStation 这样的本地设备，问题也就具体了：模型能做什么，权重如何使用，数据怎样搬动，机器又能把它跑成什么样。
🎧 本期已同步制作为播客节目，点击收听《每日AI乱炖 · 2026-11-04》。