把决策模型压到 0.8B：Jeff 如何在本地 M4 芯片上实现 28ms 零样本判断与工程落地边界
在构建高频自治 Agent 与边缘本地系统时，开发者往往面临一个尴尬的断层：动用云端百亿参数大模型做离散路由分发，网络 RTT 加上自回归 Token 生成动辄耗时数百毫秒甚至数秒，成本与隐私更难以收敛；而纯手工规则代码又缺乏对非结构化自然语言的泛化理解力。
开源开发者 Mathias Strasser（Scissero）开源的 Jeff 项目，基于上游 Denis Yarats（Perplexity）的 AutoJev 配方，将专注于零样本离散决策的 Jev 范式彻底下沉到了 0.8B 与 2B 级别（基于 Qwen3.5-0.8B/2B 与 Gemma 4 E2B）。它无需自回归生成任何文本，仅凭单次前向传播直接输出校准概率，在 Apple M4 Max 上通过 MLX 实现了 28 毫秒极速决策，模型权重仅占 1.7 GB。本文将从底层推理机制、基准实测、游戏沙盒对抗、微调收益以及六项致命落地边界展开全方位深度复盘。