剥离文本生成后的架构跃迁：Polylane 用 Jev 裁决 6 万次运维决策的落地实证
长期以来，AI Agent 的工程实践普遍陷入了“用生成式大模型（LLM）包揽全栈”的单极化陷阱。无论系统面对的是需要深度推理的开放式代码重构，还是仅仅判断“这条 Slack 消息是否需要介入”，开发者往往下意识地把 Prompt 抛给一个参数量达千亿级别的自回归解码器。这种粗放的架构模式，在实验室玩具阶段尚能蒙混过关，但一旦被置于真实、高吞吐的 7x24 小时生产系统面前，就不可避免地撞上了首字延迟（TTFT）不可控、KV Cache 膨胀以及 Token 计费高企的现实铁墙。
DevOps 与自动化运维平台 Polylane 近日公开了一份极具冲击力的真实生产落地报告：他们将其核心 on-call agent 每天成千上万次的高频微决策，从包括 GPT-OSS 20B、GPT-OSS 120B 和 DeepSeek V4.1 Flash 在内的生成式大模型，全量迁移至 TypeSafe AI 推出的决策模型 Jev。实测涵盖 6 万多次线上调用，系统全局 P90 延迟从 4,752 毫秒暴降至 508 毫秒（提速 89.3%），整体调用成本骤降 39.1%。更关键的是，这一案例标志着现代 Agent 系统正从早期的“全盘生成式”演进为快慢分治的“认知双轨制”。