给 AI 装上跨平台屏幕与键鼠：YourDesk 的 WebRTC 远控、边缘超分与 MCP 自动化实践
在多端协同与混合办公成为常态的今天，远程桌面（Remote Desktop）早已是每位工程师桌面上的标配基础设施。然而，无论是老牌商业闭源软件（如 TeamViewer、AnyDesk、ToDesk）日益严苛的弹窗限制与商业授权壁垒，还是开源领域的经典方案（如 RustDesk、VNC、RDP），它们的核心设计哲学都默认锚定在“人类眼手交互”这一单一维度——即人类坐在屏幕前，通过肉眼观察画面并用物理键鼠操作远端系统。
当大语言模型（LLM）与自主智能体（AI Agent）全面爆发，工程师开始迫切需要 AI 替我们接管异构设备上的复杂运维、软件调试、多屏观测乃至跨平台协同工作时，传统远程工具的局限性暴露无遗：它们既缺乏对大模型视觉感知友好的标准化 API，也无法提供细粒度的权限沙箱与结构化操作通道。
由开发者 VaderChen 基于 Go 语言全新构建并开源的跨平台远程桌面项目 YourDesk，以极具启发性的工程视角打破了这一僵局。它不仅基于 WebRTC 与操作系统原生硬件编解码器构建了一套低延迟、高吞吐的跨平台（macOS / Windows / Linux CLI）远控通道，更将 Model Context Protocol（MCP） 作为一等公民深度植入系统内核，配合边缘端 AMD FSR 与 Core ML 神经超分/光流补帧 技术，真正实现了让 AI Agent 像人类一样拥有精准感知和操控远程物理桌面的“视觉与神经中枢”。
本文将全面拆解 YourDesk 的底层通信架构、音视频编解码与边缘超分管线、以及 MCP 智能体自动化控制的实现机理与实战落地。