lijianfei.com

随着前沿大模型与自主代理（Autonomous Agent）技术从单纯的代码补全走向全系统接管，“Computer Use”（计算机视觉环境交互）正在迅速打破桌面操作系统的边界。知名独立创作者归藏（op7418）近期展示了一个引发热议的自动化技巧：利用 Codex / Claude 的 Computer Use 视觉控制功能，直接接管 macOS 上的 iPhone 镜像窗口，从而以极低的时延和近乎零风控的安全性自动化操作手机内的系统设置与移动端 App。这一玩法揭示了端侧自动化的一大核心痛点——与其在受限的移动端环境逆向逆向协议或注入风险脚本，不如借由桌面操作系统的系统级桥接通道，让物理设备充当安全沙箱。

然而，苹果原生的 iPhone 镜像由于封闭生态的设计哲学，天然存在着单窗口独占、无法多任务并行、无法挂载 Finder 文件系统以及缺乏语义通信接口等诸多技术死角。与此同时，由知名独立开发者 Catching Now（代表作《冰箱 IceBox》、《通知滤盒 FilterBox》）推出的系统级集成工具 AndroMeld（曾用名 AndDrive），则在 Android 与 macOS 之间开辟出了一条截然不同且更具前瞻性的架构路径：它不仅支持每个 App 独立成窗的多显示器融合模式（Meld Mode）与 Finder 原生双向文件挂载，更在系统底层原生内置了 MCP 服务器（Model Context Protocol Server），让 AI 智能体彻底告别脆弱的像素盲猜，迈向结构化的实体手机语义操控。

一、视觉投屏 vs 协议穿透：AI Agent 操控移动端的两条演进路线

要理解从“镜像窗口视觉识别”到“原生 MCP 驱动”的演进价值，首先需要复盘当前开发者让 AI 智能体操作移动端设备时所经历的技术路线迭代：

flowchart TD
    subgraph RouteA ["路线一：Computer Use + 屏幕镜像 (视觉暴力破解)"]
        AgentA["AI Agent (Codex / Claude)"] -->|1. 截取整个桌面或镜像窗口| VLM["多模态视觉大模型 VLM"]
        VLM -->|2. 计算绝对像素坐标 (X, Y)| Mouse["模拟系统鼠标点击 / 键盘输入"]
        Mouse -->|3. 作用于 iPhone 镜像或 Scrcpy 单窗口| PhoneA["物理手机受控"]
        PhoneA -.->|高延迟、动画抖动、无语义感知| AgentA
    end

    subgraph RouteB ["路线二：AndroMeld 原生 MCP 架构 (结构化协议直通)"]
        AgentB["AI Agent (Codex / Claude / Cursor)"] -->|1. JSON-RPC 语义指令| MCP["AndroMeld 内置 MCP Server"]
        MCP -->|2. 提取 UI Accessibility 树与状态切片| AgentB
        MCP -->|3. 结构化事件派发: tap / swipe / launch| Helper["Android 进程级 Helper 服务"]
        Helper -->|4. 本地物理执行 / 零风控 / 毫秒响应| PhoneB["物理 Android 手机"]
    end

    style RouteA fill:#fff3e0,stroke:#f57c00,stroke-width:1px
    style RouteB fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px

1. 传统 Computer Use 镜像路线的优势与硬伤

归藏所验证的“Codex + iPhone 镜像”之所以令人惊艳，核心在于其抗检测性与零侵入性：

• 物理设备真实环境：App 运行在真实物理设备上，拥有合法的硬件指纹、SIM 卡状态与设备凭证；
• 防风控拦截：银行、微信、小红书等对 Xposed、Frida、无障碍辅助功能极度敏感的应用，在面对 macOS 硬件输入流时完全感知不到异常，将其视为真实用户触摸；
• 核心软肋：依赖多模态模型的视觉推演，单步操作耗时通常在 1.5 ~ 4 秒之间；遇到动效加载、列表弹性滚动或分辨率缩放偏差时，像素点击坐标极易发生漂移，容错率极低。

2. AndroMeld 的协议直通范式

AndroMeld 并没有停留在“只把画面搬到电脑上”，而是把整个 Android 手机抽象为一个标准化的跨端服务节点。通过在 Mac 客户端原生宿主进程中运行标准 MCP 服务端，AI 客户端可以直接调用强类型工具（如 andromeld.launch_app、andromeld.tap、andromeld.input_text）。智能体不仅能获取高质量屏幕帧，更能获取底层的离散上下文，将操作延迟压缩到 100 毫秒级。

二、架构解密：Meld Mode 如何实现多应用独立虚拟化？

Apple 官方的 iPhone 镜像只能在 Mac 屏幕上投射一个固定的手机竖屏长方形窗口；一旦在 Mac 上操作镜像，iPhone 本身屏幕即被锁定并禁止触摸，本质上是一种“单屏时间分片”。

而 AndroMeld 的 融合模式（Meld Mode，需 Android 14+），在系统架构上实现了彻底的升维：

flowchart LR
    subgraph AndroidOS ["Android 14+ 宿主系统"]
        VD["虚拟显示管理器 (VirtualDisplay)"]
        App1["微信 (Activity A)"] -->|绑定 Display 1| VD
        App2["小红书 (Activity B)"] -->|绑定 Display 2| VD
        App3["相机 / 电话 (Activity C)"] -->|本地物理屏渲染| RealScreen["手机物理屏幕 (可独立正常操作)"]
    end

    subgraph Transport ["零拷贝传输总线 (USB 3.2 / Wi-Fi 6)"]
        Stream1["独立 H.264/H.265 硬件视频流 1"]
        Stream2["独立 H.264/H.265 硬件视频流 2"]
        AudioStream["低延迟立体声 PCM 环回流"]
    end

    subgraph macOS ["macOS Sonoma / Sequoia 桌面"]
        Win1["Mac 原生独立窗口 1 (支持多指缩放)"]
        Win2["Mac 原生独立窗口 2 (支持触控板手势)"]
        Spotlight["Spotlight 索引 & 原生桌面小组件"]
    end

    VD --> Transport
    Transport --> macOS
    Win1 -.->|手势事件回传| App1
    Win2 -.->|快捷键回传| App2

    style VD fill:#e1f5fe,stroke:#0288d1,stroke-width:2px
    style Win1 fill:#e8f5e9,stroke:#2e7d32,stroke-width:1px
    style Win2 fill:#e8f5e9,stroke:#2e7d32,stroke-width:1px

1. 虚拟显示器（VirtualDisplay）的多头解耦

AndroMeld 在 Android 14 内部并非机械地抓取主帧缓冲区（Framebuffer），而是调用了 Android 原生的 DisplayManager.createVirtualDisplay() 接口，在底层动态创建独立的虚拟二级显示空间：

• 通过 ActivityOptions.setLaunchDisplayId() 将特定的目标应用引导至独立的虚拟空间中渲染；
• 手机主屏幕完全不受占用！用户在 Mac 上并排打开微信查资料、打开小红书写笔记的同时，手里的 Android 手机仍然可以自由刷推、打游戏或熄屏待机。

2. 窗口化渲染与手势映射

每个 Android 应用在 Mac 上都被包裹为一个标准的 Cocoa 原生窗口：

• 任意尺寸拉伸：突破移动端固定长宽比，窗口支持任意比例无级拖拽缩放（支持兼容分辨率自动适配）；
• Mac 原生手势接管：多指在妙控板上轻扫（Swipe）即可触发 Android 原生返回动作；
• 系统级入口直通：Android 应用被自动注册进 macOS 的 Launchpad 与 Spotlight，按下 Cmd + Space 输入应用名称即可秒级唤醒。

三、告别 MTP 噩梦：Finder 原生双向文件挂载与生态缝合

长期以来，在 Mac 上管理 Android 手机文件是无数跨平台用户的噩梦：Google 官方遗留的 Android File Transfer 崩溃频繁、断线即挂，甚至无法同时打开多个子目录；第三方传输工具往往需要扫码上传，依赖局域网 HTTP 服务器。

AndroMeld 在文件系统层面完成了真正的“苹果原生化”：

flowchart TD
    Finder["macOS Finder 侧边栏挂载卷"] -->|系统级 File Provider API| Extension["AndroMeld Replicated FileProvider"]
    Extension -->|底层双轨通信| Core["AndroMeld Native Engine"]
    
    subgraph EngineRules ["文件系统过滤与保护引擎"]
        Filter["自动静默过滤 .DS_Store / ._* 碎片"]
        Atom["断点保护：正在传输的文件保证原子完整性"]
        Analysis["物理存储分析器：按文件夹与应用统计空间"]
    end

    Core --> EngineRules
    EngineRules -->|USB / 局域网高速传输| AndroidStorage["Android 手机内部存储 (/sdcard/DCIM 等)"]

1. Apple File Provider 框架的优雅运用

AndroMeld 摒弃了古老且不稳定的用户空间文件系统（FUSE）或内核驱动，而是全面基于现代 macOS 引入的 File Provider 框架（NSFileProviderReplicatedExtension）编写：

• 手机连上 Mac 后，直接以原生存储卷的形式挂载在 Finder 侧边栏；
• 支持 Mac 原生的快捷键操作（Cmd + C、Cmd + V、Cmd + Delete、按空格键触发 Quick Look 文件快速预览）；
• Mac 元数据净化器：macOS 在写入外置磁盘时极易产生大量的隐藏文件（如 .DS_Store、._文件名 等 AppleDouble 资源分支）。AndroMeld 在驱动层实现了静默拦截，确保 Android 手机内部存储干干净净，绝不受垃圾文件污染。

2. 跨生态连续互通（Continuity）的补完

除了多窗口与文件管理，AndroMeld 还通过系统级扩展缝合了一整套跨端生产力管道：

• 双向剪贴板无感穿透：Mac 上复制一段文字或一张图片，直接在 Android 手机端粘贴，反向亦然；
• 通知中心与短信验证码提取：Android 系统的 Push 通知实时映射到 macOS 通知中心，短信中的验证码可以直接在横幅上一键点击复制；
• Camera Extension 虚拟摄像头：通过编写符合 Apple 官方规范的 System Camera Extension，直接将 Android 旗舰机高素质的潜望长焦或主摄，映射为 FaceTime、Zoom、腾讯会议中的系统级超清摄像头；
• 原生小组件（Desktop Widgets）：将 Android 系统里的小组件直接拖拽并固定在 macOS 桌面上实时刷新。

四、实战落地：配置 MCP Server 让 AI 智能体掌控物理手机

AndroMeld 最具颠覆性的工程亮点，在于其为当下的 AI Agent 开发者原生态提供了标准化的 Model Context Protocol（MCP）服务器。

在过去，想要让 Cursor、Codex 或 Claude Code 操作物理手机，开发者需要自行编写脆弱的 ADB 命令行脚本或架设庞大的 Appium 服务。而现在，只需三步即可完成生产级无缝接入。

1. 开启与配置客户端

在 AndroMeld 设置中勾选开启“MCP 控制”，随后将生成的配置段粘贴至你的宿主 Agent 配置文件中（以 Claude Code / Codex 为例）：

{
  "mcpServers": {
    "andromeld": {
      "command": "/Applications/AndroMeld.app/Contents/MacOS/andromeld-mcp-server",
      "args": ["--port", "59200"],
      "env": {
        "ANDROMELD_TOKEN": "your_secure_local_token"
      }
    }
  }
}

2. 核心可用工具集（Tool Schema）

AndroMeld 的 MCP Server 暴露了高精度的标准化工具接口：

sequenceDiagram
    autonumber
    actor User as 开发者 / 用户
    participant Agent as AI Coding Agent (Claude / Codex)
    participant MCP as AndroMeld MCP Server
    participant Android as 物理 Android 设备

    User->>Agent: "帮我打开航旅纵横，查询明天北京到深圳的最早航班"
    Agent->>MCP: 调用 andromeld.launch_app("com.umetrip.android.msky.app")
    MCP->>Android: 物理意图分发，前台拉起应用
    Android-->>MCP: 启动成功确认
    Agent->>MCP: 调用 andromeld.inspect_ui()
    MCP->>Android: 捕获无障碍节点树与当前屏幕状态
    Android-->>MCP: 返回结构化 UI 节点数据 (按钮/输入框坐标)
    Agent->>Agent: 推理分析：定位搜索栏位置 (x: 540, y: 320)
    Agent->>MCP: 调用 andromeld.input_text("深圳") & andromeld.tap()
    MCP->>Android: 物理注入输入流
    Agent-->>User: "已为您检索到最早航班 CA1305，起飞时间 07:30"

3. 安全沙箱与人工审计锁（Human-in-the-Loop）

在 AI 接管物理设备时，安全是不可妥协的底线：

• 操作日志实时可视化：Mac 状态栏中会实时跳动显示 AI 当前调用的具体 API 指令与坐标回显；
• 一键熔断开关（Emergency Stop）：任何时刻按下全局快捷键，AndroMeld 会在操作系统层面瞬间断开 MCP 管道，阻断一切注入事件；
• 敏感隔离策略：对于输入支付密码、锁屏 PIN 码等高危场景，AndroMeld 强制拦截外部模拟输入，保护私密资产。

五、方案横向对比与技术极客选型指南

为了给多设备协同与自动化工程选型提供清晰参考，我们将当下主流的端侧交互方案进行横向技术评估：

六、写在最后：智能体时代的硬件入口重构

从归藏对 Codex 操控镜像的惊叹，到 AndroMeld 原生 MCP 架构的落成，我们正在见证一场深刻的技术演进：AI 智能体的边界，绝不仅仅局限在浏览器的一个输入框或终端的一段代码里。

在我看来，未来的操作系统不会再区分为孤立的“手机操作系统”或“桌面操作系统”。物理手机正在逐渐演变为一个包含了生物识别、高灵敏传感器、通信基带与真实用户信用凭证的端侧硬件容器；而 Mac 则是算力中枢、多窗口渲染与 AI 智能体的大脑所在。

通过类似 AndroMeld 这样的底层架构打通协议壁垒，为大模型装上原生 MCP 的“机械臂”，我们既守护了物理设备的安全与真实性，又彻底释放了智能体跨端执行复杂长程任务的潜能。这不仅是跨端效率工具的胜利，更是端侧 AI 走向实用化与具身化的一次关键迈进。

相关链接与参考资料：

• 歸藏（@op7418）原帖讨论：Codex Computer Use 操作手机镜像探索
• AndroMeld 官方网站：AndroMeld: Android file transfer, apps, and calls on Mac
• AndroMeld 官方技术与使用指南：AndroMeld Product Guide (Markdown)
• AndroMeld Web 浏览器体验端：AndroMeld Web App
• Mac App Store 下载页：AndroMeld on Mac App Store
• Android 配套辅助应用：AndroMeld Helper on Google Play
• 独立开发者主页：Catching Now