lijianfei.com

让 AI Agent（智能体）替人类操作电脑已经不再新鲜，但如何让 AI 真正接管我们口袋里的真实智能手机？

长期以来，移动端设备自动化是一条布满荆棘的泥潭：你要么需要将 iPhone 越狱（Jailbreak）破坏安全沙盒，要么必须在 Xcode 里挂载 WebDriverAgent 签名证书，要么只能在脱离真实 SIM 卡和硬件环境的模拟器里自娱自乐。一旦遇到依赖手机号短信 2FA、真实指纹支付、或者仅在 App Store 上架的特定闭源商业应用，传统的自动化方案便彻底瘫痪。

近期在开源社区爆火的 ShawnPana/phone-harness，给出了一种堪称惊艳的“降维打击”解法：不越狱、不装 App、不改固件，将 Claude Code、Cursor、AGY 等 AI Coding Agent 直接接入真实 iPhone 与 Android 手机。

Agent 可以像人一样“看屏幕（OCR / Vision）”、“点按钮（Tap）”、“输文字（Type）”并根据屏幕变动实时反馈。

下面是项目最震撼的一段实测演示 —— 开发者对终端里的 AI 下达一句话指令：“从我当前位置打一辆 Waymo 无人驾驶出租车去 Delah Coffee”，AI 全程自动操作真机完成了唤醒、搜索、车型选择与下单确认：

本文将为你深度拆解 phone-harness 内部的工程架构、黑客级实现细节以及如何将其装配进你的日常 Agent 工作流。

由 Anthropic 推出的 模型上下文协议（Model Context Protocol，简称 MCP），正在迅速成为大模型（LLM）与外部世界数据源、本地工具之间互联互通的“开放 USB-C 标准”。

然而，在过去的一年里，MCP 生态几乎被 TypeScript (@modelcontextprotocol/sdk) 与 Python (mcp) 垄断。对于 Apple 生态的开发者而言，想要在 macOS、iOS 甚至 visionOS 应用中集成 MCP，往往不得不捆绑一个臃肿的 Node.js/Python 运行时，或者通过简陋的 Shell 进程进行跨进程通信。

现在，这一局面被彻底打破：Anthropic 官方正式推出了 modelcontextprotocol/swift-sdk。

这是一个完全基于现代 Swift 6.0+ 构建的官方生产级 SDK，遵循最新的 MCP 规范，同时提供了完整的 Client（客户端） 与 Server（服务端） 双向实现。本文将带你全景拆解其底层架构设计、双向通信机制与企业级实战落地。

对于独立开发者、产品经理和内容创作者来说，制作一段引人入胜的产品演示视频几乎是发布 App、发推（X/Twitter）、发即刻、制作 App Store 预览视频（App Preview）或投放到 TikTok / YouTube Shorts 的必备基本功。

然而在过去，把一段朴素的手机/电脑录屏包装成“高大上”的营销短片极其费时费力：要么要在 Final Cut Pro / After Effects 里手动扣模型、对位、打关键帧做镜头推进（Zoom in/out）、调阴影缓动；要么使用昂贵的订阅制商业软件（如 Screen Studio），但它们往往偏向桌面端录屏，且价格不菲。

今天为大家介绍一款刚发布不久就火爆独立开发圈的 100% 开源原生 macOS 神器 —— Maya（ronaldo-avalos/Maya）。它能直接将你的原始录屏一键套入极其逼真的 Apple 设备外壳中，并在时间轴上轻松添加电影级运镜缩放、触控波纹与变速特效，秒级导出全平台适配的营销短视频。

在 iOS 开发与自动化测试领域，官方的 Simulator.app 长期以来让开发者又爱又恨：它必须占用沉重的桌面图形窗口、多设备并发性能消耗巨大、无法原生透传 Mac 摄像头、且在远程协作或 CI/CD 无头（Headless）环境下极难管理。此外，随着 AI Agent（如 Claude Code、Cursor 等）在编程与自动化测试中的普及，如何让 AI 高效、低延迟地感知并操作 iOS 界面，成为了一个迫切的需求。

今天介绍一个堪称“降维打击”的开源极客神器 —— Baguette（法棍 🥖）。它是一个完全无需打开 Xcode 或 Simulator.app 的 无头（Headless）iOS 模拟器管理器 + 独立 Web UI。

随着 Claude Code、Cursor、Codex 等 AI 智能体（Agent）深度介入日常开发，网页自动化（Browser Automation） 正在成为 AI 替人类完成信息检索、环境调试、表单填报与灰度验证的核心通道。

然而，现存的浏览器自动化方案几乎都让开发者感到痛苦不堪：

• 抢夺焦点的“物理冲突”：传统的 Playwright、Puppeteer 或 Browser-Use 一旦启动，要么弹出一个狂闪的 Chromium 窗口强行抢占鼠标焦点，要么与开发者争抢同一个浏览器的活动标签页，导致人机根本无法协同；
• 永远跨不过去的“登录态鸿沟”：无头模式下的浏览器永远是一张白纸，面对 GitHub、Google、Twitter 等现代网站的复杂 2FA 验证码，AI 智能体常常在第一道登录门禁前直接崩溃；
• 单步 CLI Ping-Pong 的 Token 吞噬：传统工具往往强迫模型遵循“点一步 → 截一张图 → 读一次 DOM → 再点一步”的单步往返循环。一个稍微复杂的网页任务就要消耗上万 Token，耗时长达数分钟。

近期在开源社区备受瞩目的 citrolabs/ego-lite，给出了令人耳目一新的答案。

它并非简单的脚本包装库，而是一款从内核底层专为**“人类与 AI 智能体并行协同（Work in Parallel）”**设计的全新 Chromium 浏览器。

老兄，你还在忍受 iTerm2 的臃肿？还在为 kitty 的复杂配置头疼吗？

已经上架 macOS Appstore CamLiveEmoji on the Mac App Store

前提：Macbook 必须是 M 系列芯片。

使用 gost 可以有效解决有些软件只能使用特定协议代理协议。

不需要安装第三方软件，还是用预览来实现的方法。