小白也能懂的AI手机助手：Open-AutoGLM保姆级入门教程

小白也能懂的AI手机助手：Open-AutoGLM保姆级入门教程

你不需要会写代码，也不用懂AI原理——只要会用手机，就能让AI替你点开APP、搜索内容、发消息、甚至完成支付前的确认。本文将手把手带你把Open-AutoGLM装进电脑，连上真机，用一句“打开小红书搜美食”让它自动干活。

1. 这不是科幻，是今天就能用上的真实能力

你有没有过这些时刻？

• 想给客户发个产品截图，却要先截屏、找微信、点开对话、再粘贴发送……来回切换5次；
• 在抖音刷到一个博主，想关注但懒得手动点进主页、再点关注按钮；
• 周一早上赶时间，一边啃包子一边想：“要是手机自己能打开企业微信打卡就好了”。

现在，这些事Open-AutoGLM真能帮你做。它不是遥控器，也不是简单录屏回放，而是一个看得懂屏幕、听得懂人话、还能自己动手操作的AI手机助手。

它不靠预设脚本，不依赖固定界面元素——你告诉它“打开美团搜附近火锅”，它会：
先看一眼当前屏幕（是桌面？微信？还是锁屏？）
理解“美团”在哪、怎么启动
看清搜索框在哪、点进去
输入“火锅”两个字（中文也行！）
点击搜索按钮
把结果页面完整展示给你

整个过程，你只需要说一句话，剩下的交给它。
而且——它支持真机，不是模拟器；支持WiFi远程控制，不用一直插着USB线；遇到支付密码、验证码等敏感操作，它会主动停下来等你手动处理，安全不越界。

这篇文章，就是为你写的。没有术语轰炸，没有概念堆砌，只有：
🔹 你该准备什么（3样东西，10分钟搞定）
🔹 怎么连上你的安卓手机（图文步骤，错不了）
🔹 怎么运行第一句指令（复制粘贴就能跑）
🔹 遇到问题怎么快速解决（附真实报错截图和答案）

如果你用的是Windows或Mac，有一台Android 7.0以上的手机（2016年之后的主流机型基本都行），那就继续往下看。我们从零开始，一起让手机“活”起来。

2. 准备工作：3件套，10分钟全部到位

别被“AI”“Agent”“多模态”吓到——Open-AutoGLM对新手其实很友好。它真正需要你动手配置的，就三样东西：一台电脑、一部手机、一个叫ADB的小工具。我们一项一项来。

2.1 你的电脑要满足什么条件？

• 操作系统：Windows 10/11 或 macOS Monterey（12.0）及以上
• Python版本：3.10 或更高（别担心，我们教你检查和安装）
• 磁盘空间：留出2GB空闲空间（主要是模型缓存，首次运行后可清理）

快速自查Python版本：
打开命令提示符（Windows）或终端（Mac），输入：

python --version

如果显示Python 3.10.12或类似，恭喜，直接跳到下一步。
如果提示“命令未找到”或显示Python 2.7，请先安装Python 3.10+：
Windows用户点这里下载 → 下载后勾选“Add Python to PATH”再安装
Mac用户用Homebrew：brew install python@3.10

2.2 你的安卓手机要开几个“开关”

这一步最关键，但其实很简单。全程在手机“设置”里操作，不需要ROOT，不删数据，不装奇怪软件——只开3个开关：

1. 开启开发者模式
   设置 → 关于手机 → 连续点击“版本号”7次 → 弹出“您现在处于开发者模式”提示

2. 开启USB调试
   返回设置主菜单 → 系统 → 开发者选项 → 找到“USB调试”，打开开关

3. 安装并启用ADB Keyboard（唯一需要装的APP）
   点击下载ADB Keyboard APK文件（官方开源，无广告无后台）
   安装后，进入手机“设置 → 语言与输入法 → 当前键盘”，把默认输入法切换为ADB Keyboard

小提醒：

• “开发者选项”默认隐藏，必须先点7次“版本号”才会出现；
• ADB Keyboard只是临时输入工具，任务完成后你可以随时切回微信键盘、百度输入法，完全不影响日常使用；
• 如果你用的是华为、小米等品牌机，可能在“开发者选项”里还有一项叫“USB调试（安全设置）”，也请一并打开。

2.3 安装ADB工具：让电脑“认得”你的手机

ADB（Android Debug Bridge）是谷歌官方提供的连接工具，就像电脑和手机之间的“翻译官”。它不危险，不窃取隐私，只是让指令能传过去。

Windows用户（推荐方式）

1. 去Android SDK Platform-Tools官网下载ZIP包
2. 解压到一个好记的位置，比如C:\platform-tools
3. 配置环境变量（让任何地方都能用adb命令）：
   • Win + R → 输入sysdm.cpl→ 回车
   • “高级”选项卡 → “环境变量” → 在“系统变量”里找到“Path” → “编辑”
   • “新建” → 粘贴你刚才解压的路径，例如C:\platform-tools
   • 确定保存
4. 验证是否成功：打开新命令提示符，输入

   adb version

   如果显示类似Android Debug Bridge version 1.0.41，说明安装成功

Mac用户（一行命令搞定）

打开终端，输入：

# 下载并解压（自动到Downloads文件夹） curl -L https://dl.google.com/android/repository/platform-tools-latest-darwin.zip -o ~/Downloads/platform-tools.zip unzip ~/Downloads/platform-tools.zip -d ~/Downloads/ # 添加到系统路径（永久生效） echo 'export PATH=$PATH:~/Downloads/platform-tools' >> ~/.zshrc source ~/.zshrc # 验证 adb version

同样看到版本号，就完成了

到这里，你的“三件套”全部齐活：电脑有Python、手机开了开关、电脑能认出手机。接下来，我们让它们真正连起来。

3. 连接手机：USB直连 or WiFi无线？两种方法全教会

Open-AutoGLM支持两种连接方式：USB线直连（最稳定，新手首选）和WiFi无线连接（方便移动操作）。我们先教USB，再教WiFi，你按需选择。

3.1 USB直连：3步确认，10秒建立信任

这是最简单、成功率最高的方式。你需要一根能充电的数据线（非仅充电线）。

1. 用数据线把手机连到电脑
2. 手机弹窗时，务必点“允许”

   关键一步！很多失败都卡在这里。手机第一次连接时，会弹出“允许USB调试吗？”，上面有设备指纹，下面有两个按钮：“取消”和“确定”。请一定点“确定”。

3. 电脑端验证连接
   打开命令提示符或终端，输入：

   adb devices

   你会看到类似这样的输出：

   List of devices attached 1234567890abcdef device

   只要第二行显示一串字母数字 +device，就代表连接成功
   （如果显示???????????? no permissions，请重启手机ADB开关；如果空白，请检查数据线或重装ADB）

成功标志：adb devices命令返回带device的设备ID。

3.2 WiFi无线连接：摆脱线缆，远程操控

当你想把手机放在桌上、自己坐在沙发上发号施令时，WiFi模式就派上用场了。它分两步：先用USB“握手”，再断开USB走WiFi。

1. 先用USB连上手机（确保adb devices能看到设备）
2. 开启手机的TCP/IP调试模式
   在命令行中输入：

   adb tcpip 5555

   你会看到restarting in TCP mode port: 5555，表示已就绪。
3. 断开USB线，用WiFi连接
   • 在手机“设置 → WLAN”里，记下当前WiFi的IP地址（如192.168.1.100）
   • 在电脑命令行输入：

     adb connect 192.168.1.100:5555

     如果显示connected to 192.168.1.100:5555，就成功了
   • 再次运行adb devices，应该能看到192.168.1.100:5555 device

小技巧：

• 同一局域网内，所有设备（电脑、手机、平板）IP前三位通常一样，比如都是192.168.1.x；
• 如果连接失败，检查电脑和手机是否在同一WiFi下（不是同一个路由器的不同频段，比如2.4G和5G）；
• 首次连接后，下次开机只要手机和电脑连同一WiFi，就无需再插USB线。

无论你选哪种方式，现在你的电脑已经能“看见”并“控制”你的手机了。下一步，就是让AI大脑上线。

4. 部署Open-AutoGLM：3条命令，完成全部安装

Open-AutoGLM本身不包含大模型，它更像一个“智能指挥中心”——负责看图、听指令、发命令。真正的AI大脑（AutoGLM-Phone-9B模型）需要单独部署（我们推荐用云服务，省心省力）。但控制端代码，你只需在本地电脑运行3条命令。

4.1 下载并安装控制端代码

打开命令提示符（Windows）或终端（Mac），依次输入：

# 1. 克隆官方仓库（下载全部代码） git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 2. 安装Python依赖（自动下载所有需要的库） pip install -r requirements.txt # 3. 安装Open-AutoGLM为可调用包（关键一步！） pip install -e .

⏳ 过程耗时约2-5分钟，取决于网络速度。
成功标志：最后一条命令执行完，光标回到下一行，没有任何红色报错。

如果你没装Git，可以去GitHub页面点绿色"Code"按钮 → "Download ZIP" → 解压到任意文件夹 → 进入该文件夹后，从第2步开始执行。

4.2 获取AI模型服务地址（云API，免本地部署）

Open-AutoGLM需要调用一个视觉语言模型来“看图说话”。官方提供了公开的云API服务，无需你买显卡、搭服务器，直接调用即可。

访问这个链接获取你的专属API地址：
Open-AutoGLM云服务申请页
（页面会显示类似http://116.205.182.42:8800/v1的地址，以及模型名autoglm-phone-9b）

记下这两个关键信息：

• Base URL：http://xxx.xxx.xxx.xxx:xxxx/v1（你的云服务器地址）
• Model Name：autoglm-phone-9b（固定不变）

为什么推荐云服务？

• 本地跑9B参数的视觉模型，至少需要24GB显存的显卡（RTX 4090级别），普通笔记本根本带不动；
• 云服务已优化好，响应快、稳定性高，且免费额度足够日常体验；
• 后续想换模型（比如更大更准的版本），只需改一个参数，不用重装。

4.3 运行第一句指令：让AI真正动起来

现在万事俱备。我们用一句最简单的指令测试：“打开微信”。

在你刚才进入的Open-AutoGLM文件夹里，运行以下命令（请务必将<设备ID>和<Base URL>替换成你自己的）：

python main.py \ --device-id <你的设备ID或IP:5555> \ --base-url <你的Base URL> \ --model "autoglm-phone-9b" \ "打开微信"

替换说明：

• <你的设备ID或IP:5555>：如果是USB连接，运行adb devices看到的第一串字符（如1234567890abcdef）；如果是WiFi连接，就填192.168.1.100:5555；
• <你的Base URL>：就是你刚在云服务页拿到的地址，例如http://116.205.182.42:8800/v1；

正常运行时，你会看到：

• 屏幕一闪（AI正在截图）
• 终端滚动输出类似：

  [Step 1] Current app: System Home <think>当前在手机桌面，需要启动微信应用</think> <answer>do(action="Launch", app="微信")</answer> [Action] Launching WeChat... Done.

• 手机自动亮屏、解锁（如果锁屏）、打开微信APP

恭喜！你的AI手机助手已经上岗。它真的“看”到了桌面，“听”懂了指令，“动”手打开了微信。

5. 实战演练：5个真实场景，一句指令全搞定

理论讲完，现在上手练。我们精选5个高频、实用、效果惊艳的真实场景，每个都给出完整指令+预期效果+避坑提示。你照着做，10分钟内就能感受到什么叫“手机自己会干活”。

5.1 场景一：跨APP搜索（最常用）

你的指令：

打开小红书搜索“上海咖啡探店”

它会做什么：

1. 判断当前APP（如果不是小红书，先退出或返回桌面）
2. 启动小红书APP
3. 自动点击首页搜索框
4. 输入“上海咖啡探店”（中文精准识别）
5. 点击搜索按钮
6. 把搜索结果页面完整展示给你

效果亮点：

• 中文输入零错误，不乱码、不丢字；
• 即使小红书首页有开屏广告，它也会等广告跳过再操作；
• 搜索框位置不固定？没关系，AI通过图像识别自动定位。

避坑提示：
如果小红书没装，它会明确告诉你“App not found: 小红书”，不会瞎点。此时你只需先手动安装小红书，再重试。

5.2 场景二：精准点击（解决“找不到按钮”难题）

你的指令：

打开抖音，进入博主“dycwo11nt61d”的主页，点击关注按钮

它会做什么：

1. 启动抖音
2. 点击右上角搜索图标
3. 输入抖音号dycwo11nt61d
4. 在搜索结果中，准确识别并点击该博主头像
5. 进入主页后，自动寻找“关注”按钮（无论它在左上、右上还是中间）并点击

效果亮点：

• 不依赖坐标，而是“看图识按钮”，即使UI改版也能适应；
• 对“关注”“粉丝”“点赞”等文字按钮识别率极高；
• 如果该博主已关注，它会说“Already following”。

避坑提示：
抖音号必须输全，不能少字母。如果输错，它会在搜索页告诉你“no result”，你可以立刻纠正重试。

5.3 场景三：文本输入+发送（告别复制粘贴）

你的指令：

打开微信，找到联系人“张三”，给他发消息：“明天下午三点会议室见，带上方案”

它会做什么：

1. 启动微信
2. 点击顶部搜索栏
3. 输入“张三”并进入聊天窗口
4. 点击输入框，用ADB Keyboard精准输入那句长消息（含中文、标点、空格）
5. 点击“发送”按钮

效果亮点：

• 长消息一次性输入，不中断、不漏字；
• 标点符号（逗号、句号、引号）全部正确；
• 发送后，微信聊天窗口会停留在最新消息，方便你直接查看。

避坑提示：
确保微信里真有“张三”这个联系人（备注名或昵称均可）。如果微信没登录，它会提示“Please log in to WeChat first”。

5.4 场景四：滑动浏览（信息流操作自动化）

你的指令：

打开知乎，搜索“大模型入门”，向下滑动3次，截图保存

它会做什么：

1. 启动知乎
2. 点击搜索框，输入“大模型入门”
3. 进入结果页后，执行3次向下滑动（每次滑动距离适中，模拟真人）
4. 每滑一次，都重新截图分析，确保内容加载完成
5. 第3次滑动后，自动截取当前屏幕并保存到电脑（默认路径：Open-AutoGLM/screenshots/）

效果亮点：

• 滑动不是“暴力拖到底”，而是智能判断页面是否加载完毕；
• 截图自动命名，带时间戳，方便你后续整理；
• 如果某次滑动后没新内容，它会停止并提示“End of feed”。

避坑提示：
“截图保存”是额外功能，需要你在指令末尾明确写出。只说“向下滑动3次”，它不会自动截图。

5.5 场景五：敏感操作接管（安全第一）

你的指令：

打开淘宝，搜索“iPhone 15”，点击第一个商品，加入购物车

它会做什么：

1. 启动淘宝，搜索，进入商品页
2. 点击“加入购物车”按钮
3. 此时，页面跳转到登录/支付确认页（敏感页面）
4. AI检测到黑屏截图（系统禁止截图），立即停止，并在终端输出：

   [Sensitive Page Detected] Please manually complete login or payment. Press Enter to continue after finishing...

5. 你手动输入密码、完成验证 → 按回车键 → AI继续执行后续操作（如返回商品页、再次点击加入购物车）

效果亮点：

• 主动识别支付、密码、人脸识别等高危场景；
• 不强行操作，不绕过安全机制，完全尊重你的控制权；
• 接管后无缝衔接，你感觉不到断点。

避坑提示：
这是Open-AutoGLM最值得信赖的设计。它宁可停下，也不冒险。所以遇到黑屏，别慌，那是它在认真保护你。

6. 常见问题速查：90%的问题，3分钟内解决

在实际使用中，你可能会遇到一些小状况。别急，我们把最高频、最典型的问题整理成“症状-原因-解法”对照表，对号入座，马上解决。

6.1 连接类问题

6.2 操作类问题

6.3 AI类问题

最后一条万能建议：遇到任何问题，先运行这条命令看全局状态：

python main.py --list-apps

它会列出所有已识别的应用，证明ADB、Python、Open-AutoGLM三者通信正常。如果这一步都失败，问题一定出在连接环节。

7. 进阶玩法：让AI更懂你，效率翻倍

当你熟悉了基础操作，可以试试这些“隐藏技能”。它们不需要改代码，只需加几个参数，就能让Open-AutoGLM更聪明、更顺手。

7.1 一句话干多件事：链式指令

不必每次只下一条指令。你可以用自然语言串联多个动作：

python main.py "打开微博，搜索‘AI新闻’，点击第一条，向下滑动2次，截图保存"

效果：它会自动拆解为“启动→搜索→点击→滑动→截图”5个步骤，一气呵成。
提示：用逗号分隔动作，比用句号更可靠；避免用“然后”“接着”等词，AI更习惯逗号逻辑。

7.2 指定APP包名：绕过识别误差

如果AI总把“美团”识别成“大众点评”，你可以直接告诉它包名：

python main.py "启动com.sankuai.meituan，搜索‘火锅’"

效果：跳过应用名匹配，直连包名，100%准确。
提示：常见包名可在phone_agent/config/apps.py里查，或用adb shell pm list packages | grep meituan命令获取。

7.3 本地化提示词：让AI更“中国”

Open-AutoGLM默认用中文Prompt，但你可以微调让它更懂国内习惯：

编辑文件phone_agent/config/prompts_zh.py，找到SYSTEM_PROMPT，在末尾添加一行：

"特别注意：所有操作必须使用中国大陆常用APP名称，如‘微信’‘抖音’‘小红书’，不要用英文名。"

效果：AI会优先匹配“微信”而非“WeChat”，减少歧义。
提示：改完保存，无需重启，下次运行自动生效。

7.4 批量任务：解放双手的终极形态

想一天自动完成100个重复操作？用Python脚本批量调用：

# batch_tasks.py from phone_agent.agent import PhoneAgent from phone_agent.config import AgentConfig, ModelConfig config = ModelConfig( base_url="http://your-server:8800/v1", model_name="autoglm-phone-9b" ) agent = PhoneAgent(model_config=config) tasks = [ "打开微信，给张三发‘会议改期’", "打开淘宝，搜索‘降噪耳机’", "打开知乎，搜索‘Python学习路径’" ] for task in tasks: print(f"\n 执行任务: {task}") result = agent.run(task) print(f" 结果: {result}")

运行python batch_tasks.py，它就会按顺序自动执行全部任务。
效果：你泡杯茶的功夫，10个任务全搞定。
提示：加入time.sleep(5)可在任务间加5秒间隔，更稳妥。

8. 总结：你的AI手机助手，已经准备就绪

回顾一下，你刚刚完成了什么：
🔹 在电脑上装好了Python、ADB、Open-AutoGLM控制端；
🔹 让你的安卓手机开启了开发者模式，装好了ADB Keyboard；
🔹 用USB或WiFi，让电脑和手机建立了稳定连接；
🔹 申请了云AI服务，拿到了即开即用的模型地址；
🔹 运行了第一句“打开微信”，亲眼见证了AI看图、思考、动手的全过程；
🔹 实战了5个真实场景，从跨APP搜索到敏感操作接管，全部亲测有效；
🔹 掌握了常见问题的3分钟自救法，和4个提升效率的进阶技巧。

这不是一个玩具项目，而是一个生产就绪的AI Agent框架。它的代码结构清晰，模块职责分明（看图的、思考的、动手的各司其职），安全机制完善（敏感操作必确认），并且完全开源——你随时可以看源码、改逻辑、加功能。

未来你能做什么？

• 把它变成你的私人助理：每天早上自动汇总微信未读、钉钉待办、邮件摘要；
• 变成测试工程师：一键遍历APP所有页面，截图存档，找UI bug；
• 变成数据采集员：自动刷100个商品页，提取价格、销量、评论；
• 甚至变成创意伙伴：让它在小红书上找100个爆款标题，帮你生成新文案。

技术从来不是目的，解决问题、节省时间、释放创造力，才是它存在的意义。

你现在要做的，就是打开终端，复制粘贴那条命令，对你的手机说一句：“打开小红书搜美食”。
然后，看着它，开始工作。

--- > **获取更多AI镜像** > > 想探索更多AI镜像和应用场景？访问 [CSDN星图镜像广场](https://ai.csdn.net/?utm_source=mirror_blog_end)，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。