AI 自动化

功能介绍

AI 自动化页面利用大语言模型（LLM）驱动设备自动执行操作，支持用自然语言描述任务，AI 会结合屏幕画面自动规划并执行点击、滑动、输入等操作。页面采用左右分栏：左侧投屏实时展示设备画面，右侧对话展示任务进度。

前提条件

• 已连接设备并授权调试
• 首次使用需要在设置中配置 LLM 的 API 密钥（默认指向智谱 AI 开放平台，模型默认为 autoglm-phone）

界面布局

• 顶部导航栏：标题（含窗口/帮助按钮）、投屏 / 停止、截屏、录屏、设置（LLM 配置）
• 左侧（35%）：实时投屏画面
• 右侧（65%）：任务栏、消息列表、输入框

界面与按钮说明

配置 AI（设置）

点击右上角齿轮按钮打开 LLM 配置对话框，可配置：

• Base URL：接口地址（默认 https://open.bigmodel.cn/api/paas/v4/chat/completions）
• API Key：API 密钥（可在智谱 AI 开放平台申请）
• 模型名称：使用的模型，默认 autoglm-phone

点击「保存配置」后生效。更换设备或修改配置后，会话状态会自动重置。

投屏

• 点击「投屏」在左侧镜像设备屏幕（连接中显示「连接中...」）
• 投屏画面支持点击、滑动、滚轮缩放等操作，可手动接管
• 再次点击「停止」结束投屏

截屏 / 录屏

• 「截屏」捕获当前屏幕画面并保存
• 「录屏」开始 / 停止录制设备屏幕，录屏完成后自动更新画面

创建自动化任务

在右侧输入框用自然语言描述任务，例如「回到桌面找到微信打开并发送消息给张三」。发送后 AI 会结合当前屏幕逐步规划并执行操作；输入框支持多行输入。

任务栏

• 显示当前任务名称与已执行 步骤数
• 任务执行中可点击 停止任务 终止当前任务
• 历史对话 查看之前完成的任务记录
• 新建对话 开启新会话（任务运行中需先停止）

消息列表

• 用户指令与 AI 的每一步操作（点击位置、滑动方向、输入内容等）实时显示在对话中
• 任务完成后会话自动保存（含标题、耗时与步骤数），可在历史对话中查看

使用场景

• 自动化执行重复的 UI 操作流程
• 用自然语言描述复杂任务，减少手写脚本成本
• 演示 App 操作流程

FAQ

AI 操作不准确怎么办？

描述任务时尽量详细，包含具体的操作步骤和目标元素。建议在任务开始前先回到设备桌面，确保屏幕状态清晰。

API Key 在哪里获取？

访问智谱 AI 开放平台（bigmodel.cn），注册账号后在控制台点击「添加新的 API Key」即可获取。免费额度有限，请合理使用。