llm-to-agent/docs/features/desktop-control.md
2026-08-21 16:33:23 +08:00

1.6 KiB
Raw Blame History

本机与桌面控制

本功能描述 Agent 面向电脑的 Tool它不同于 P10 的 Desktop 客户端。

剪贴板、通知与系统信息

实现阶段P7

  • 读取和写入剪贴板文本或文件引用。
  • 发送本地通知并关联触发它的 Run。
  • 查询时间、网络、磁盘、进程和基础系统状态。

本地文件整理

实现阶段P7

  • 对用户指定目录执行分类、移动、重命名、去重和下载目录整理。
  • 先生成变更预览,再执行可能影响大量文件的操作。
  • 删除优先进入系统回收站,并记录可恢复位置。

应用生命周期与状态

实现阶段P7

  • 启动、聚焦、退出应用并查询运行状态。
  • 打开指定文件、URL 或项目位置到对应应用。
  • 处理应用未安装、无响应和需要用户登录等情况。

窗口与文件定位

实现阶段P7

  • 查询、切换、移动、调整大小和排列窗口。
  • 将 Workspace、终端、编辑器和浏览器定位到相关资源。
  • 在多屏幕和多个同名窗口环境中保持明确目标。

屏幕理解与键鼠操作

实现阶段P7

  • 截取屏幕或窗口,使用视觉能力识别界面状态。
  • 执行键盘、鼠标、拖放和快捷键操作。
  • 提供紧急停止、动作记录和操作前后截图。

系统权限与能力降级

实现阶段P7

  • 检测辅助功能、录屏、通知和自动化权限。
  • 指引用户完成必要授权,并在权限缺失时切换到可用能力。
  • 向 Agent 暴露真实平台能力,避免反复调用不可用 Tool。