不能因为机器人总出问题,就把一切都换成AI
如果每次按钮名称变动,自动化就会停止,负责人还得修复选择器,那么Computer Use代理确实很有吸引力。它能查看屏幕并判断下一步行动,看起来似乎可以完全替代现有机器人。
但选择并不是“老旧RPA还是智能AI”这么简单。如今的RPA并非只会重放坐标,Computer Use也无法始终准确处理第一次见到的企业界面。让现有自动化处理稳定的重复环节,让Computer Use处理需要理解界面的例外环节,才是现实的起点。
当今RPA不是只记坐标的机器人
如果只把RPA说成“点击这里、输入那里”的坐标记录,就会忽略当前产品的能力。UiPath的Modern UI Automation不仅使用Strict Selector和Fuzzy Selector,还结合锚点、Computer Vision、图像识别和原生文本等多种方式来定位界面元素。录制器是捕捉操作的一种输入方式,并不意味着所有机器人只会重复坐标。
当然,严重依赖图像和固定位置的旧式实现可能容易受到UI变化影响。但这一问题与其说是整个RPA的局限,不如说更取决于该自动化被构建为如何识别界面元素。
市场也没有消失。UiPath在2027财年第一季度的营收为4.18亿美元,同比增长17%;截至2026年4月30日,ARR为19.01亿美元,同比增长12%。 不过,这些是包含代理型产品和编排在内的全公司业绩,因此并不能证明仅传统RPA机器人的增长,或Computer Use带来的替代效应。
Computer Use填补的是“API之外的界面”
Computer Use的实际区别在于,它可以解读当前界面并选择行动,而不是依照固定坐标操作。a16z指出,当程序化访问较困难时,代理可以通过UI登录、点击和发送文件,并将基于API和MCP的工具与界面操作连接在同一业务流程中。
但这并不意味着可以断言“没有API,AI就能解决”。同一篇文章也指出,由于每家企业的界面、工作流和数据模型不同,通用代理很难立即探索复杂的企业软件,且需要与业务相关的上下文。文章同时提出,在复杂或陌生的UI中,它可能会很慢且成本高。
| 业务条件 | 优先考虑的方式 | 原因 |
|---|---|---|
| 界面和规则稳定,处理量大 | 现有RPA · API | 执行路径和结果更容易预测。 |
| 需要阅读界面来分类例外情况 | Computer Use试点 | 可以解读当前状态,并有空间选择下一步行动。 |
| API与界面操作混合 | 混合配置 | 可将结构化步骤交给API,只能在UI完成的步骤交给界面操作。 |
| 包含支付、删除或敏感信息处理 | 暂缓自动执行 | 错误和提示词注入造成的损害难以撤销。 |
先找边界,再决定是否替换。将现有自动化的完整流程按步骤展开,稳定运行的环节保持不变,只挑选一个需要人工停下来理解界面的例外环节作为Computer Use候选项。
Claude in Chrome需要先在浏览器中验证
Claude in Chrome是一款可读取、点击和浏览网站的Chrome扩展程序。不支持其他Chromium浏览器和移动端。 因此,不能据此产品声称它可自动化仅限桌面的SAP客户端或医院EMR。如果目标业务不能在Chrome中打开,就需要另行评估其他Computer Use产品或现有桌面自动化工具。
如果业务在Chrome中处理,可以从一项不包含敏感信息的读取和提取任务开始。需要使用Google Chrome桌面版,以及Claude Pro、Max、Team或Enterprise之一;对于组织账户,管理员可能需要先配置扩展程序使用权限和网站策略。
- 将业务划分为稳定环节和例外环节。
排除API或现有RPA已经准确处理的步骤,在需要人工阅读界面的步骤中,选择一项不涉及写入、支付或删除的任务。 - 通过官方入门文档安装扩展程序。
前往Chrome Web Store进行安装,登录Claude账户后确认所需的浏览器权限。 - 限制组织试点的用户和网站。
Team和Enterprise管理员应仅向测试负责人部署该功能,并且只将需要验证的网站加入允许列表。 - 在独立浏览器配置文件中选择手动批准模式。
打开测试页面,在输入框的权限菜单中选择Manually approve,然后提出请求:“请在此测试订单页面中只读取订单号、状态和预计日期,并整理成表格。不要输入或修改任何值,在前往其他网站之前停止。” Cowork侧边栏会对每项操作请求批准,而classic侧边栏会在计划先获批准后在该范围内操作,因此请确认当前界面采用的批准方式。 - 在单独的验证表中记录结果和观察内容。
将标准答案样本与提取结果对照,标记字段遗漏和误识别,并记录在执行过程中亲自确认的批准、拒绝,以及意外跳转或尝试输入的情况。在启用Cowork侧边栏的环境中,已保存的会话可作为辅助资料参考,但并非所有付费套餐和组织设置都以相同方式提供。 如果出现未经允许的跳转或写入、发送尝试,请不要扩大自动执行范围。
成功标准不是“有一次做得很好”。在多个已准备标准答案的测试案例中,它必须无遗漏地提取所需值,且不得离开允许的网站或修改数据。通用的核验手段是单独的验证表和执行中观察到的批准、拒绝记录;只有在启用Cowork侧边栏时,才将已保存的会话作为辅助证据。
对于高风险业务,权限比准确率更重要
网页中隐藏的指令仍可能引导代理执行非预期操作或导致数据泄露。Anthropic也说明风险并非为零,并建议使用独立浏览器配置文件、可信网站和有限的允许列表,从不含敏感信息的简单任务开始。
官方建议不要使用Claude in Chrome来管理或处理金融账户、法律文件、医疗信息、敏感公司账户或他人的个人信息。也不建议在含有受监管数据的页面中使用,Claude in Chrome不向受HIPAA约束的组织提供。 即使组织管理员能够控制允许列表、阻止列表和部署对象,这些限制也不会解除,批准流程同样无法完全消除风险。
比较替换RPA的成本时,不要只看执行成功率。应按照相同的业务量和质量标准,记录人工批准时间、恢复错误操作的时间、模型使用成本及现有机器人维护时间。仅凭当前公开资料,无法得出RPA或Computer Use哪一方的运营成本始终更低的结论。
如果想进一步深入了解
The Rise of Computer Use and Agentic Coworkers 可以了解API与界面操作如何在同一业务流程中结合,以及复杂企业UI中还存在哪些限制。 a16z.com
Activities - UI Automation Modern 这份官方文档可帮助您了解UiPath目前如何结合选择器、锚点、Computer Vision和图像识别。 docs.uipath.com
Claude in Chrome permissions guide 可在试点前确认Manually approve设置,以及Cowork和classic侧边栏批准方式的差异。 support.claude.com
Use Claude in Chrome safely 介绍试点前应确认的安全原则,包括提示词注入、敏感和受监管数据的使用限制、独立配置文件以及网站允许范围。 support.claude.com



