简介：界面成为平台
计算领域的每一次转变都会创造出一个新的默认界面，并随之产生一个新的权力中心。命令行倾向于技术杠杆，GUI 倾向于分发，而移动屏幕倾向于聚合。新兴的层——可以代表我们操作软件的 AI 代理——预示着一个新的界面：意图。谷歌的 Gemini 2.5 "Computer Use" 是一个早期且重要的例子。它可以在浏览器中观察、点击、输入和导航，将指令转化为行动，而无需自定义集成。
本文提出了一个简单的战略问题，但具有深远的影响：如何利用 Gemini 2.5 Computer Use 在今天实现浏览器任务的自动化？这又预示着未来工作流程的所有权将发生怎样的变化？答案是将实用的操作步骤与更广泛的框架相结合：当执行变得自动化时，价值将归属于那些拥有意图、历史记录和评估的人。换句话说，浏览器自动化不仅仅是节省时间，而是重新分配控制权。
背景：从 RPA 到代理，为什么浏览器自动化很重要
机器人流程自动化 (RPA) 使人们认识到，许多企业工作都是确定性的。脚本复制击键。浏览器使情况变得复杂：动态 DOM、身份验证流程以及不断变化的应用程序 UI 使得长期运行的脚本变得脆弱。结果是一个分裂的市场：用于稳定工作流程的 API 优先集成，以及用于遗留和边缘案例的昂贵的 RPA 部署。
AI 代理打破了这种二分法。模型不再依赖于脆弱的选择器和手动编码的步骤，而是可以读取页面上的上下文，推断出下一个最佳操作，并适应微小的变化。Gemini 2.5 的 Computer Use 功能更进一步：它旨在以类似人类的灵活性执行浏览器交互，其基础是对任务目标的理解，而不是固定的指令。
直接的效用非常简单：自动化您已经在 Chrome 中执行的任务——填写表单、下载报告、交叉发布内容——而无需等待供应商集成。战略意义更为重大：浏览器——已经是工作的瘦客户端——可以通过语言而不是代码进行编程。这会将权力从特定于应用程序的 UI 转移到能够解决意图的代理，并提高数据上下文和信任的重要性。
使用 Gemini 2.5 实现浏览器自动化的实用框架
要从 Gemini 2.5 Computer Use 中获得真正的价值，需要三个层面：
- 上下文供应：确保模型拥有正确的输入（凭据、URL、文件和约束）。
- 行动治理：监控、约束和记录模型的行动，以确保可靠性和审计。
这些对应于传统的软件问题——需求、数据和控制——但界面是会话式的。
意图规范：像编写产品规格一样编写提示
好的提示就像验收标准。不要说“下载报告”，而是要明确目标和约束：
- 目标：“登录 example-analytics.com，导航到 Reports > Monthly Revenue，将日期范围设置为上个月，导出 CSV，并保存到 Google Drive 的 /Finance/Revenue/2025-09.csv。”
- 约束：“如果请求双重身份验证，则暂停并请求代码。如果报告不可用，则返回可见错误的摘要并停止。”
- 成功标准：“确认文件路径、文件大小和行数 > 1。”
当所需的最终状态明确时，Gemini 2.5 Computer Use 的表现最佳。模型可以处理推理，但清晰度可以减少歧义并降低代价高昂的重试。
上下文供应：提供正确的工具和数据
代理的能力仅限于其环境允许的范围。对于浏览器任务：
- 访问权限：使用具有保存的凭据和最少的弹出窗口阻止程序的配置文件，这些阻止程序可能会妨碍自动化。隔离工作配置文件以进行策略和审计。
- URL 和工件：提供确切的链接、文件名和格式（CSV、PDF、JSON）。如果需要填写表单，请上传模板。
- 数据安全：使用最小权限凭据限制范围。对于高风险任务，请使用单独的服务帐户。
- 时间窗口：指示数据何时更新（例如，“报告每天 UTC 时间 8:05 完成；如果为空，请在该时间后重试。”）
行动治理：观察、批准和记录
Computer Use 可以采取可见的步骤——点击、表单条目、下载。将其视为具有屏幕共享功能的初级分析师：
- 试运行模式：第一次尝试返回一个逐步计划。您在执行前批准。
- 防护措施：定义不允许的域/操作（“请勿修改帐户设置”，“请勿批准付款”）。
- 日志记录：持久化操作记录、单击的 DOM 元素和最终输出。这对于审计和未来的调试很重要。
分步指南：如何使用 Gemini 2.5 Computer Use 自动化您的浏览器任务
以下序列旨在跨任务重复使用：数据提取、表单提交、内容发布和跨应用程序工作流程。
- 示例提示：“使用当前会话打开登录，导航到 Usage > Export，将日期范围设置为过去 7 天，导出为 CSV，并上传到 Google Drive /Ops/Usage/week-of-YYYY-MM-DD.csv。如果出现 2FA，请向我索要代码。”
- 询问 Gemini：“在采取行动之前，提出一个编号的操作计划，包括导航目标和表单输入。在执行前确认计划。”
- 批准该计划。保持控制台或侧边栏打开，显示逐步进度。
- 响应任何身份验证提示。通过相同的聊天提供一次性代码，以保持上下文一致。
- 指示 Gemini 验证输出：“确认 CSV 具有标题 [date, account_id, usage]。验证行数 > 10；如果不是，则重试一次。”
- 让代理总结关键指标（行数、日期范围）以确认成功标准。
- 将提示保存为可重用的模板，其中包含日期或 ID 的占位符。
常见用例：从报告到发布
Gemini 2.5 Computer Use 在 UI 一致且任务结构良好时尤其有效。
- 定期报告：需要设置过滤器、导出文件并保存到云存储的财务、营销和支持仪表板。
- 后台更新：在没有官方集成的情况下，在 SaaS 工具中输入货件 ID、更新订单状态和协调交易。
- 内容运营：跨 CMS 和社交平台起草和安排帖子；复制带有 UTM 标记的链接；附加批准的图像。
- 供应商比较和采购：导航定价页面，将计划详细信息捕获到电子表格中，并生成摘要。
- 质量保证和合规性：运行通过标准测试路径并拍摄屏幕截图作为证据。
每种情况都受益于编写精确的成功标准（具体的输出工件）和防护措施（不该做什么）。
可靠性策略：使自动化变得无聊
AI 驱动的浏览器自动化在它失效之前一直有效；可靠性是方差控制的函数。以下四种策略有所帮助：
- 使用固定的浏览器配置文件和一致的窗口大小，以减少布局驱动的混乱。
- 指示代理找到可靠的锚点：确切的链接文本、aria 标签或固定的 ID。如果不确定，请让它拍摄屏幕截图并请求确认。
- 对于写入操作（表单提交），指定幂等性检查：“如果订单 ID 为 X 的记录存在，则跳过。”
- 要求代理输出执行跟踪：访问的页面、使用的选择器和时间戳。
- 在关键步骤（提交前、提交后、导出确认）包括自动屏幕截图捕获。
安全性和合规性：信任是一种功能，而不是附加组件
让 AI 操作浏览器会涉及到身份、数据治理和最小权限原则。
- 凭据隔离：尽可能使用范围有限的帐户。对于财务或人力资源系统，当任务不需要写入时，隔离为只读角色。
- 会话卫生：通过使用专用配置文件来避免交叉污染。当工作流程需要时，清除供应商之间的 Cookie。
- PII 和受监管数据：明确指示代理：“不要复制或导出标记为 SSN 或 DOB 的字段。”考虑使用修订或屏蔽环境进行测试。
- 审计和撤销：维护足以重建操作的日志。确保您可以立即撤销访问权限——像对待员工离职一样对待代理配置文件。
战略框架：聚合理论遇到计算机使用
聚合的历史偏爱控制需求和数据的实体，而不是供应。使用 Computer Use，应用程序层越来越被可以操作任何 UI 的代理商品化。这表明了三个转变：
- 从应用程序忠诚度到工作流程忠诚度：如果代理可以互换地驱动多个产品，则用户会与工作流程和代理绑定，而不是与特定的 SaaS UI 绑定。
- 从 UI 护城河到数据/策略护城河：粘性价值转移到第一方数据（历史、偏好、微调）、策略引擎（防护措施、批准）和合规性。
- 从集成到意图解决：主要功能不是支持的 API 列表，而是从用户意图到以最小的监督完成的任务的翻译质量。
实际上，这意味着应用程序供应商将在代理友好性方面展开竞争：稳定的语义、可访问的 aria 标签和可预测的流程。与此同时，代理平台将在可靠性、治理和记忆（用户数据和长期上下文的持久组合）方面展开竞争。
竞争格局和选择正确的工具
虽然 Gemini 2.5 Computer Use 以其原生的、可视化的执行而闻名，但更广泛的市场包括三个类别的替代方案：
- 以模型为中心的代理：将通用 LLM 与工具使用（搜索、浏览器控制、文件系统）配对的系统。它们的优势在于泛化和语言理解。
- RPA 增强平台：传统的 RPA 供应商使用 LLM 进行增强，以使选择器更强大，流程更适应性强，尤其是在具有遗留应用程序的企业中。
- 垂直自动化器：专注于特定领域（例如，电子商务运营、广告运营）的解决方案，这些解决方案内置了剧本和合规性。
选择应取决于三个标准：
- 可观察性：您可以看到代理在做什么吗？审计跟踪是不可协商的。
- 可扩展性：代理可以与您已经使用的文件、存储和身份验证流程集成吗？
从战略角度来看，请考虑 Sider.AI。作为代理分析和工作流程的前端，它展示了助理层如何将非结构化请求转换为结构化输出，同时保持监督——在将语言驱动的计划与可重复的、记录的执行相结合时尤其有价值。协同作用非常简单：在类似 Sider 的环境中计划和验证，通过 Computer Use 执行，并将结果制度化到您的记录系统中。 实施手册：从原型到生产
要超越演示，请将代理驱动的浏览器自动化视为软件项目。
第一阶段：试点
- 选择 1-2 个频率高且风险低的任务（每周报告导出、内容安排）。
- 在人工参与批准的情况下运行，并收集日志和屏幕截图。
第二阶段：强化
- 参数化输入（日期、ID）并存储在简单的配置文件或提示变量中。
第三阶段：规模化
- 将相关任务分组到剧本中（例如，“每月结算”包括三个导出和两个上传）。
- 集中日志和输出；维护运行成功率和故障 MTTR 的仪表板。
第四阶段：治理
- 针对故障模式（密码轮换、CAPTCHA 引入、UI 重新设计）运行桌面演练。
衡量投资回报率：节省时间是基本要求
节省时间是显而易见的指标，但还不够。更好的视角是方差减少和周期时间压缩。
- 返工率：需要人工更正的运行百分比。随着提示的成熟，目标是稳步下降。
- 提前期：从请求（“获取上个月的收入”）到工件可用的时间。
- 控制事件：策略或访问违规的数量（应渐近接近于零）。
每周跟踪这些数据；战略目标是创建一个可预测的无聊系统。这种可预测性将成为您内部平台，用于更雄心勃勃的自动化。
Gemini 2.5 Computer Use 的示例提示和模式
以下是可重用的模式。将方括号中的项目替换为您的具体内容。
模式：报告导出
“首先计划。然后在获得我的批准后才采取行动。目标：在浏览器中，打开 [ 使用当前会话登录，导航到 Reports > [Revenue]，将日期范围设置为 [上个月]，导出为 [CSV]，并上传到 [Google Drive]/Finance/Revenue/[YYYY-MM].csv。约束：如果出现 2FA，则请求代码。如果报告页面返回空或错误，则停止并总结。成功标准：确认文件存在，大小 > 1KB，并且第一行具有标题 [date, account_id, amount]。记录执行期间的每次单击和页面标题。”
模式：CMS 发布
“在 [CMS URL] 中起草和安排帖子。标题：[Title]。正文：[Markdown]。标签：[Tags]。将发布日期设置为 [YYYY-MM-DD HH:MM TZ]。在发布之前，向我发送预览 URL 并等待批准。如果缺少必填字段，请停止并要求澄清。”
模式：跨应用收集
“从 [URLs] 收集 [3 vendors] 的当前价格，复制计划名称和每月费用，粘贴到 [Sheet URL] 的 Google Sheet 中，并在 A 列中添加日期。验证每个价格是否为数字；如果不是，则用 'N/A' 和一个指向来源的注释列进行注释。”
模式：支持分流
“打开 [Ticketing URL]，过滤 'Priority: High' 和 'Status: New'，打开每个工单并用一句话总结问题，分类为 [Billing, Access, Bug]，并将摘要粘贴到 [Slack Web URL] 的 Slack 草稿中以供审核。在发送之前等待我的批准。”
陷阱以及如何避免它们
- 身份验证边缘情况：验证码、SSO 超时和设备信任提示会中断流程。缓解措施：预先验证的配置文件、密码管理器和仅用于验证码步骤的显式人工移交。
- SPA 延迟：单页应用可能会延迟呈现。缓解措施：指示代理在单击之前等待特定的文本或元素。
- 过度广泛的权限：强大的代理可能会犯下代价高昂的错误。缓解措施：默认情况下使用只读角色；仅在需要时才使用范围限定的写入权限。
- 隐藏状态：某些应用程序会保留过滤器。缓解措施：指示代理在每次运行开始时重置过滤器。
战略弧线：谁拥有工作流程？
Gemini 2.5 Computer Use 揭示了一个更大的问题：如果任何代理都可以驱动任何 UI，那么什么变得稀缺？不是按钮和屏幕，而是数据上下文和信任。获胜者将捕获三个资产：
- 历史记录：对有效、无效的原因的持久记忆——降低未来的摩擦。
应用程序仍然重要，但它们将被标准化操作的代理层所中介。随着集成壁垒的减弱，防御性转向谁能最好地将意图转化为可靠的结果，并且意外最少。
结论：立即使用 Gemini 2.5，为未来的平台做好准备
实际的意义很简单：开始自动化你已经执行的浏览器任务。像编写规范一样编写提示，提供正确的上下文，管理操作，并衡量结果。 预计早期会有差异，并为可观察性而设计。
战略意义更为重大：Gemini 2.5 Computer Use 加速了从以应用程序为中心的工作到以意图为中心的工作流程的转变。 随着代理学习操作我们使用的软件，我们选择的软件将越来越多地与代理配合使用——而我们信任的工具将是那些使自动化变得清晰可控的工具。 考虑将规划和监督环境（如 Sider.AI）与执行工具（如 Computer Use）配对； 这种组合突出了价值的累积之处：不是点击，而是对工作的一致、经过审计的完成。 这就是下一个界面的承诺——以及竞争挑战。 浏览器仍将是画布。意图，而非 UI，成为平台。
常见问题解答
Q1: 什么是 Gemini 2.5 Computer Use？为什么它对浏览器自动化很重要？
Gemini 2.5 Computer Use 使 AI 代理能够操作您的浏览器——点击、输入和导航——以完成来自自然语言指令的任务。 它之所以重要，是因为它减少了对脆弱脚本的依赖，并将价值从特定于 UI 的工作流程转移到以意图驱动的执行。
Q2: 如何使 Gemini 2.5 对于重复性浏览器任务可靠？
像对待规范一样对待提示：定义目标、约束和成功标准。 添加防护措施、可观察性（日志和屏幕截图）以及重试以管理 UI 差异； 随着时间的推移，返工率应该下降，成功率应该稳定。
Q3: Gemini 2.5 Computer Use 对于敏感工作流程是否足够安全？
安全性取决于您的设置：使用最小权限帐户、专用浏览器配置文件和显式策略约束。 维护审计日志并准备好快速撤销访问权限； 对于受监管的数据，限制范围或使用屏蔽的测试环境。
Q4: 哪些浏览器任务最适合首先使用 Gemini 2.5 自动化？
从高频率、低风险的工作流程开始，例如报告导出、内容安排或供应商数据收集。 这些具有可预测的 UI 和明确的成功工件，这使它们成为改进提示和防护措施的理想选择。
Q5: Gemini 2.5 与用于 Web 任务的传统 RPA 工具相比如何？
传统的 RPA 依赖于固定的选择器，并且在 UI 更改时可能很脆弱。 Gemini 2.5 利用语言理解和视觉上下文来实时适应，使其更灵活，但您仍然需要治理和可观察性来确保可靠性。
