Google Gemini 2.5 ‘電腦使用’ 評測：一個會點擊返回的瀏覽器
更新於 2025年10月9日
10 分鐘
是否曾希望能夠複製自己，在您處理有趣的部分時，讓分身去做那些枯燥的點擊操作？我嘗試了一種接近的方法。它叫做 Google 的 Gemini 2.5「Computer Use」，這是一個不僅能寫字，還能實際移動滑鼠、滾動頁面、在欄位中輸入內容，並像一位非常勤奮、非常一板一眼的助理一樣在真實的瀏覽器視窗中工作的 AI。可以想像成「完全按照書面指示執行的實習生」，只是不用休息喝咖啡。
在這篇評測中，我將向您展示 Gemini 2.5 Computer Use 的優點、缺點、與其他 AI 代理的比較，以及普通人（而不僅僅是開發人員）是否應該試用它。在此過程中，我會穿插一些實用技巧、注意事項，以及適度的懷疑。請繫好安全帶。
Gemini 2.5 Computer Use 到底是什麼？
想像一下，您告訴一位助手：「打開我的瀏覽器。前往那個航空公司網站。點擊登入。貼上我的確認碼。現在只篩選靠走道的座位。」這就是神奇之處：Gemini 2.5 Computer Use 可以像您一樣操作瀏覽器——點擊按鈕、在表單中輸入內容、按照螢幕上的標籤操作——尤其是在沒有整潔的 API 來獲取資料或觸發操作時。它是一個採取行動，而不僅僅是聊天的代理。Google 將其定位為針對 Web 任務（以及越來越多的行動風格流程）優化的模型，使其能夠在許多應用程式「厭惡 API」且所有內容都隱藏在 JavaScript、Cookie 和 CAPTCHA 後面的環境中存取資訊並執行雜務。
重大消息：Google 表示，這種 Computer Use 版本可透過 API 取得，並且專門針對瀏覽器和複雜的 UI 任務進行了調整。第三方測試人員報告說，在基於瀏覽器的評估中表現出色，在某些情況下，在某些基準測試中，其準確性、速度甚至成本都超過了競爭對手（當然，您的結果可能會有所不同）。獨立報導還指出，Google 一直將其目標首先放在 Web 流程可靠性上，並且在內部「AndroidWorld」風格的基準測試中出現了一些新興的 Android 任務優勢。
為什麼這很重要（生活中的一天）
讓我們把網際網路想像成一座巨大的、難伺候的辦公大樓。API 就像友善的同事，他們會整齊地把資料交給你。網頁呢？那些是仍然需要你親自打開的鎖著的櫃子、吱吱作響的抽屜和密封嚴實的信封。Computer Use 就像一個可以走下走廊、打開櫃子並正確複製表格的實習生——緩慢、小心、一次點擊一下。
如果您是一位在迷宮般的入口網站上提交每週工作表的自由職業者；一位在 20 個政府網站上填寫相同表格的研究人員；一位點擊學校線上入口網站以更新緊急聯絡人的家長——這就是您可以外包給一位小心、一板一眼的機器人的繁瑣工作。
使用起來是什麼感覺
- 設定：在開發人員領域，您可以透過 API 啟動模型，提供指示，並定義環境（受控的瀏覽器）。一旦它開始運行，您就可以使用任務「提示」代理。您會看到它打開頁面、點擊按鈕和填寫欄位。在使用者方面——如果您的首選應用程式集成了它——您會得到類似這樣的東西：「描述您想要完成的雜務」，然後觀看游標開始工作。
- 氛圍：想像成耐心的自行車手，而不是一級方程式賽車。它會採取慎重、可見的步驟。這可能會讓人感到安心（您會清楚地看到它在做什麼），而且與像打了雞血的松鼠一樣埋頭苦幹的人相比，速度會稍慢。但對於持續、重複、容易出錯的雜務來說？慢而穩才是王道。
- 防護措施：它不會失控。這些代理受到嚴格的沙箱保護，並受到內容和安全過濾器的約束，尤其是在透過 Vertex AI 進行的企業環境中。它們對敏感操作持謹慎態度，並且更喜歡明確的指示而不是「感覺」。如果您含糊不清，它會要求澄清。
它的優點
- 在頑固的網站上填寫表格：任何缺少適當 API 但具有一致標籤的網站都是主要領域。
- 多步驟 Web 任務：登入（在允許的環境中）、導航至巢狀選單、篩選結果、匯出 CSV 以及上傳或下載檔案——如果網站的 UI 是穩定的。
- 重複的雜務：每週工作流程、透過 Web UI 批量重新命名、列出項目、從您允許檢視的儀表板中提取資料。
- 漫長、枯燥的序列：那種讓你精神渙散的事情。代理不會精神渙散。
它的缺點
- CAPTCHA 和 MFA 障礙：在「證明你是人類」的時刻，您仍然需要親自出馬。
- UI 變更：如果網站的按鈕文字或佈局發生變更，代理可能需要提示或重新提示。
- 速度狂：速度快的人有時可以更快地填寫表格。這裡的優勢在於一致性和零抱怨。
- 不明確的提示：「幫我找到好的」不是一個計畫。請明確說明標準。
與競爭對手相比
- 相對於傳統的聊天模型（僅文本）：Computer Use 透過直接在瀏覽器中操作來劃清界線。它不僅僅告訴您如何做；它會去做。
- 相對於其他代理模型：報告和早期測試表明，Gemini 2.5 Computer Use 在真實的瀏覽器任務中具有很強的競爭力，並且被定位為針對 Web 互動進行了優化。科技媒體的報導證實了「像您一樣使用 Web 瀏覽器」的說法，並強調了對真實世界 UI 導航的關注。一些第三方基準測試機構表示，在他們的設定中，它的準確性和速度正在迎頭趕上，但與往常一樣，基準測試就像星座運勢——有趣、偶爾準確，但不能替代您自己的測試。
- Web vs Android：公開報告將其框架為主要針對 Web 進行了優化，並且在測試中出現了有希望的 Android 任務能力。如果您夢想著它在自動駕駛儀上運行您的整個手機，請降低期望——目前來說。
一個快速的故事：航班變更
我給了它一個經典的難題：「打開 X 航空公司。登入。提取我即將到來的行程。將回程航班更改為星期六。選擇一個靠走道的座位。使用里程。確認費用是否低於 100 美元；如果不是，則停止並報告。」看著它，感覺就像在訓練一位新助理。它導航到該網站，找到「我的行程」，找到正確的確認號碼，然後……在座位表上停頓了一下。標籤不是很標準。它要求澄清：「靠走道的座位標有 'A'，確認嗎？」我確認了。它繼續進行——並把我帶到了檢閱頁面。費用是 149 美元。它按照指示停止，總結了變更費用，並將控制權交還給我。不是很神奇。非常有用。
隱私和安全
Google 的官方文件和企業路線強調可配置的安全和內容過濾器——基本上是 IT 部門喜歡的「不要點擊紅色按鈕」開關。代理在受控環境中運行，您可以限制它可以查看或執行的操作。儘管如此：不要將您整個數位王國的鑰匙交給任何代理。一個實際的折衷方案是限定憑證的範圍（一個任務，一個帳戶），對於高風險的雜務使用一次性或最小權限登入，並讓代理在點擊「確認」之前展示其工作。
可用性和存取
Google 表示，Gemini 2.5 Computer Use 可透過 API 取得，重點是希望將這種「在瀏覽器中執行操作」的能力嵌入到其應用程式中的開發人員和平台。面向消費者的存取取決於誰集成了它——可以考慮生產力工具、類似 RPA 的服務或可以安全地代表您啟動瀏覽器會話的 AI 側邊欄。
真實世界的步調：它有多快？
如果您渴望立即得到滿足，請注意：它的行為就像一位小心謹慎的受訓者。每個步驟都是可見且可驗證的，這也是重點之一。它不是為了節省毫秒，而是為了縮小「沒有 API，沒問題」的差距。在更長的工作流程中，穩定性變成了一種超能力。錯誤更少。返工更少。而且與我不同，它從不切換標籤來查看天氣。
獲得最佳效果的技巧
- 明確說明：提供逐步指示、成功標準，以及在發生意外情況時該怎麼做（例如，「如果費用超過 100 美元，則停止並總結」）。
- 使用穩定的網站：如果網站的佈局每天都在變化，您將花費時間重新提示。從一致的 UI 開始。
- 保持憑證範圍限定：使用最小權限帳戶並在任務完成後撤銷令牌，以最大程度地降低風險。
- 要求預覽：讓它在提交不可逆轉的操作之前總結步驟或截取螢幕快照。
- 迭代：將提示視為食譜。調整成分，再次烘烤。
誰應該試用
- 在入口網站中苦苦掙扎的營運人員：如果您的工作是「在 12 個供應商網站上執行相同的 28 次點擊」，這就是一種治療。
- 沒有工程資源的小型團隊：沒有 API？沒問題。讓代理驅動瀏覽器。
- 高級使用者和 RPA 修補匠：如果您使用過機器人流程自動化，這就像 RPA 以自然語言「閱讀」頁面。
未來發展方向
- 更好的恢復能力：在頁面變更時，採用更聰明的方法進行適應。
- 更智慧的錯誤恢復：「如果出現此模式，則嘗試路徑 B；如果登入失敗，則提示使用者進行 MFA。」
- 混合 API + UI 流程：在可用時使用 API，在不可用時退回到 UI。兩全其美。
如果您生活在瀏覽器中，一個可以與多個模型對話並偶爾在頁面中操作的 AI 側邊欄開始感覺像是世界上最好的瑞士軍刀標籤。Sider.AI 正好位於該領域：它是一個流行的 AI 側邊欄，集成了領先的模型，並幫助您直接在您正在閱讀的頁面上工作。並且有一個友善、簡明的英文演練，說明 Gemini 2.5 Computer Use 在實踐中的感覺——並提醒您，它的行為更像是一位守法的自行車手，而不是一位速度賽車手。如果您想知道這如何融入您的日常瀏覽中，這是一個方便的入口。
優缺點一覽
優點
- 可以端到端地執行真實的瀏覽器操作
- 擅長在頑固的網站上執行重複、多步驟的雜務
- 透明、可審計的逐步行為
- 企業環境的安全控制
缺點
- 在短時間內比速度快的人慢
- CAPTCHA/MFA 仍然需要您
- 對 UI 變更和模糊的提示敏感
- 需要仔細限定權限範圍
結論
Gemini 2.5 Computer Use 不是一個華而不實的「看著它做我的工作」的機器人。它是您討厭的枯燥瀏覽器雜務的謹慎、可靠的助手。當任務冗長、重複且定義明確時，它會發光發熱。當任務含糊不清、充滿意外的彈出視窗或被 CAPTCHA 阻止時，您仍然需要並肩作戰。
如果您的工作日是 20% 的思考和 80% 的點擊瀏覽笨拙的網站，那麼這就是您的時刻。將繁瑣的工作變成機器人可以遵循的檢查清單。讓它成為遵守每個停車標誌的自行車手，而您則決定您真正想去的地方。
還有一件事……
給您未來的自己一份禮物：編寫提示時，就像您在為學習烹飪的青少年編寫食譜卡一樣。「預熱至 350 度。如果烤箱冒煙，請將其關閉。」您對 Gemini 2.5 Computer Use 越清楚，它就越擅長將您的 Web 雜務烹飪至完美——無需滅火器。
參考文獻和延伸閱讀
- Google 關於 Gemini 2.5 Computer Use 模型的公告。
- The Verge 概述了它如何操作真實的瀏覽器視窗。
- 關於 Web 優先優化和 Android 任務優勢的早期報導。
- 關於瀏覽器代理效能的第三方基準測試記錄。
- 企業的 Vertex AI 安全和內容過濾器配置。
- Sider.AI 主頁和實用的表單填寫說明。
常見問題解答
Q1：Google Gemini 2.5 Computer Use 實際上比人類快嗎？
通常在短任務中不是。它的價值在於可靠性和持久性——在漫長、重複的流程中，代理穩定的步調和低錯誤率可以擊敗匆忙的人，尤其是當您考慮到零疲勞和完美的記憶力時。
Q2：Gemini 2.5 Computer Use 最適合哪些類型的任務？
Web 瀏覽器中的任何重複性任務：多欄位表單填寫、儀表板篩選、下載報告或上傳檔案。當沒有 API 且網站的佈局相當穩定時，它是理想的選擇。
Q3：Gemini 2.5 Computer Use 與其他 AI 代理相比如何？
報導表明，它針對瀏覽器任務進行了優化，並且在第三方評估中表現出競爭力。與往常一樣，在您的實際工作流程中進行測試——基準測試很有用，但您的網站和邊緣案例才是真正的判斷標準。
Q4：它會為我處理 CAPTCHA 或多重身份驗證嗎？
不會。預計您會在 CAPTCHA 和 MFA 挑戰中介入。一個實際的設定是在這些步驟中暫停代理，完成驗證，然後讓它繼續。
Q5：Gemini 2.5 Computer Use 對於敏感帳戶是否安全？
在有防護措施的情況下，它可以是安全的。使用最小權限憑證、嚴格限定存取範圍，並啟用安全和內容過濾器——尤其是在企業環境中。要求代理在提交有風險的操作之前預覽或解釋步驟。
