退屈なクリック作業を自分自身のクローンに任せて、面白い部分に集中したいと思ったことはありませんか?それに近いものを試してみました。それはGoogleの 2.5 "Computer Use"と呼ばれるもので、単に言葉を書くだけでなく、実際にマウスを動かし、スクロールし、フィールドに入力し、非常に勤勉で、非常に文字通りのアシスタントのように、実際のブラウザウィンドウ内で作業するAIです。「指示通りに正確に行動するインターン」を想像してください。コーヒーブレイクは抜きで。
このレビューでは、 2.5 Computer Useが得意とすること、つまずくこと、他のAIエージェントとの比較、そして(開発者だけでなく)一般の人が試してみるべきかどうかを紹介します。その過程で、実践的なヒント、いくつかの注意点、そして適度な懐疑心を散りばめていきます。シートベルトを締めてください。
2.5 Computer Useとは一体何か?
「ブラウザを開いて、その航空会社のサイトにアクセスして、サインインをクリックして、確認コードを貼り付けて、通路側の席のみでフィルタリングして」とヘルパーに指示することを想像してみてください。それが魔法です。 2.5 Computer Useは、データ取得やアクション実行のための整ったAPIがない場合でも、ボタンをクリックしたり、フォームに入力したり、画面上のラベルに従ったりして、あなたと同じようにブラウザを操作できます。これは、単にチャットするだけでなく、行動するエージェントです。Googleはこれを、Webタスク(およびますますモバイルスタイルのフロー)に最適化されたモデルとして位置づけており、多くのアプリが「APIを嫌い」、すべてがJavaScript、Cookie、およびの背後に存在する場合でも、情報を取得し、雑用を実行できます。
大きなニュース:Googleによると、このComputer UseはAPI経由で利用可能で、ブラウザと複雑なUIタスク向けに特別に調整されています。第三者によるテストでは、ブラウザベースの評価で強力なパフォーマンスが報告されており、場合によっては、特定のベンチマークで競合他社を精度、速度、さらにはコストで上回っています(もちろん、結果は異なる場合があります)。独立した報道機関はまた、Googleが最初にWebフローの信頼性を目指しており、内部の「AndroidWorld」スタイルのベンチマークでAndroidタスクの強みが現れ始めていると指摘しています。
これが重要な理由(ある一日)
インターネットを巨大で気難しいオフィスビルだと想像してみましょう。APIは、データをきちんと手渡してくれる友好的な同僚のようなものです。Webページは?それらは、物理的に開く必要がある施錠されたキャビネット、きしむ引き出し、そして厳重に封印された封筒です。Computer Useは、廊下を歩き、キャビネットを開け、フォームを正しくコピーできるインターンのようなものです。ゆっくりと、慎重に、一度にワンクリックずつ。
あなたが、迷路のようなポータルで毎週タイムシートを提出するフリーランサー、20の政府機関のサイトで同じフォームに入力する研究者、緊急連絡先を更新するために学校のオンラインポータルをクリックする親である場合、これは、注意深く、文字通りのボットにアウトソースできる退屈な作業の一種です。
使用感
- セットアップ:開発者の世界では、API経由でモデルを起動し、指示を提供し、環境(制御されたブラウザ)を定義します。実行すると、タスクでエージェントに「プロンプト」を出します。ページを開いたり、ボタンをクリックしたり、フィールドに入力したりするのがわかります。ユーザー側では、選択したアプリがそれを統合している場合、「実行したい雑用を説明する」のようなものが表示され、カーソルが動作するのを見ることになります。
- 雰囲気:F1レーサーではなく、辛抱強い自転車乗りを考えてください。慎重で目に見えるステップを踏みます。それは安心感を与えることができます(それが何をしているかを正確に確認できます)が、カフェイン入りのリスのようにクリックする人間の頭を下げた状態と比較すると、少し遅いです。しかし、持続的で反復的で、エラーが発生しやすい雑用には?ゆっくりと着実に勝利します。
- ガードレール:暴走することはありません。これらのエージェントは、特にVertex AI経由のエンタープライズコンテキストでは、コンテンツおよび安全フィルターによって厳重にサンドボックス化され、拘束されています。機密性の高いアクションには慎重であり、「雰囲気」よりも明確な指示を好みます。あいまいな場合は、明確化を求めます。
得意なこと
- 頑固なサイトでのフォーム入力:適切なAPIがないが、一貫したラベルがあるものはすべて、主要な領域です。
- 複数ステップのWebタスク:ログイン(許可されたコンテキスト内)、ネストされたメニューのナビゲート、結果のフィルタリング、CSVのエクスポート、およびファイルのアップロードまたはダウンロード—サイトのUIが安定している場合。
- 反復的な雑用:毎週のワークフロー、Web UI経由の一括名前変更、アイテムのリスト表示、表示を許可されているダッシュボードからのデータの抽出。
- 長く、退屈なシーケンス:あなたをぼんやりさせるようなもの。エージェントはぼんやりしません。
苦手なこと
- CAPTCHAとMFAのハードル:「あなたが人間であることを証明してください」という瞬間のために、あなたはまだ大人である必要があります。
- UIの変更:サイトのボタンのテキストまたはレイアウトが変更された場合、エージェントはナッジまたは再プロンプトが必要になる場合があります。
- スピード狂:速い人間は、フォームをより速く処理できる場合があります。ここでの勝利は、一貫性と不満のなさです。
- あいまいなプロンプト:「良いものを見つけてください」は計画ではありません。基準を明確にしてください。
競合との比較
- 従来のチャットモデル(テキストのみ):Computer Useは、ブラウザで直接行動することにより、一線を画します。それはあなたにそれを実行する方法を伝えるだけでなく、それを実行します。
- 他のエージェントモデルとの比較:レポートと初期テストでは、 2.5 Computer Useは実際のブラウザタスクで強力に競合し、Webインタラクション向けに最適化されていると位置づけられています。テックプレスの報道は、「あなたのようにWebブラウザを使用する」という売り込みを確認し、実際のUIナビゲーションに焦点を当てていることを強調しています。一部のサードパーティのベンチマーク機関は、セットアップの精度と速度で先行していると言っていますが、いつものように、ベンチマークは星占いのようなものです—楽しく、時々正確ですが、独自のテストの代わりにはなりません。
- Web対Android:公開されているレポートでは、主にWeb向けに最適化されており、テストでは有望なAndroidタスク機能が出現しています。電話全体を自動操縦で実行することを夢見ている場合は、今のところ期待を抑えてください。
簡単な物語:フライトの変更
私はそれに古典的な頭痛を与えました:「航空会社Xを開きます。ログインします。今後の旅行を取得します。帰りのフライトを土曜日に変更します。通路側の席を選択します。マイルを適用します。料金が100ドル未満であることを確認します。そうでない場合は、停止して報告します。」それを見ていると、新しいアシスタントをトレーニングしているように感じました。サイトに移動し、「My Trips」を見つけ、正しい確認番号を見つけ、座席表で一時停止しました。ラベルは完全には標準ではありませんでした。明確化を求めました:「通路側の席には「A」とマークされています。確認しますか?」私は確認しました。それは続行し、レビューページに私を導きました。料金は149ドルでした。指示どおりに停止し、変更手数料を要約し、制御を私に返しました。魔法ではありません。非常に便利です。
プライバシーと安全性
Googleの公式ドキュメントとエンタープライズルートは、構成可能な安全性とコンテンツフィルターを強調しています—基本的にはIT部門が愛する「赤いボタンをクリックしないでください」スイッチです。エージェントは制御された環境内で実行され、表示または実行できることを制限できます。それでも:エージェントにデジタル王国全体の鍵を渡さないでください。実用的な妥協策は、資格情報をスコープすること(1つのタスク、1つのアカウント)、高リスクの雑用には使い捨てまたは最小特権ログインを使用すること、および「確認」をクリックする前にエージェントに作業内容を表示させることです。
可用性とアクセス
Googleによると、 2.5 Computer UseはAPI経由で利用可能であり、「ブラウザで何かを行う」機能をアプリに埋め込みたい開発者およびプラットフォームに焦点を当てています。消費者向けのアクセスは、誰がそれを統合するかによって異なります—生産性ツール、RPAのようなサービス、または安全にブラウザセッションをスピンアップできるAIサイドバーを考えてください。
現実世界のペース:どれくらい速いですか?
すぐに満足したい場合は、これが慎重な研修生のように動作することを知っておいてください。各ステップは目に見え、検証可能です。それは一部のポイントです。それはミリ秒を短縮することではなく、「APIなし、問題なし」のギャップを埋めることです。より長いワークフローでは、安定性がスーパーパワーになります。エラーが少ない。手戻りが少ない。そして私とは異なり、天気をチェックするためにタブを切り替えることはありません。
最良の結果を得るためのヒント
- 明確にする:ステップバイステップの手順、成功基準、および予期しない事態が発生した場合の対処方法(例:「料金が100ドルを超える場合は、停止して要約する」)を提供します。
- 安定したサイトを使用する:サイトのレイアウトが毎日変更される場合は、再プロンプトに時間を費やすことになります。一貫したUIから始めます。
- 資格情報をスコープ内に維持する:最小特権アカウントでリスクを最小限に抑え、タスク後にトークンを取り消します。
- プレビューを要求する:不可逆的なアクションを実行する前に、手順を要約するか、スクリーンショットを撮ってもらいます。
- 繰り返す:プロンプトをレシピのように扱います。材料を調整し、もう一度焼きます。
誰が試すべきか
- ポータルで溺れている運用担当者:あなたの仕事が「12のベンダーサイトで同じ28回のクリックを行うこと」である場合、これはセラピーです。
- エンジニアリングリソースのない小規模チーム:APIがない?問題ありません。エージェントにブラウザを操作させます。
- パワーユーザーとRPAのいじくり屋:ロボティックプロセスオートメーションを使用したことがある場合、これは自然言語でページを「読み取る」RPAのようなものです。
次にどこに行く可能性があるか
- より良い回復力:ページが変更されたときに適応するためのより巧妙な方法。
- よりスマートなエラーリカバリ:「このモーダルが表示された場合は、パスBを試してください。ログインに失敗した場合は、ユーザーにMFAを要求してください。」
- ハイブリッドAPI + UIフロー:APIが利用可能な場合はAPIを使用し、そうでない場合はUIにフォールバックします。両方の長所。
ブラウザで生活している場合、複数のモデルと対話し、ページ内で時々行動できるAIサイドバーは、世界最高のスイスアーミーナイフのタブのように感じ始めます。Sider.AIは、まさにその場所にあります。これは、主要なモデルを統合し、すでに読んでいるページで直接作業するのに役立つ、人気のあるAIサイドバーです。そして、 2.5 Computer Useが実際にどのように感じるかについての、わかりやすい平易な英語のウォークスルーがあります—スピードレーサーよりも法律を遵守する自転車乗りのように行動することを思い出させてくれます。これがあなたの日常のブラウジングにどのように適合するかを知りたい場合は、便利な入り口です。 一目でわかる長所と短所
長所
- 実際のエンドツーエンドのブラウザアクションを実行できます
短所
評決
2.5 Computer Useは、派手な「私の仕事を見てください」ロボットではありません。それはあなたが嫌う退屈なブラウザの雑用に対する慎重で信頼できるヘルパーです。タスクが長く、反復的で、明確に定義されている場合、それは輝きます。タスクがあいまいであるか、驚きのポップアップでいっぱいであるか、によってブロックされている場合は、引き続き寄り添う必要があります。
あなたの一日の仕事が20%の思考と80%の煩雑なWebサイトのクリックである場合、これはあなたの瞬間です。退屈をボットが従うことができるチェックリストに変えてください。実際にどこに行きたいかを決める間、すべての停止標識に従う自転車乗りになりましょう。
そして最後に…
将来の自分に贈り物をしましょう。料理を学ぶ10代の若者向けのレシピカードを書くようにプロンプトを書いてください。「350度に予熱します。オーブンから煙が出たら、オフにします。」 2.5 Computer Useで明確にするほど、Webの雑用を完璧に調理できるようになります—消火器は必要ありません。
参考文献と参考文献
- 2.5 Computer Useモデルに関するGoogleの発表。
- 実際のブラウザウィンドウの操作方法に関するThe Vergeの概要。
- Web優先の最適化とAndroidタスクの強さに関する初期の報道。
- ブラウザエージェントのパフォーマンスに関するサードパーティのベンチマークノート。
- エンタープライズ向けのVertex AIの安全性とコンテンツフィルターの構成。
FAQ
Q1:Google 2.5 Computer Useは実際には人間よりも高速ですか?
通常、短いタスクではそうではありません。価値は信頼性と耐久性です—長く反復的なフローでは、エージェントの着実なペースと低いエラー率が、急いでいる人間を打ち負かすことができます。特に疲労がなく、完全にリコールできることを考慮に入れると。
Q2: 2.5 Computer Useに最適なタスクの種類は何ですか?
Webブラウザでの反復的なもの:複数フィールドのフォーム入力、ダッシュボードのフィルタリング、レポートのダウンロード、またはファイルのアップロード。APIがなく、サイトのレイアウトがかなり安定している場合に理想的です。
Q3: 2.5 Computer Useは他のAIエージェントとどのように比較されますか?
報道によると、ブラウザタスクに最適化されており、サードパーティの評価で競争力のあるパフォーマンスを発揮します。いつものように、実際のワークフローでテストしてください—ベンチマークは役立ちますが、あなたのサイトとエッジケースが真の判断材料です。
Q4:または多要素認証を処理してくれますか?
いいえ。とMFAの課題にステップインすることを期待してください。実用的なセットアップは、これらのステップでエージェントを一時停止し、検証を完了してから、続行させることです。
Q5: 2.5 Computer Useは機密性の高いアカウントに安全ですか?
ガードレールを使用すると安全になります。最小特権資格情報を使用し、アクセスを厳密にスコープし、安全性とコンテンツフィルターを有効にします—特にエンタープライズ環境では。リスクのあるアクションを実行する前に、エージェントに手順をプレビューまたは説明するように依頼してください。