Vous avez toujours rêvé que votre navigateur remplisse les formulaires à votre place ?
Imaginez : il est 23h58. Vous avez promis de soumettre le même formulaire de dépenses que votre entreprise utilise depuis l'époque où Netscape était cool. Vous plissez les yeux devant 17 cases : nom, adresse, date, date encore (dans deux formats !), un menu déroulant qui ne fonctionne que si vous cliquez exactement sur le triangle. Vous marmonnez. Votre café soupire. Vous vous demandez si Internet a grandi et oublié de vous emmener.
Découvrez Gemini 2.5 Computer Use – le modèle de Google qui, avec la bonne configuration, peut utiliser votre ordinateur comme un assistant patient qui ne rechigne pas à cliquer, taper, faire défiler et télécharger à votre place. Pas seulement répondre à des questions. Pas seulement suggérer des frappes. On parle de : il déplace réellement le curseur, ouvre le site, se connecte et remplit le formulaire web.
Avez-vous l'impression de confier les clés de votre voiture à un ami qui vient d'apprendre à conduire avec un embrayage ? Oui. Est-ce étrangement excitant quand ça marche ? Oui aussi. Et c'est le programme d'aujourd'hui : comment automatiser les formulaires web avec Gemini 2.5 Computer Use en action – en toute sécurité, sain d'esprit et avec quelques rires quand il pense que le bouton « Soumettre » est en fait un logo décoratif.
Dans ce guide pratique, je vous guiderai à travers :
- Ce que « Computer Use » signifie réellement pour Gemini 2.5
- Comment configurer un flux de travail de remplissage de formulaires qui soit reproductible et non terrifiant
- Une démonstration étape par étape : du CSV aux formulaires remplis
- Astuces pour les champs délicats (captchas, sélecteurs de date, assistants multi-étapes)
- Sécurité, confidentialité et les limites très réelles de l'automatisation web d'aujourd'hui
- Comment des outils comme Sider.AI peuvent être votre centre de commandement pour dompter ce cirque
Le tout en langage clair. Avec des détours pour les pièges du monde réel que vous rencontrerez en chemin.
Qu'est-ce que Gemini 2.5 Computer Use ? Considérez-le comme un stagiaire robotique prudent
« Computer Use » est un mode où Gemini 2.5 ne se contente pas de générer du texte – il contrôle un navigateur et votre bureau, sous votre supervision. Il peut :
- Ouvrir un site web, naviguer dans les menus et cliquer
- Taper dans les champs de saisie et les zones de texte (même ceux qui apparaissent après trois modales)
- Télécharger/télécharger des fichiers
- Prendre des captures d'écran et raisonner sur ce qu'il voit (c'est la magie)
En termes pratiques, Gemini 2.5 Computer Use peut automatiser les formulaires web de bout en bout. Vous décrivez la tâche (« Aller à cette URL, se connecter, soumettre le formulaire hebdomadaire de kilométrage pour cette liste d'employés »), lui donnez les données, et il fait les clics et la saisie. L'attrait ? Plus d'automatisation sur chaise pivotante – copier des feuilles de calcul et coller dans des champs jusqu'à ce que votre âme quitte votre corps.
Mais – et c'est un mais de la taille d'une célébrité – le web est un zoo. Les formulaires varient énormément. Certains exigent des mois à un chiffre ; d'autres veulent le nom complet du mois en norvégien. C'est pourquoi vous aurez besoin de quelques bonnes pratiques et d'une carte pour quand le stagiaire robotique est confus.
Les bons jobs pour Gemini 2.5 : Quand l'automatisation brille (et quand elle ne le fait pas)
Utilisez Gemini 2.5 Computer Use pour :
- Formulaires internes répétitifs (notes de frais, mises à jour RH, intégration, demandes de remboursement de voyage)
- Portails de fournisseurs avec des mises en page cohérentes et des champs prévisibles
- Migrations de saisie de données (CSV vers formulaire web, base de données vers application SaaS)
- Mises à jour multi-enregistrements où le chemin est le même ; seules les valeurs changent
Évitez (ou préparez-vous à plus d'assistance) quand :
- Il y a un captcha ou une défense anti-bot agressive (le videur avec une lampe de poche)
- L'authentification à deux facteurs est requise pour chaque action
- La mise en page de la page change radicalement par enregistrement
- L'accessibilité est mauvaise (champs non étiquetés, choses cliquables qui ne sont pas des boutons)
Règle générale : Si un humain prudent peut le faire en rythme, Gemini 2.5 peut généralement l'apprendre. Si un humain prudent a besoin de deviner chaque étape, le modèle pourrait passer du temps de qualité à cliquer sur des fioritures décoratives.
Votre kit de démarrage : Outils et préparation
Vous aurez besoin de :
- Un navigateur que Gemini peut contrôler (généralement Chrome/Chromium via une couche d'automatisation sécurisée)
- Des identifiants en lecture seule pour le site cible si possible (état d'esprit de moindre privilège)
- Un compte de test propre ou un environnement sandbox (pour ne pas commander accidentellement 12 000 widgets)
- Vos données dans un format ordonné (CSV, JSON ou une feuille Google), avec des en-têtes qui correspondent aux étiquettes de formulaire
- Une liste de contrôle des champs de formulaire dans l'ordre où ils apparaissent
Facultatif mais très utile :
- Des captures d'écran du formulaire avec des étiquettes encerclées comme un entraîneur schématisant un jeu
- Un petit ensemble de 3 à 5 exemples de lignes pour les tests
- Un fichier journal où vous enregistrez l'état de chaque exécution et les erreurs
Procédure pas à pas : Gemini 2.5 Computer Use remplissant un exemple de formulaire de dépenses
Nous allons faire ça comme une émission de cuisine. À la fin, vous avez 40 formulaires soumis et pas de soufflés effondrés.
Scénario : Votre équipe soumet des remboursements de kilométrage hebdomadaires. Le formulaire web a :
- Nom de l'employé (champ de texte)
- Fin de semaine (sélecteur de date)
- Total des miles (numérique)
- Taux (menu déroulant : 0,50, 0,58, 0,62)
- Soumettre, puis un code de confirmation
Vos données vivent dans un CSV :
name,week_ending,total_miles,rate,notes,receipt_path
Alex Park,2025-10-03,142,0.58,Client visits in Zone B,/receipts/alex-1003.pdf
Riya Shah,2025-10-03,87,0.58,Airport shuttle runs,/receipts/riya-1003.pdf
...etc
Étape 1 : Amorcer Gemini 2.5 avec le contexte
- Fournissez l'URL du site, les étapes de connexion et les étiquettes exactes telles qu'elles sont écrites sur la page.
- Incluez les en-têtes CSV et une description de la façon de les mapper aux champs.
- Dites quoi faire lorsque des champs sont manquants ou bloqués (par exemple, ignorer la ligne, enregistrer l'erreur).
Example instruction snippet:
“Open Log in with the test account. For each CSV row, enter Name → Employee Name, week_ending → Week Ending (YYYY-MM-DD), total_miles → Total Miles, rate → Rate dropdown, notes → Notes, receipt_path → Upload. Submit. After submission, copy the confirmation code and record it next to the row.”
Étape 2 : Un essai à blanc avec une ligne
- Demandez à Gemini d'effectuer un seul enregistrement, lentement, en racontant chaque action. Surveillez-le comme un faucon.
- Confirmez qu'il sélectionne le bon menu déroulant et ne tape pas les notes dans le champ « Total des miles » (ça arrive !).
- Si le sélecteur de date ouvre un widget de calendrier, indiquez : « Tapez la date directement dans le champ au format AAAA-MM-JJ ; ne cliquez pas sur le calendrier. »
Étape 3 : Ajouter des garde-fous
- Dites-lui comment détecter le succès : par exemple, recherchez le mot « Confirmation » et un modèle de code comme EXP-####.
- Dites-lui comment détecter l'échec : si « Erreur » ou « Réessayez » apparaît, prenez une capture d'écran et passez à la ligne suivante.
- Limitez le rythme : « Attendez 500 à 800 ms après chaque chargement de page. Si le bouton est désactivé, vérifiez à nouveau les champs obligatoires. »
Étape 4 : Mode batch
- Maintenant, vous dites : « Traitez les cinq prochaines lignes. » Observez. S'il se comporte bien, passez à 20.
- Gardez un journal : numéro de ligne, statut, code de confirmation, chemin de la capture d'écran.
Étape 5 : Conclusion
- Exportez le journal au format CSV. Demandez à Gemini de le coller ou de l'enregistrer dans votre dossier. Vérifiez ponctuellement quelques soumissions sur le portail.
Ce que vous avez fait, c'est enseigner un rituel à Gemini 2.5 Computer Use. Contrairement aux scripts fragiles, il voit la page, s'adapte aux petits changements d'interface utilisateur et continue. C'est comme travailler avec un assistant prudent ; vous montrez, puis faites confiance – mais vous vérifiez toujours le travail.
Les points sensibles : Sélecteurs de date, téléchargements de fichiers, assistants multi-étapes
Comment gérer les méchants habituels dans les formulaires web :
- Sélecteurs de date : Indiquez à Gemini de taper la date dans la zone de saisie en utilisant le format accepté par le site. Si le site interdit la saisie, dites : « Ouvrez le calendrier, naviguez jusqu'au mois correct en utilisant les flèches gauche/droite, puis cliquez sur la date. » Incluez des exemples : « Pour 2025-10-03, sélectionnez 3 octobre 2025. »
- Validation numérique : Certains champs rejettent les virgules ou plus de deux décimales. Clarifiez : « Entrez le total des miles sous forme d'entier sans virgules. » Si vous voyez du texte d'erreur rouge, dites à Gemini comment l'effacer.
- Menus déroulants : Beaucoup sont des widgets personnalisés avec des listes cachées. Dites : « Cliquez sur le menu déroulant Taux ; si les options ne s'ouvrent pas, cliquez sur l'icône chevron. Choisissez le texte « 0,58 ». S'il n'est pas visible, faites défiler la liste déroulante. »
- Téléchargements de fichiers : Indiquez à Gemini le chemin d'accès exact au fichier. Si la boîte de dialogue du système d'exploitation apparaît, dites-lui de taper le chemin dans le champ du nom de fichier et d'appuyer sur Entrée. Si plusieurs fichiers sont autorisés, spécifiez s'il doit s'arrêter après un.
- Formulaires multi-étapes : Dites à Gemini d'attendre que le bouton « Suivant » devienne activé. Si la page change, confirmez en recherchant un titre comme « Étape 2 : Détails »
- Captchas et MFA : Votre signal pour faire une pause. Demandez une pause pour qu'un humain puisse faire le captcha ou approuver la notification push. Ensuite, laissez Gemini reprendre.
- Fenêtres contextuelles de saisie semi-automatique : Si une bulle de suggestions du navigateur chevauche le champ, demandez à Gemini d'appuyer sur Échap avant de taper.
Un contrôle de la réalité sur la vitesse et la précision
Gemini 2.5 Computer Use n'est pas une voiture de course – c'est plutôt un cycliste très patient qui respecte chaque panneau d'arrêt. Il ne battra pas un démon de la vitesse humain tête baissée, mais il sauve votre attention. Plus important encore, il ne devient pas bâclé sur le dixième formulaire identique.
Conseils de précision :
- Commencez avec cinq enregistrements. Corrigez les problèmes. Puis augmentez l'échelle.
- Ajoutez des « vérifications de bon sens » après chaque soumission : confirmez les totaux, vérifiez que la nouvelle ligne apparaît dans la page d'historique du portail.
- Gardez les données propres à la source : unifiez les formats de date ; pré-validez les nombres.
- Enregistrez tout. Si vous ne pouvez pas l'auditer, vous ne pouvez pas lui faire confiance.
La sécurité d'abord : Permissions, confidentialité et limites
Confier le contrôle de votre navigateur à une IA, c'est comme donner votre carte de crédit à votre enfant dans une épicerie. Définissez des règles.
- Utilisez un profil de navigateur distinct avec des cookies et des permissions limités.
- Créez un utilisateur de test avec le « moindre privilège » – pas d'accès administrateur, portée limitée.
- Ne stockez jamais de vrais mots de passe en texte clair dans les invites. Utilisez un gestionnaire de secrets sécurisé si disponible.
- Si le flux touche des données personnelles (numéros de sécurité sociale, détails de santé), clarifiez-le d'abord avec votre équipe de conformité.
- Enregistrez l'écran ou prenez des captures d'écran périodiques pendant les tests pour l'audit.
- Construisez un gros bouton rouge « Arrêter » : une instruction que le modèle obéit toujours, ou un raccourci clavier qui arrête le contrôle.
De la feuille de calcul au formulaire : Un modèle d'invite réutilisable
Voici un modèle réutilisable que vous pouvez adapter pour Gemini 2.5 Computer Use. Copiez, modifiez et enregistrez-le pour votre prochain lot.
« Tâche : Soumettre les formulaires de dépenses à partir du CSV joint à
Règles :
- Racontez les actions. Déplacez-vous lentement. Attendez jusqu'à 1,5 s pour les éléments.
- Mapping : name → Nom de l'employé ; week_ending → Fin de semaine (AAAA-MM-JJ tapé directement) ; total_miles → Total des miles (entier) ; rate → Menu déroulant Taux ; notes → Notes ; receipt_path → Télécharger.
- Vérification du succès : Après la soumission, capturez le code de confirmation (modèle EXP-####). Vérification de l'échec : si « Erreur » ou « Réessayez » apparaît, prenez une capture d'écran, enregistrez le numéro de ligne et le texte de l'erreur, puis ignorez. »
- Rythme : Traitez 5 lignes à la fois. Après chaque lot, sortez un journal CSV avec les colonnes : ligne, statut, confirmation_code, screenshot_path, notes.
- Sécurité : Si on demande une MFA ou un captcha, mettez en pause et alertez-moi. Ne continuez pas.
Commencez avec un seul enregistrement et attendez ma confirmation avant de continuer. »
Cette seule invite réduit 90 minutes de labeur à 15 minutes de surveillance réfléchie.
Notes secondaires de dépannage (parce que quelque chose va mal tourner)
- Il tape dans le mauvais champ : Dites-lui de référencer l'étiquette du champ par proximité de texte : « Tapez dans l'entrée à droite de l'étiquette « Nom de l'employé ». » Si les étiquettes sont manquantes, référez-vous par le texte de l'espace réservé.
- Le bouton ne s'active pas : Habituellement, un champ obligatoire est vide ou contient des espaces blancs. Dites à Gemini de vérifier que chaque champ obligatoire a une valeur non vide et de flouter l'entrée (Tab) pour déclencher la validation.
- La page a l'air différente aujourd'hui : Demandez à Gemini de redétecter le formulaire en recherchant les titres et les mots-clés courants. Si la variance de la mise en page est courante, maintenez un court « profil de formulaire » pour chaque version.
- Télécharge un reçu vierge : Assurez-vous que l'étape de téléchargement se termine avant de soumettre ; attendez la puce du nom de fichier ou la balise « téléchargé ».
- Le portail vous déconnecte : Ajoutez une étape de « maintien en vie » entre les enregistrements – rafraîchissez la page de session ou reconnectez-vous lorsqu'un cookie expire.
Comparaison des approches : Gemini 2.5 vs scripts vs RPA
- Scripts traditionnels (Selenium, Playwright) : Rapides comme l'éclair, très précis, très fragiles. Une classe CSS modifiée et toute la série de dominos s'effondre. Idéal pour les applications contrôlées.
- Plateformes RPA : Puissantes, avec des organigrammes visuels et une gouvernance d'entreprise. La configuration peut être un projet. Merveilleux si vous l'utiliserez quotidiennement.
- Gemini 2.5 Computer Use : Raisonnement flexible, les yeux sur la page. Plus lent, mais moins fragile. Idéal pour les exécutions ad hoc, les portails tiers désordonnés et les migrations ponctuelles.
Considérez Gemini comme le travailleur à la tâche polyvalent qui peut entrer dans un nouveau bureau et découvrir quel tiroir cache les trombones – avec un peu de conseils.
Où Sider.AI s'inscrit (et aide réellement)
Voici une surprise : Sider.AI joue très bien le rôle de votre centre de commandement pour ces flux de travail. Vous pouvez conserver vos modèles d'invite, vos CSV, vos journaux et vos captures d'écran en un seul endroit – et demander à l'assistant d'assembler les étapes. Il ne remplacera pas le contrôle de page pratique de Gemini 2.5 Computer Use, mais il peut : - Stocker et versionner vos invites comme un livre de cuisine d'automatisation
- Résumer les journaux d'exécution dans un rapport simple « qui a réussi, qui a échoué, quelle est la prochaine étape »
- Générer des invites de dépannage sur mesure lorsqu'un portail change
- Vous aider à convertir une feuille de calcul désordonnée en un CSV propre, prêt pour l'automatisation
Utilisés ensemble, Sider.AI est le presse-papiers et le manuel de jeu ; Gemini 2.5 est le quart-arrière sur le terrain. Mouvements avancés : Logique conditionnelle, branchement et vérification
Une fois que vous faites confiance aux bases, ajoutez de l'intelligence :
- Branchement : « Si le menu déroulant Taux n'a pas l'option désirée, choisissez la correspondance la plus proche ≥ taux demandé ; sinon, signalez la ligne. »
- Pièces jointes conditionnelles : « Téléchargez un reçu uniquement si total_miles ≥ 50 ; sinon, laissez vide. »
- Champs dérivés : « Calculez le remboursement = total_miles × taux ; vérifiez que le total calculé du portail correspond à moins de 0,01 $ ; sinon, prenez une capture d'écran et ignorez. »
- Vérification inter-pages : Après la soumission, ouvrez « Historique », trouvez l'entrée d'aujourd'hui et validez que le nom et le total correspondent au CSV.
Ces vérifications transforment une démo amusante en quelque chose que votre gestionnaire approuve.
Un petit détour : Théâtre de sécurité vs protections réelles
Vous rencontrerez des portails qui utilisent des puzzles, des curseurs à cliquer et à faire glisser, ou des énigmes pop-up dignes d'un Hobbit. Certains sont de vraies défenses anti-bot ; certains sont du maquillage de page. Ne combattez pas les bons. Prévoyez une pause humaine dans la boucle. Demandez à Gemini d'annoncer : « Captcha détecté – prêt pour votre aide », puis reprenez.
La vraie protection vient de votre configuration : profils séparés, permissions limitées, journaux d'audit et conditions d'arrêt claires.
Mesurer le succès : À quoi ressemble le « bien »
Une automatisation de formulaire web saine avec Gemini 2.5 Computer Use ressemble à ceci :
- 95 % et plus des lignes traitées sans ajustements manuels
- Les erreurs sont prévisibles et enregistrées (dates non concordantes, fichiers manquants)
- Vous pouvez réexécuter à partir de la dernière ligne échouée sans toucher aux précédentes
- Un humain peut auditer les captures d'écran et les journaux pour comprendre exactement ce qui s'est passé
Lorsque vous atteignez ces objectifs, vous avez converti la corvée en un flux de travail ordonné et révisable.
Le mini manuel de jeu : De zéro à « Soumettre » en 12 étapes
- Identifiez un seul formulaire ennuyeux que vous faites chaque semaine.
- Nettoyez vos données. Dates, nombres, chemins de fichiers.
- Créez un compte de test et un sandbox si disponible.
- Ouvrez Gemini 2.5 Computer Use dans un profil de navigateur contrôlé.
- Décrivez le formulaire et fournissez les mappages de champs.
- Exécutez un enregistrement – ralenti, raconté, avec vos yeux dessus.
- Ajoutez des vérifications de succès et d'échec.
- Construisez un journal de lots et une capture d'écran sur toute anomalie.
- Traitez cinq enregistrements ; puis vingt.
- Ajoutez de petits garde-fous (Échap pour fermer les saisies semi-automatiques ; tapez les dates directement).
- Exportez le journal ; vérifiez ponctuellement dans l'historique du portail.
- Enregistrez votre invite et votre structure de données pour la semaine prochaine. Votre futur vous écrira une note de remerciement.
Une dernière chose : Ne combattez pas la page – enseignez la page à vous
Le web adore garder des secrets. Les boutons se cachent derrière des icônes ; les champs attendent de vous gronder jusqu'à ce que vous cliquiez ailleurs. Gemini 2.5 Computer Use ne corrige pas magiquement le web – il l'apprend patiemment. La victoire n'est pas la vitesse ; c'est la sérénité. Vous récupérez une heure que vous passiez à naviguer dans des cases et la passez à décider si les notes devraient dire « Visites de clients dans la zone B » ou le plus audacieux « Extravagance de la zone B ».
Alors choisissez un formulaire. Mettez Gemini 2.5 Computer Use sur le siège du conducteur – avec des ceintures de sécurité – et laissez-le faire les clics. Lorsque ce code de confirmation apparaît et que personne n'a eu à tortiller un menu déroulant, vous aurez l'impression qu'Internet s'est excusé pour le sélecteur de date de 2007.
Principaux points à retenir
- Gemini 2.5 Computer Use peut automatiser les formulaires web en voyant et en utilisant votre page comme un assistant prudent.
- Commencez petit, ajoutez des garde-fous et ne passez à l'échelle que lorsque c'est ennuyeux, dans le bon sens du terme.
- Utilisez des données propres, des correspondances de champs explicites et des vérifications de succès/échec.
- Acceptez que les captchas et l'authentification multifacteur (MFA) nécessitent une intervention humaine.
- Associez-le à Sider.AI pour gérer les invites, les journaux et le nettoyage : le presse-papiers pour les mains de Gemini.
Maintenant, allez apprendre à ce formulaire qui est le chef. Ou plutôt, qui délègue poliment.
FAQ
Q1: Qu'est-ce que l'utilisation de l'ordinateur Gemini 2.5, en termes simples ?
C'est un mode où Gemini peut réellement contrôler votre navigateur (cliquer, taper, télécharger), afin d'automatiser les formulaires Web. Considérez-le comme un stagiaire attentif qui suit vos instructions et raconte ses actions.
Q2 : Gemini 2.5 peut-il réellement automatiser les formulaires Web avec des téléchargements de fichiers et des sélecteurs de date ?
Oui, avec des instructions claires. Dites-lui de taper les dates directement, de gérer explicitement le menu déroulant « Taux » et de coller les chemins d'accès aux fichiers dans la boîte de dialogue de téléchargement : ces détails font la différence.
Q3 : Comment puis-je assurer la sécurité et la conformité de l'automatisation des formulaires Web ?
Utilisez un profil de navigateur distinct, des comptes avec le minimum de privilèges et des journaux pour chaque exécution. Évitez de mettre des mots de passe dans les invites ; mettez en pause pour les captchas et l'authentification multifacteur, puis reprenez.
Q4 : Gemini 2.5 est-il plus rapide que les scripts traditionnels comme Selenium ?
Généralement pas, mais il est plus adaptable aux pages désordonnées et aux tâches ponctuelles. Les scripts sont plus rapides et fragiles ; Gemini est plus lent mais moins susceptible de se casser lorsque le CSS du site change.
Q5 : Où Sider.AI est-il utile dans ce flux de travail ?
Sider.AI peut stocker vos invites, nettoyer vos fichiers CSV, résumer les journaux et générer des conseils de dépannage. C'est l'organisateur et le rédacteur en chef de votre manuel d'automatisation pendant que Gemini effectue les clics. 
