Composez des tâches robotiques multi-étapes avec confiance
Si vous pouvez décrire une tâche clairement, votre robot peut probablement la réaliser. C'est la promesse de Gemini Robotics 1.5 et ER 1.5—des modèles conçus pour un raisonnement ancré et incarné qui transforme une intention de haut niveau en plans d'action multi-étapes fiables dans le monde physique. Vous trouverez ci-dessous 25 modèles de prompts éprouvés—organisés par intention—qui vous aident à composer des workflows robustes et multi-étapes pour la robotique du monde réel.
Note de style : Pratique et axé sur les solutions. Chaque modèle comprend la structure, les garde-fous recommandés et les variables facultatives. Remplacez les espaces réservés comme {OBJECT}, {LOCATION}, {POLICY} et {CONSTRAINTS} par votre contexte.
Comment utiliser ces modèles
- Commencez par un objectif de haut niveau, puis énumérez les étapes avec des vérifications de capteurs et un comportement de récupération.
- Incluez des contraintes : sécurité, vitesse/précision, hypothèses environnementales et stratégies de repli.
- Fournissez des canaux de feedback d'état (par exemple, critères de réussite de la vision, seuils de force/couple).
- Préférez les objectifs déclaratifs à la microgestion étape par étape rigide ; laissez le modèle planifier et s'adapter.
Au fait, si vous orchestrez des prompts, des logs et des itérations au sein d'une équipe, un assistant de panneau latéral comme Sider.AI peut vous aider à rédiger, tester et affiner des prompts à côté de vos documents et de votre code, en gardant le contexte visible pendant que vous itérez sur vos compétences et procédures robotiques. Section A — Planification et ancrage (Fondations)
- Plan de tâche (Objectif → Contraintes → Plan → Vérifications)
- Prompt
"Vous contrôlez un manipulateur mobile.
Objectif : {GOAL}.
Environnement : {DESCRIPTION} ; objets connus : {OBJECT_LIST}.
Contraintes : {CONSTRAINTS}.
Sortie : 1) Hypothèses à vérifier, 2) Plan ordonné avec étapes de perception/action, 3) Contrôles de sécurité par étape, 4) Comportements de récupération, 5) Conditions de terminaison et mesures de réussite."
- Utiliser quand : Conversion d'un objectif de haut niveau en un plan opérationnel avec des garde-fous.
- Plan axé sur la perception avec quantification de l'incertitude
- Prompt
"Avant d'agir, construisez un modèle d'observation. Identifiez les observations requises, les seuils de confiance et les cas limites pour {GOAL}. Sortie JSON :
{ observations:. Pour des modèles de prompts et d'agents plus larges, le guide de recettes et les guides d'agents de Gemini de Google sont des références utiles.
Exemple : Prompt de bout en bout pour une tâche de cuisine
Objectif : Préparer une salade simple et l'emballer pour emporter.
Prompt
"Vous contrôlez un manipulateur mobile à 7 degrés de liberté avec une pince parallèle et un changeur d'outils.
Objectif : Préparer et emballer une salade avec de la laitue, des tomates, des concombres et de la vinaigrette.
Environnement : Îlot de cuisine avec évier, planche à découper, couteau de chef, saladier, récipient à lunch. Des humains peuvent être présents.
Contraintes : Pas de lames à moins de 0,5 m des humains. Le tranchant du couteau est toujours gainé, sauf lors de la coupe. Force de la pince ≤ 15 N. Épaisseur des tranches 3–4 mm. Surfaces désinfectées.
Sortie :
- Hypothèses à vérifier (outils, ingrédients, éclairage),
- Plan par phases (laver → préparer → couper → assembler → emballer),
- Contrôles de sécurité par étape (vision/force),
- Récupération d'erreur (ressaisir, relocaliser, re-nettoyer),
- Mesures de réussite (confirmation visuelle de tranches uniformes ; récipient scellé ; zone propre),
- Schéma de journalisation et photos avant/après."
Ce que vous obtiendrez : Une procédure à long terme, consciente de la sécurité, avec des portes de perception, des règles de manipulation d'outils et des critères de réussite clairs.
Réflexions finales
Les excellents prompts de robotique se lisent comme des checklists de l'aviation : des objectifs clairs, des portes mesurables et des échappatoires planifiées. Utilisez ces 25 modèles comme blocs de construction, puis affinez-les avec les logs des exécutions réelles. Alors que Gemini Robotics 1.5 et ER 1.5 continuent d'intégrer la planification agentique dans le monde physique, vos prompts font la différence entre une bonne démo et des opérations quotidiennes fiables.
FAQ
Q1 : À quoi sert Gemini Robotics 1.5 / ER 1.5 ?
Ce sont des modèles de raisonnement incarné qui permettent aux robots de percevoir, de planifier et d'agir dans le cadre de tâches complexes et multi-étapes dans le monde physique, comme la sélection d'articles, la préparation d'aliments ou les opérations d'installations. Ils mettent l'accent sur l'ancrage, la sécurité et la planification adaptative.
Q2 : Comment rédiger des prompts pour des tâches robotiques multi-étapes ?
Indiquez l'objectif, l'environnement et les contraintes. Demandez des hypothèses à vérifier, des contrôles de sécurité, des comportements de récupération et des mesures de réussite. Laissez le modèle planifier les étapes pendant que vous appliquez les politiques et les seuils.
Q3 : Ces prompts peuvent-ils gérer l'incertitude et les erreurs ?
Oui. Incluez des seuils de confiance, des signatures d'erreur et des branches de repli. La conception de machines d'état avec des chemins nominaux, à faible confiance et d'échec améliore la fiabilité dans des environnements non structurés.
Q4 : Dois-je spécifier des trajectoires exactes ?
Généralement non. Fournissez des objectifs de haut niveau, des contraintes claires (force, dégagement, vitesse) et des portes de vérification. Le modèle peut générer des trajectoires cohérentes avec ces contraintes.
Q5 : Où puis-je trouver des documents et des exemples officiels ?
Consultez les pages Gemini Robotics de Google DeepMind et la présentation du développeur pour ER 1.5, ainsi que le guide de recettes Gemini et les guides d'agents pour des modèles de prompts et d'agents plus larges.
