Užtikrintai kurkite daugiapakopes robotų užduotis
Jei galite aiškiai apibūdinti užduotį, jūsų robotas greičiausiai ją atliks. Tai yra pažadas, kurį teikia Gemini Robotics 1.5 ir ER 1.5 – modeliai, sukurti įžemintam, įkūnytam samprotavimui, kurie aukšto lygio ketinimus paverčia patikimais, daugiapakopiais veiksmų planais fiziniame pasaulyje. Toliau pateikiami 25 patikrinti raginimų šablonai, suskirstyti pagal ketinimus, kurie padės jums sukurti patikimus, daugiapakopius darbo srautus realaus pasaulio robotams.
Stiliaus pastaba: praktiška ir orientuota į sprendimus. Kiekviename šablone yra struktūra, rekomenduojamos apsaugos priemonės ir pasirenkami kintamieji. Pakeiskite tokius vietos rezervavimo ženklus kaip {OBJECT}, {LOCATION}, {POLICY} ir {CONSTRAINTS} savo kontekstu.
Kaip naudoti šiuos šablonus
- Pradėkite nuo aukšto lygio tikslo, tada išvardykite veiksmus su jutiklių patikrinimais ir atkūrimo elgsena.
- Įtraukite apribojimus: saugą, greitį / tikslumą, aplinkos prielaidas ir atsargines strategijas.
- Pateikite būsenos grįžtamojo ryšio kanalus (pvz., vizijos sėkmės kriterijus, jėgos / sukimo momento slenksčius).
- Teikite pirmenybę deklaratyviems tikslams, o ne trapiam žingsnis po žingsnio mikromanagementui; leiskite modeliui planuoti ir prisitaikyti.
Beje, jei organizuojate raginimus, žurnalus ir pakartojimus komandoje, šoninio skydelio asistentas, toks kaip Sider.AI, gali padėti jums parengti, išbandyti ir patobulinti raginimus kartu su dokumentais ir kodu, išlaikant kontekstą matomą, kai kartojate savo robotų įgūdžius ir procedūras. A skirsnis – Planavimas ir įžeminimas (Pagrindai)
- Užduoties planas (Tikslas → Apribojimai → Planas → Patikrinimai)
- Raginkite
"Jūs valdote mobilų manipuliatorių.
Tikslas: {GOAL}.
Aplinka: {DESCRIPTION}; žinomi objektai: {OBJECT_LIST}.
Apribojimai: {CONSTRAINTS}.
Išvestis: 1) Prielaidos, kurias reikia patikrinti, 2) Užsakytas planas su suvokimo / veiksmo žingsniais, 3) Saugos patikrinimai per žingsnį, 4) Atkūrimo elgsena, 5) Nutraukimo sąlygos ir sėkmės metrika."
- Naudokite, kai: konvertuojate aukšto lygio tikslą į veiklos planą su apsaugos priemonėmis.
- Pirmumo suvokimo planas su neapibrėžtumo kiekybiniu įvertinimu
- Raginkite
"Prieš veikdami sukurkite stebėjimo modelį. Nustatykite reikiamus stebėjimus, pasitikėjimo slenksčius ir kraštutinius atvejus, skirtus {GOAL}. Išveskite JSON:
{ observations:. Norėdami gauti platesnių raginimų ir agentų modelių, Google Gemini receptų knyga ir agentų vadovai yra naudingos nuorodos.
Pavyzdys: viso proceso raginimas virtuvės užduočiai
Tikslas: Paruoškite paprastas salotas ir supakuokite jas išsinešimui.
Raginkite
"Jūs valdote 7 laipsnių laisvės mobilų manipuliatorių su lygiagrečiu griebtuvu ir įrankių keitikliu.
Tikslas: Paruoškite ir supakuokite salotas su salotomis, pomidorais, agurkais ir padažu.
Aplinka: Virtuvės sala su kriaukle, pjaustymo lenta, virtuviniu peiliu, salotų dubeniu, pietų konteineriu. Gali būti žmonių.
Apribojimai: Jokių ašmenų arčiau nei 0,5 m nuo žmonių. Peilio ašmenys visada įdėti į dėklą, nebent pjaustoma. Griebtuvo jėga ≤ 15 N. Riekelės storis 3–4 mm. Paviršiai dezinfekuoti.
Išvestis:
- Prielaidos, kurias reikia patikrinti (įrankiai, ingredientai, apšvietimas),
- Planas etapais (plovimas → paruošimas → pjaustymas → surinkimas → pakavimas),
- Saugos patikrinimai kiekviename žingsnyje (vizija / jėga),
- Klaidų atkūrimas (pakartotinis suėmimas, perkėlimas, pakartotinis valymas),
- Sėkmės metrika (vizualinis lygių riekelių patvirtinimas; užsandarintas konteineris; švari zona),
- Žurnalo schema ir nuotraukos prieš / po."
Ką gausite: Ilgalaikė, saugos požiūriu suprantama procedūra su suvokimo vartais, įrankių tvarkymo taisyklėmis ir aiškiais sėkmės kriterijais.
Baigiamosios mintys
Puikūs robotų raginimai skamba kaip aviacijos kontroliniai sąrašai: aiškūs tikslai, išmatuojami vartai ir suplanuoti pabėgimai. Naudokite šiuos 25 šablonus kaip statybinius blokus, tada patikslinkite juos naudodami realių paleidimų žurnalus. Kadangi Gemini Robotics 1.5 ir ER 1.5 toliau perkelia agentinį planavimą į fizinį pasaulį, jūsų raginimai yra skirtumas tarp geros demonstracijos ir patikimų kasdienių operacijų.
DUK
K1: Kam naudojami Gemini Robotics 1.5 / ER 1.5?
Tai įkūnyti samprotavimo modeliai, leidžiantys robotams suvokti, planuoti ir veikti sudėtingose, daugiapakopėse užduotyse fiziniame pasaulyje, pavyzdžiui, paimti daiktus, ruošti maistą ar atlikti įrenginių operacijas. Jie pabrėžia įžeminimą, saugą ir adaptyvų planavimą.
K2: Kaip rašyti raginimus daugiapakopėms robotų užduotims?
Nurodykite tikslą, aplinką ir apribojimus. Paprašykite patikrinti prielaidas, saugos patikrinimus, atkūrimo elgseną ir sėkmės metriką. Leiskite modeliui planuoti veiksmus, o jūs įgyvendinkite politiką ir slenksčius.
K3: Ar šie raginimai gali susidoroti su neapibrėžtumu ir klaidomis?
Taip. Įtraukite pasitikėjimo slenksčius, klaidų parašus ir atsargines šakas. Būsenos mašinų projektavimas su nominaliais, žemo pasitikėjimo ir nesėkmės keliais pagerina patikimumą nestruktūrizuotose aplinkose.
K4: Ar man reikia nurodyti tikslias trajektorijas?
Paprastai ne. Pateikite aukšto lygio tikslus, aiškius apribojimus (jėga, prošvaisa, greitis) ir patikrinimo vartus. Modelis gali generuoti trajektorijas, atitinkančias tuos apribojimus.
K5: Kur galiu rasti oficialių dokumentų ir pavyzdžių?
Žr. Google DeepMind Gemini Robotics puslapius ir kūrėjo apžvalgą apie ER 1.5, taip pat Gemini receptų knygą ir agentų vadovus, kad gautumėte platesnių raginimų ir agentų modelių.
