S istotou zostavujte robotické úlohy s viacerými krokmi
Ak dokážete jasne popísať úlohu, váš robot ju pravdepodobne dokáže vykonať. To je sľub modelov Gemini Robotics 1.5 a ER 1.5 – modelov vytvorených pre odôvodňovanie založené na základoch a stelesnené odôvodňovanie, ktoré premieňajú zámery na vysokej úrovni na spoľahlivé akčné plány s viacerými krokmi vo fyzickom svete. Nižšie nájdete 25 overených šablón pre prompt – usporiadaných podľa zámeru – ktoré vám pomôžu zostaviť robustné pracovné postupy s viacerými krokmi pre robotiku v reálnom svete.
Poznámka k štýlu: Praktické a orientované na riešenia. Každá šablóna obsahuje štruktúru, odporúčané ochranné prvky a voliteľné premenné. Nahraďte zástupné symboly, ako napríklad {OBJECT}, {LOCATION}, {POLICY} a {CONSTRAINTS}, vaším kontextom.
Ako používať tieto šablóny
- Začnite s cieľom na vysokej úrovni a potom vymenujte kroky s kontrolami senzorov a správaním pri zotavení.
- Zahrňte obmedzenia: bezpečnosť, rýchlosť/presnosť, predpoklady o prostredí a stratégie pre prípad zlyhania.
- Poskytnite kanály spätnej väzby o stave (napr. kritériá úspechu videnia, prahové hodnoty sily/krútiaceho momentu).
- Uprednostňujte deklaratívne ciele pred krehkým mikromanagementom krok za krokom; nechajte model plánovať a prispôsobovať sa.
Mimochodom, ak orchestrujete výzvy, protokoly a iterácie v rámci tímu, asistent na bočnom paneli, ako je Sider.AI, vám môže pomôcť pri vytváraní, testovaní a dolaďovaní výziev spolu s vašimi dokumentmi a kódom, pričom kontext zostane viditeľný, keď budete iterovať na svojich robotických zručnostiach a postupoch. Sekcia A – Plánovanie a zakotvenie (základy)
- Návrh úlohy (cieľ → obmedzenia → plán → kontroly)
- Prompt
„Ovládate mobilný manipulátor.
Cieľ: {GOAL}.
Prostredie: {DESCRIPTION}; známe objekty: {OBJECT_LIST}.
Obmedzenia: {CONSTRAINTS}.
Výstup: 1) Predpoklady na overenie, 2) Usporiadaný plán s krokmi vnímania/akcie, 3) Bezpečnostné kontroly pre každý krok, 4) Správanie pri zotavení, 5) Podmienky ukončenia a metriky úspešnosti.“
- Použite, keď: Konvertujete cieľ na vysokej úrovni na operačný plán s ochrannými prvkami.
- Plán s prioritou vnímania s kvantifikáciou neistoty
- Prompt
„Pred konaním vytvorte observačný model. Identifikujte požadované pozorovania, prahové hodnoty spoľahlivosti a okrajové prípady pre {GOAL}. Výstup JSON:
{ observations:. Pre rozsiahlejšie vzory promptov a agentov sú užitočné referencie kuchárka Gemini od spoločnosti Google a príručky pre agentov.
Príklad: Prompt typu end-to-end pre kuchynskú úlohu
Cieľ: Pripravte jednoduchý šalát a zabaľte ho so sebou.
Prompt
„Ovládate 7-DOF mobilný manipulátor s paralelným chápadlom a meničom nástrojov.
Cieľ: Pripravte a zabaľte šalát s hlávkovým šalátom, paradajkou, uhorkou a dresingom.
Prostredie: Kuchynský ostrovček s umývadlom, doskou na krájanie, kuchárskym nožom, miskou na šalát, obedovým kontajnerom. Môžu byť prítomní ľudia.
Obmedzenia: Žiadne čepele do 0,5 m od ľudí. Ostrie noža vždy v puzdre, pokiaľ sa nereže. Sila chápadla ≤ 15 N. Hrúbka rezu 3 – 4 mm. Sanitizované povrchy.
Výstup:
- Predpoklady na overenie (nástroje, prísady, osvetlenie),
- Plán vo fázach (umývanie → príprava → krájanie → zostavenie → balenie),
- Bezpečnostné kontroly pre každý krok (videnie/sila),
- Obnovenie po chybe (opätovné uchopenie, opätovné umiestnenie, opätovné čistenie),
- Metriky úspešnosti (vizuálne potvrdenie rovnomerných plátkov; kontajner zapečatený; oblasť čistá),
- Schéma protokolu a fotografie pred/po.
Čo získate: Dlhý časový horizont, postup s ohľadom na bezpečnosť s bránami vnímania, pravidlami manipulácie s nástrojmi a jasnými kritériami úspechu.
Záverečné myšlienky
Skvelé robotické výzvy sa čítajú ako kontrolné zoznamy z letectva: jasné ciele, merateľné brány a plánované úniky. Použite týchto 25 šablón ako stavebné bloky a potom ich vylepšite pomocou protokolov zo skutočných spustení. Keďže Gemini Robotics 1.5 a ER 1.5 naďalej prinášajú agentívne plánovanie do fyzického sveta, vaše výzvy sú rozdiel medzi dobrou ukážkou a spoľahlivou každodennou prevádzkou.
FAQ
Otázka 1: Na čo sa používa Gemini Robotics 1.5 / ER 1.5?
Sú to modely odôvodňovania stelesnené, ktoré umožňujú robotom vnímať, plánovať a konať v rámci komplexných úloh s viacerými krokmi vo fyzickom svete – ako je vyberanie predmetov, príprava jedla alebo prevádzka zariadení. Zdôrazňujú uzemnenie, bezpečnosť a adaptívne plánovanie.
Otázka 2: Ako píšem výzvy pre robotické úlohy s viacerými krokmi?
Uveďte cieľ, prostredie a obmedzenia. Požiadajte o predpoklady na overenie, bezpečnostné kontroly, správanie pri zotavení a metriky úspešnosti. Nechajte model plánovať kroky, zatiaľ čo vy presadzujete zásady a prahové hodnoty.
Otázka 3: Dokážu tieto výzvy zvládnuť neistotu a chyby?
Áno. Zahrňte prahové hodnoty spoľahlivosti, podpisy chýb a záložné vetvy. Navrhovanie stavových automatov s nominálnymi cestami, cestami s nízkou spoľahlivosťou a cestami zlyhania zlepšuje spoľahlivosť v neštruktúrovaných nastaveniach.
Otázka 4: Musím špecifikovať presné trajektórie?
Zvyčajne nie. Poskytnite ciele na vysokej úrovni, jasné obmedzenia (sila, vôľa, rýchlosť) a overovacie brány. Model môže generovať trajektórie, ktoré sú v súlade s týmito obmedzeniami.
Otázka 5: Kde nájdem oficiálne dokumenty a príklady?
Pozrite si stránky Gemini Robotics od Google DeepMind a prehľad pre vývojárov pre ER 1.5, plus kuchárku Gemini a príručky pre agentov pre rozsiahlejšie výzvy a vzory pre agentov.
