What is Gemini Robotics 1.5 / ER 1.5 used for?

They are embodied reasoning models that let robots perceive, plan, and act across complex, multi‑step tasks in the physical world—like picking items, preparing food, or facility operations. They emphasize grounding, safety, and adaptive planning.

How do I write prompts for multi‑step robotic tasks?

State the goal, environment, and constraints. Ask for assumptions to verify, safety checks, recovery behaviors, and success metrics. Let the model plan steps while you enforce policies and thresholds.

Can these prompts handle uncertainty and errors?

Yes. Include confidence thresholds, error signatures, and fallback branches. Designing state machines with nominal, low‑confidence, and failure paths improves reliability in unstructured settings.

Do I need to specify exact trajectories?

Usually no. Provide high‑level objectives, clear constraints (force, clearance, speed), and verification gates. The model can generate trajectories consistent with those constraints.

Where can I find official docs and examples?

See Google DeepMind’s Gemini Robotics pages and the developer overview for ER 1.5, plus the Gemini cookbook and agent guides for broader prompting and agent patterns.

Samouvjereno sastavite robotske zadatke u više koraka

Ako možete jasno opisati zadatak, vaš ga robot vjerojatno može izvršiti. To je obećanje modela Gemini Robotics 1.5 i ER 1.5—modela izrađenih za utemeljeno, utjelovljeno zaključivanje koje pretvara namjeru visoke razine u pouzdane akcijske planove u više koraka u fizičkom svijetu. U nastavku se nalazi 25 provjerenih predložaka upita—organiziranih prema namjeri—koji vam pomažu sastaviti robusne tijekove rada u više koraka za robotiku u stvarnom svijetu.

Napomena o stilu: Praktično i usmjereno na rješenja. Svaki predložak uključuje strukturu, preporučene zaštitne ograde i opcionalne varijable. Zamijenite rezervirana mjesta poput {OBJECT}, {LOCATION}, {POLICY} i {CONSTRAINTS} svojim kontekstom.

Kako koristiti ove predloške

Počnite s ciljem visoke razine, a zatim navedite korake s provjerama senzora i ponašanjem oporavka.

Uključite ograničenja: sigurnost, brzina/preciznost, pretpostavke o okruženju i strategije povlačenja.

Osigurajte kanale povratnih informacija o stanju (npr. kriterije uspjeha vida, pragove sile/zakretnog momenta).

Preferirajte deklarativne ciljeve nad krhkim mikroupravljanjem korak po korak; dopustite modelu da planira i prilagođava se.

Usput, ako orkestrirate upite, zapise i iteracije unutar tima, pomoćnik s bočne trake poput Sider.AI može vam pomoći u izradi, testiranju i dorađivanju upita uz vaše dokumente i kod, održavajući kontekst vidljivim dok ponavljate svoje robotske vještine i postupke.

Odjeljak A — Planiranje i utemeljenje (temelji)

Nacrt zadatka (Cilj → Ograničenja → Plan → Provjere)

Upit "Vi upravljate mobilnim manipulatorom. Cilj: {GOAL}. Okruženje: {DESCRIPTION}; poznati objekti: {OBJECT_LIST}. Ograničenja: {CONSTRAINTS}. Izlaz: 1) Pretpostavke za provjeru, 2) Uređeni plan s koracima percepcije/akcije, 3) Sigurnosne provjere po koraku, 4) Ponašanja oporavka, 5) Uvjeti prekida i metrika uspjeha."

Koristite kada: Pretvarate cilj visoke razine u operativni plan sa zaštitnim ogradama.

Plan percepcije s kvantifikacijom nesigurnosti

Upit "Prije djelovanja, izradite model promatranja. Identificirajte potrebna promatranja, pragove pouzdanosti i granične slučajeve za {GOAL}. Izlaz JSON: { observations:. Za šire uzorke upita i agenata, Googleovi Gemini kuharice i vodiči za agente korisne su reference.

Primjer: Upit od početka do kraja za kuhinjski zadatak

Cilj: Pripremite jednostavnu salatu i spakirajte je za van.

Upit "Vi upravljate 7‑DOF mobilnim manipulatorom s paralelnim hvataljkom i izmjenjivačem alata. Cilj: Pripremite i spakirajte salatu sa zelenom salatom, rajčicom, krastavcem i preljevom. Okruženje: Kuhinjski otok s sudoperom, daskom za rezanje, kuharskim nožem, zdjelom za salatu, posudom za ručak. Ljudi mogu biti prisutni. Ograničenja: Nema oštrica unutar 0,5 m od ljudi. Oštrica noža uvijek je u koricama, osim prilikom rezanja. Sila hvataljke ≤ 15 N. Debljina kriške 3–4 mm. Površine su dezinficirane. Izlaz:

Pretpostavke za provjeru (alati, sastojci, osvjetljenje),

Plan u fazama (pranje → priprema → rezanje → sastavljanje → pakiranje),

Sigurnosne provjere po koraku (vid/sila),

Oporavak od pogrešaka (ponovno hvatanje, ponovno lociranje, ponovno čišćenje),

Metrika uspjeha (vizualna potvrda ravnih kriški; zatvorena posuda; čisto područje),

Shema zapisnika i fotografije prije/poslije."

Što ćete dobiti: Dugoročni postupak svjestan sigurnosti s vratima percepcije, pravilima rukovanja alatom i jasnim kriterijima uspjeha.

Završne misli

Izvrsni robotski upiti čitaju se poput kontrolnih popisa iz zrakoplovstva: jasni ciljevi, mjerljiva vrata i planirani izlazi. Koristite ovih 25 predložaka kao građevne blokove, a zatim ih doradite zapisima sa stvarnih izvođenja. Kako Gemini Robotics 1.5 i ER 1.5 nastavljaju uvoditi agencijsko planiranje u fizički svijet, vaši su upiti razlika između dobre demonstracije i pouzdanih svakodnevnih operacija.

Često postavljana pitanja

P1: Za što se koristi Gemini Robotics 1.5 / ER 1.5? Oni su utjelovljeni modeli zaključivanja koji robotima omogućuju da percipiraju, planiraju i djeluju u složenim zadacima u više koraka u fizičkom svijetu—poput branja predmeta, pripremanja hrane ili operacija u objektima. Naglašavaju utemeljenje, sigurnost i adaptivno planiranje.

P2: Kako pišem upite za robotske zadatke u više koraka? Navedite cilj, okruženje i ograničenja. Zatražite pretpostavke za provjeru, sigurnosne provjere, ponašanja oporavka i metriku uspjeha. Dopustite modelu da planira korake dok vi provodite pravila i pragove.

P3: Mogu li ovi upiti riješiti nesigurnost i pogreške? Da. Uključite pragove pouzdanosti, potpise pogrešaka i pričuvne grane. Dizajniranje automata stanja s nominalnim putovima, putovima niske pouzdanosti i putovima neuspjeha poboljšava pouzdanost u nestrukturiranim okruženjima.

P4: Moram li odrediti točne putanje? Obično ne. Osigurajte ciljeve visoke razine, jasna ograničenja (sila, zazor, brzina) i vrata za provjeru. Model može generirati putanje koje su u skladu s tim ograničenjima.

P5: Gdje mogu pronaći službenu dokumentaciju i primjere? Pogledajte stranice Gemini Robotics tvrtke Google DeepMind i pregled za programere za ER 1.5, plus Gemini kuharicu i vodiče za agente za šire upite i obrasce agenata.