What is Gemini Robotics 1.5 / ER 1.5 used for?

They are embodied reasoning models that let robots perceive, plan, and act across complex, multi‑step tasks in the physical world—like picking items, preparing food, or facility operations. They emphasize grounding, safety, and adaptive planning.

How do I write prompts for multi‑step robotic tasks?

State the goal, environment, and constraints. Ask for assumptions to verify, safety checks, recovery behaviors, and success metrics. Let the model plan steps while you enforce policies and thresholds.

Can these prompts handle uncertainty and errors?

Yes. Include confidence thresholds, error signatures, and fallback branches. Designing state machines with nominal, low‑confidence, and failure paths improves reliability in unstructured settings.

Do I need to specify exact trajectories?

Usually no. Provide high‑level objectives, clear constraints (force, clearance, speed), and verification gates. The model can generate trajectories consistent with those constraints.

Where can I find official docs and examples?

See Google DeepMind’s Gemini Robotics pages and the developer overview for ER 1.5, plus the Gemini cookbook and agent guides for broader prompting and agent patterns.

اعتماد کے ساتھ ملٹی سٹیپ روبوٹک ٹاسکس ترتیب دیں۔

اگر آپ کسی ٹاسک کو واضح طور پر بیان کر سکتے ہیں، تو آپ کا روبوٹ غالباً اسے کر سکتا ہے۔ یہ {Gemini Robotics 1.5} اور {ER 1.5} کا وعدہ ہے — یہ ماڈلز زمینی اور مجسم استدلال کے لیے بنائے گئے ہیں جو اعلیٰ سطحی ارادے کو جسمانی دنیا میں قابلِ اعتماد، ملٹی سٹیپ ایکشن پلان میں تبدیل کرتے ہیں۔ ذیل میں 25 آزمودہ پرامپٹ ٹیمپلیٹس ہیں — جو ارادے کے مطابق ترتیب دی گئی ہیں — جو آپ کو حقیقی دنیا کی روبوٹکس کے لیے مضبوط، ملٹی سٹیپ ورک فلو ترتیب دینے میں مدد کرتی ہیں۔

انداز کی نوٹ: عملی اور حل پر مبنی۔ ہر ٹیمپلیٹ میں ساخت، تجویز کردہ گارڈ ریلز اور اختیاری متغیرات شامل ہیں۔ اپنی ضرورت کے مطابق {OBJECT}، {LOCATION}، {POLICY} اور {CONSTRAINTS} جیسی جگہوں کو تبدیل کریں۔

ان ٹیمپلیٹس کو کیسے استعمال کریں

اعلیٰ سطحی مقصد سے شروع کریں، پھر سینسر چیک اور ریکوری رویے کے ساتھ اقدامات شمار کریں۔

محدودیتیں شامل کریں: حفاظت، رفتار/درستگی، ماحولیاتی مفروضے، اور فال بیک حکمت عملی۔

ریاستی رائے کے چینلز فراہم کریں (مثال کے طور پر، وژن کی کامیابی کے معیار، فورس/ٹارک حدیں)۔

قدم بہ قدم مائیکرو مینجمنٹ کے بجائے اعلانیہ اہداف کو ترجیح دیں۔ ماڈل کو منصوبہ بندی کرنے اور ڈھالنے دیں۔

ویسے، اگر آپ کسی ٹیم میں پرامپٹس، لاگز اور تکرار کو مربوط کرتے ہیں، تو Sider.AI جیسا سائڈ پینل اسسٹنٹ آپ کو اپنے دستاویزات اور کوڈ کے ساتھ پرامپٹس کو مسودہ بنانے، جانچنے اور بہتر بنانے میں مدد کر سکتا ہے، اور آپ کی روبوٹک مہارتوں اور طریقہ کار پر تکرار کرتے وقت سیاق و سباق کو مرئی رکھتا ہے۔

سیکشن اے — منصوبہ بندی اور گراؤنڈنگ (بنیادیں)

ٹاسک بلیو پرنٹ (مقصد → محدودیتیں → منصوبہ → چیک)

پرامپٹ "آپ ایک موبائل مینیپولیٹر کو کنٹرول کر رہے ہیں۔ مقصد: {GOAL}۔ ماحول: {DESCRIPTION}؛ معلوم اشیاء: {OBJECT_LIST}۔ محدودیتیں: {CONSTRAINTS}۔ آؤٹ پٹ: 1) تصدیق کرنے کے مفروضے، 2) ادراک/عمل کے مراحل کے ساتھ ترتیب شدہ منصوبہ، 3) فی قدم حفاظتی جانچ، 4) بازیابی کے رویے، 5) خاتمے کی شرائط اور کامیابی کے میٹرکس۔"

اس وقت استعمال کریں: جب کسی اعلیٰ سطحی مقصد کو گارڈ ریلز کے ساتھ ایک آپریشنل پلان میں تبدیل کرنا ہو۔

غور و فکر کے ساتھ سب سے پہلے منصوبہ

پرامپٹ "عمل کرنے سے پہلے، ایک مشاہداتی ماڈل بنائیں۔ {GOAL} کے لیے مطلوبہ مشاہدات، اعتماد کی حدیں اور ایج کیسز کی شناخت کریں۔ JSON آؤٹ پٹ کریں: { مشاہدات:. وسیع تر پرامپٹ اور ایجنٹ پیٹرن کے لیے، گوگل کی {Gemini} کوک بک اور ایجنٹ گائیڈز مددگار حوالہ جات ہیں۔

مثال: باورچی خانے کے کام کے لیے اینڈ ٹو اینڈ پرامپٹ

مقصد: ایک سادہ سلاد تیار کریں اور اسے پیک کریں۔

پرامپٹ "آپ ایک متوازی گرفت اور ٹول چینجر کے ساتھ 7-{DOF} موبائل مینیپولیٹر کو کنٹرول کر رہے ہیں۔ مقصد: لیٹش، ٹماٹر، کھیرا اور ڈریسنگ کے ساتھ سلاد تیار کریں اور پیک کریں۔ ماحول: سنک، کٹنگ بورڈ، شیف نائف، سلاد باؤل، لنچ کنٹینر کے ساتھ کچن جزیرہ۔ انسان موجود ہو سکتے ہیں۔ محدودیتیں: انسانوں سے 0.5 میٹر کے اندر کوئی بلیڈ نہیں ہے۔ چاقو کا کنارہ ہمیشہ ڈھکا ہوا ہوتا ہے جب تک کہ کاٹا نہ جائے۔ گرفت فورس ≤ 15 {N}۔ سلائس کی موٹائی 3–4 ملی میٹر۔ سطحیں جراثیم کش۔ آؤٹ پٹ:

تصدیق کرنے کے مفروضے (اوزار، اجزاء، روشنی)،

مراحل میں منصوبہ (دھونا → تیاری → کاٹنا → جمع کرنا → پیک کرنا)،

فی قدم حفاظتی جانچ (ویژن/فورس)،

غلطی کی بازیافت (دوبارہ پکڑنا، دوبارہ تلاش کرنا، دوبارہ صاف کرنا)،

کامیابی کے میٹرکس (یہاں تک کہ سلائسوں کی بصری تصدیق؛ کنٹینر سیل بند؛ علاقہ صاف)،

لاگ اسکیما اور پہلے/بعد کی تصاویر۔"

آپ کو کیا ملے گا: ایک طویل المدتی، حفاظتی طور پر باخبر طریقہ کار جس میں ادراک کے دروازے، آلے کو سنبھالنے کے اصول اور واضح کامیابی کے معیار شامل ہیں۔

اختتامی خیالات

عظیم روبوٹکس پرامپٹس ہوابازی سے چیک لسٹ کی طرح پڑھے جاتے ہیں: واضح اہداف، قابل پیمائش دروازے، اور منصوبہ بند فرار۔ ان 25 ٹیمپلیٹس کو بلڈنگ بلاکس کے طور پر استعمال کریں، پھر حقیقی رنز سے لاگز کے ساتھ ان میں ترمیم کریں۔ جیسے جیسے {Gemini Robotics 1.5} اور {ER 1.5} ایجنٹک منصوبہ بندی کو جسمانی دنیا میں لانا جاری رکھے ہوئے ہیں، آپ کے پرامپٹس ایک اچھے ڈیمو اور قابل اعتماد روزانہ کے آپریشن کے درمیان فرق ہیں۔

اکثر پوچھے جانے والے سوالات

سوال 1: {Gemini Robotics 1.5} / {ER 1.5} کس لیے استعمال ہوتا ہے؟ یہ مجسم استدلال ماڈلز ہیں جو روبوٹس کو جسمانی دنیا میں پیچیدہ، ملٹی سٹیپ ٹاسکس میں سمجھنے، منصوبہ بندی کرنے اور عمل کرنے دیتے ہیں — جیسے اشیاء چننا، کھانا تیار کرنا، یا سہولت کے کام۔ وہ گراؤنڈنگ، حفاظت اور موافقت پذیر منصوبہ بندی پر زور دیتے ہیں۔

سوال 2: میں ملٹی سٹیپ روبوٹک ٹاسکس کے لیے پرامپٹس کیسے لکھوں؟ مقصد، ماحول اور محدودیتیں بتائیں۔ تصدیق کرنے کے مفروضے، حفاظتی جانچ، بازیابی کے رویے اور کامیابی کے میٹرکس طلب کریں۔ ماڈل کو اقدامات کی منصوبہ بندی کرنے دیں جبکہ آپ پالیسیوں اور حدوں کو نافذ کریں۔

سوال 3: کیا یہ پرامپٹس غیر یقینی صورتحال اور غلطیوں کو سنبھال سکتے ہیں؟ جی ہاں۔ اعتماد کی حدیں، غلطی کے دستخط اور فال بیک شاخیں شامل کریں۔ معمولی، کم اعتماد اور ناکامی کے راستوں کے ساتھ اسٹیٹ مشینیں ڈیزائن کرنا غیر ساختہ ترتیبات میں قابل اعتماد کو بہتر بناتا ہے۔

سوال 4: کیا مجھے صحیح راستوں کی وضاحت کرنے کی ضرورت ہے؟ عام طور پر نہیں۔ اعلیٰ سطحی مقاصد، واضح محدودیتیں (فورس، کلیئرنس، رفتار) اور تصدیقی دروازے فراہم کریں۔ ماڈل ان محدودیتوں کے مطابق راستے پیدا کر سکتا ہے۔

سوال 5: میں آفیشل دستاویزات اور مثالیں کہاں تلاش کر سکتا ہوں؟ {Google DeepMind} کے {Gemini Robotics} صفحات اور {ER 1.5} کے لیے ڈیولپر جائزہ، نیز وسیع تر پرامپٹنگ اور ایجنٹ پیٹرن کے لیے {Gemini} کوک بک اور ایجنٹ گائیڈز دیکھیں۔