יצירת משימות רובוטיות מרובות שלבים בביטחון
אם אתם יכולים לתאר משימה בצורה ברורה, סביר להניח שהרובוט שלכם יכול לעשות אותה. זהו הייעוד של Gemini Robotics 1.5 ו-ER 1.5 - מודלים הבנויים עבור חשיבה מעוגנת ומגולמת, שהופכים כוונה ברמה גבוהה לתוכניות פעולה אמינות מרובות שלבים בעולם הפיזי. להלן 25 תבניות prompt מוכחות - מאורגנות לפי כוונה - שעוזרות לכם ליצור תהליכי עבודה חזקים מרובי שלבים עבור רובוטיקה בעולם האמיתי.
הערת סגנון: מעשי ומכוון פתרונות. כל תבנית כוללת את המבנה, אמצעי הזהירות המומלצים ומשתנים אופציונליים. החליפו מצייני מיקום כמו {OBJECT}, {LOCATION}, {POLICY} ו-{CONSTRAINTS} בהקשר שלכם.
כיצד להשתמש בתבניות אלה
- התחילו עם מטרה ברמה גבוהה, ולאחר מכן פרטו שלבים עם בדיקות חיישנים והתנהגות שחזור.
- כללו אילוצים: בטיחות, מהירות/דיוק, הנחות סביבתיות ואסטרטגיות נסיגה.
- ספקו ערוצי משוב מצב (לדוגמה, קריטריוני הצלחה של ראייה, ספי כוח/מומנט).
- העדיפו מטרות הצהרתיות על פני ניהול מיקרו שביר שלב אחר שלב; תנו למודל לתכנן ולהתאים.
דרך אגב, אם אתם מתזמרים prompts, יומנים ואיטרציות על פני צוות, עוזר חלונית צדדית כמו Sider.AI יכול לעזור לכם לנסח, לבדוק ולחדד prompts לצד המסמכים והקוד שלכם, תוך שמירה על הקשר גלוי כשאתם חוזרים על כישורי הרובוטיקה והנהלים שלכם. סעיף א' - תכנון ועיגון (יסודות)
- תוכנית עבודה (מטרה ← אילוצים ← תוכנית ← בדיקות)
- Prompt
"אתה שולט במניפולטור נייד.
מטרה: {GOAL}.
סביבה: {DESCRIPTION}; אובייקטים ידועים: {OBJECT_LIST}.
אילוצים: {CONSTRAINTS}.
פלט: 1) הנחות לאימות, 2) תוכנית מסודרת עם שלבי תפיסה/פעולה, 3) בדיקות בטיחות לכל שלב, 4) התנהגויות שחזור, 5) תנאי סיום ומדדי הצלחה."
- השתמשו כאשר: ממירים מטרה ברמה גבוהה לתוכנית תפעולית עם אמצעי זהירות.
- תוכנית מבוססת תפיסה עם כימות אי-ודאות
- Prompt
"לפני הפעולה, בנו מודל תצפית. זהו תצפיות נדרשות, ספי ביטחון ומקרי קצה עבור {GOAL}. פלט JSON:
{ observations:. עבור תבניות prompt וסוכן רחבות יותר, ספרי הבישול של Gemini של Google ומדריכי סוכנים הם מקורות עזר מועילים.
דוגמה: Prompt מקצה לקצה למשימת מטבח
מטרה: הכינו סלט פשוט ואריזו אותו לדרך.
Prompt
"אתה שולט במניפולטור נייד בעל 7 דרגות חופש עם גריפר מקביל ומחליף כלים.
מטרה: הכינו ואריזו סלט עם חסה, עגבנייה, מלפפון ורוטב.
סביבה: אי מטבח עם כיור, קרש חיתוך, סכין שף, קערת סלט, מיכל ארוחת צהריים. אנשים עשויים להיות נוכחים.
אילוצים: אין להבים בטווח של 0.5 מ' מבני אדם. קצה הסכין תמיד מכוסה אלא אם כן חותכים. כוח גריפר ≤ 15 N. עובי פרוסה 3–4 מ"מ. משטחים מחוטאים.
פלט:
- הנחות לאימות (כלים, מרכיבים, תאורה),
- תכננו בשלבים (שטיפה ← הכנה ← חיתוך ← הרכבה ← אריזה),
- בדיקות בטיחות לכל שלב (ראייה/כוח),
- שחזור שגיאות (אחיזה מחדש, איתור מחדש, ניקוי מחדש),
- מדדי הצלחה (אישור חזותי של פרוסות אחידות; מיכל אטום; אזור נקי),
- סכימת יומן ותמונות לפני/אחרי."
מה תקבלו: הליך ארוך טווח מודע לבטיחות עם שערי תפיסה, כללי טיפול בכלים וקריטריוני הצלחה ברורים.
מחשבות אחרונות
הנחיות רובוטיקה נהדרות נקראות כמו רשימות ביקורת מתעופה: מטרות ברורות, שערים ניתנים למדידה ויציאות מילוט מתוכננות. השתמשו ב-25 תבניות אלה כאבני בניין, ולאחר מכן חדדו אותן עם יומנים מריצות אמיתיות. כאשר Gemini Robotics 1.5 ו-ER 1.5 ממשיכים להביא תכנון סוכנים לעולם הפיזי, ההנחיות שלכם הן ההבדל בין הדגמה טובה לפעולות יומיות אמינות.
שאלות נפוצות
ש1: למה משמש Gemini Robotics 1.5 / ER 1.5?
הם מודלים של חשיבה מגולמת המאפשרים לרובוטים לתפוס, לתכנן ולפעול על פני משימות מורכבות מרובות שלבים בעולם הפיזי - כמו איסוף פריטים, הכנת מזון או תפעול מתקנים. הם מדגישים עיגון, בטיחות ותכנון הסתגלותי.
ש2: איך כותבים prompts למשימות רובוטיות מרובות שלבים?
ציינו את המטרה, הסביבה והאילוצים. בקשו הנחות לאימות, בדיקות בטיחות, התנהגויות שחזור ומדדי הצלחה. תנו למודל לתכנן שלבים בזמן שאתם אוכפים מדיניות וספים.
ש3: האם prompts אלה יכולים להתמודד עם אי ודאות ושגיאות?
כן. כללו ספי ביטחון, חתימות שגיאה וענפי נסיגה. תכנון מכונות מצב עם נתיבים נומינליים, בעלי ביטחון נמוך ונתיבי כשל משפר את האמינות בהגדרות לא מובנות.
ש4: האם אני צריך לציין מסלולים מדויקים?
בדרך כלל לא. ספקו מטרות ברמה גבוהה, אילוצים ברורים (כוח, מרווח, מהירות) ושערי אימות. המודל יכול ליצור מסלולים התואמים לאילוצים אלה.
ש5: איפה אני יכול למצוא מסמכים ודוגמאות רשמיים?
ראו את דפי Gemini Robotics של Google DeepMind ואת סקירת המפתחים עבור ER 1.5, בתוספת ספר הבישול של Gemini ומדריכי סוכנים לתבניות prompt וסוכנים רחבות יותר.
