Створюйте багатоетапні роботизовані завдання з впевненістю
Якщо ви можете чітко описати завдання, ваш робот, ймовірно, зможе його виконати. Це обіцянка Gemini Robotics 1.5 та ER 1.5 — моделей, створених для обґрунтованого, втіленого мислення, які перетворюють високорівневі наміри на надійні, багатоетапні плани дій у фізичному світі. Нижче наведено 25 перевірених шаблонів промптів, організованих за намірами, які допоможуть вам створювати надійні, багатоетапні робочі процеси для реальної робототехніки.
Примітка щодо стилю: Практичний та орієнтований на рішення. Кожен шаблон містить структуру, рекомендовані запобіжні заходи та необов'язкові змінні. Замініть заповнювачі, такі як {OBJECT}, {LOCATION}, {POLICY} та {CONSTRAINTS}, вашим контекстом.
Як використовувати ці шаблони
- Почніть з високорівневої мети, а потім перерахуйте кроки з перевірками датчиків і поведінкою відновлення.
- Включіть обмеження: безпека, швидкість/точність, припущення щодо середовища та стратегії відкату.
- Надайте канали зворотного зв'язку про стан (наприклад, критерії успіху візуалізації, порогові значення сили/крутного моменту).
- Надавайте перевагу декларативним цілям над крихким поетапним мікроменеджментом; дозвольте моделі планувати та адаптуватися.
До речі, якщо ви координуєте промпти, журнали та ітерації в команді, помічник на бічній панелі, як Sider.AI, може допомогти вам розробляти, тестувати та вдосконалювати промпти разом із вашою документацією та кодом, зберігаючи контекст видимим, коли ви ітеруєте свої роботизовані навички та процедури. Розділ A — Планування та обґрунтування (Основи)
- План завдання (Мета → Обмеження → План → Перевірки)
- Промпт
"Ви керуєте мобільним маніпулятором.
Мета: {GOAL}.
Середовище: {DESCRIPTION}; відомі об'єкти: {OBJECT_LIST}.
Обмеження: {CONSTRAINTS}.
Вихідні дані: 1) Припущення для перевірки, 2) Упорядкований план із кроками сприйняття/дії, 3) Перевірки безпеки для кожного кроку, 4) Поведінка відновлення, 5) Умови завершення та показники успіху."
- Використовуйте, коли: Перетворення високорівневої мети в оперативний план із запобіжними заходами.
- План з пріоритетом сприйняття з кількісною оцінкою невизначеності
- Промпт
"Перш ніж діяти, створіть модель спостереження. Визначте необхідні спостереження, порогові значення довіри та крайні випадки для {GOAL}. Вихідні дані JSON:
{observations:. Для ширших шаблонів промптів та агентів корисними є посібник з кулінарії Gemini від Google та посібники для агентів.
Приклад: Наскрізний промпт для кухонного завдання
Мета: Приготувати простий салат і запакувати його з собою.
Промпт
"Ви керуєте 7-DOF мобільним маніпулятором з паралельним захватом та пристроєм для зміни інструментів.
Мета: Приготувати та запакувати салат з листям салату, помідорами, огірком та заправкою.
Середовище: Кухонний острів з мийкою, обробною дошкою, кухарським ножем, салатницею, контейнером для обіду. Можуть бути присутні люди.
Обмеження: Відсутність лез у межах 0,5 м від людей. Лезо ножа завжди в піхвах, якщо не ріже. Сила захвату ≤ 15 Н. Товщина скибочки 3–4 мм. Поверхні продезінфіковані.
Вихідні дані:
- Припущення для перевірки (інструменти, інгредієнти, освітлення),
- План по фазах (миття → підготовка → нарізка → збирання → пакування),
- Перевірки безпеки на кожному кроці (візуалізація/сила),
- Відновлення після помилок (перехоплення, переміщення, повторне очищення),
- Показники успіху (візуальне підтвердження рівних скибочок; контейнер запечатаний; територія чиста),
- Схема журналу та фотографії до/після."
Що ви отримаєте: Довгострокову процедуру з урахуванням безпеки, з воротами сприйняття, правилами поводження з інструментами та чіткими критеріями успіху.
На закінчення
Чудові підказки для робототехніки читаються як контрольні списки з авіації: чіткі цілі, вимірювані ворота та заплановані шляхи евакуації. Використовуйте ці 25 шаблонів як будівельні блоки, а потім вдосконалюйте їх за допомогою журналів з реальних запусків. Оскільки Gemini Robotics 1.5 та ER 1.5 продовжують впроваджувати агентське планування у фізичний світ, ваші підказки є різницею між гарною демонстрацією та надійною щоденною роботою.
FAQ
Q1:Для чого використовується Gemini Robotics 1.5 / ER 1.5?
Це моделі втіленого мислення, які дозволяють роботам сприймати, планувати та діяти в складних, багатоетапних завданнях у фізичному світі — наприклад, вибирати предмети, готувати їжу або виконувати операції на об'єкті. Вони наголошують на обґрунтованості, безпеці та адаптивному плануванні.
Q2:Як писати підказки для багатоетапних роботизованих завдань?
Вкажіть мету, середовище та обмеження. Запитайте про припущення для перевірки, перевірки безпеки, поведінку відновлення та показники успіху. Дозвольте моделі планувати кроки, а ви забезпечуйте дотримання політик та порогових значень.
Q3:Чи можуть ці підказки впоратися з невизначеністю та помилками?
Так. Включіть порогові значення довіри, сигнатури помилок та резервні гілки. Розробка кінцевих автоматів з номінальними шляхами, шляхами з низькою довірою та шляхами відмови підвищує надійність у неструктурованих умовах.
Q4:Чи потрібно мені вказувати точні траєкторії?
Зазвичай ні. Надайте високорівневі цілі, чіткі обмеження (сила, зазор, швидкість) та ворота перевірки. Модель може генерувати траєкторії, які відповідають цим обмеженням.
Q5:Де я можу знайти офіційні документи та приклади?
Дивіться сторінки Gemini Robotics від Google DeepMind та огляд для розробників для ER 1.5, а також посібник з кулінарії Gemini та посібники для агентів для ширших підказок та шаблонів агентів.
