Создавайте многоэтапные роботизированные задачи с уверенностью
Если вы можете четко описать задачу, ваш робот, скорее всего, сможет ее выполнить. Это обещание Gemini Robotics 1.5 и ER 1.5 — моделей, созданных для обоснованного, воплощенного рассуждения, которые преобразуют намерения высокого уровня в надежные, многоэтапные планы действий в физическом мире. Ниже представлены 25 проверенных шаблонов подсказок, сгруппированных по намерениям, которые помогут вам создать надежные многоэтапные рабочие процессы для реальной робототехники.
Примечание о стиле: Практичный и ориентированный на решения. Каждый шаблон включает в себя структуру, рекомендуемые защитные ограждения и необязательные переменные. Замените заполнители, такие как {OBJECT}, {LOCATION}, {POLICY} и {CONSTRAINTS}, своим контекстом.
Как использовать эти шаблоны
- Начните с цели высокого уровня, затем перечислите шаги с проверками датчиков и поведением восстановления.
- Включите ограничения: безопасность, скорость/точность, предположения об окружающей среде и стратегии отката.
- Предоставьте каналы обратной связи о состоянии (например, критерии успеха визуализации, пороговые значения силы/крутящего момента).
- Предпочитайте декларативные цели жесткому пошаговому микроуправлению; позвольте модели планировать и адаптироваться.
Кстати, если вы организуете подсказки, журналы и итерации в команде, боковая панель помощника, такая как Sider.AI, может помочь вам разрабатывать, тестировать и совершенствовать подсказки вместе с вашими документами и кодом, сохраняя контекст видимым по мере итерации ваших роботизированных навыков и процедур. Раздел A — Планирование и обоснование (основы)
- План задачи (Цель → Ограничения → План → Проверки)
- Подсказка
"Вы управляете мобильным манипулятором.
Цель: {GOAL}.
Окружение: {DESCRIPTION}; известные объекты: {OBJECT_LIST}.
Ограничения: {CONSTRAINTS}.
Вывод: 1) Предположения для проверки, 2) Упорядоченный план с шагами восприятия/действия, 3) Проверки безопасности на каждом шагу, 4) Поведение восстановления, 5) Условия прекращения и показатели успеха."
- Использовать когда: Преобразование цели высокого уровня в оперативный план с защитными ограждениями.
- План, ориентированный на восприятие, с количественной оценкой неопределенности
- Подсказка
"Перед тем, как действовать, постройте модель наблюдения. Определите необходимые наблюдения, пороговые значения достоверности и крайние случаи для {GOAL}. Выведите JSON:
{ observations:. Для получения более широких подсказок и шаблонов агентов полезны справочники и руководства по агентам Google Gemini.
Пример: Комплексная подсказка для кухонной задачи
Цель: Приготовить простой салат и упаковать его с собой.
Подсказка
"Вы управляете 7-DOF мобильным манипулятором с параллельным захватом и устройством смены инструментов.
Цель: Приготовить и упаковать салат с салатом-латуком, помидором, огурцом и заправкой.
Окружение: Кухонный остров с раковиной, разделочной доской, кухонным ножом, миской для салата, контейнером для обеда. Могут присутствовать люди.
Ограничения: Нет лезвий в пределах 0,5 м от людей. Лезвие ножа всегда в ножнах, если не режет. Усилие захвата ≤ 15 Н. Толщина ломтика 3–4 мм. Поверхности продезинфицированы.
Вывод:
- Предположения для проверки (инструменты, ингредиенты, освещение),
- План по фазам (мытье → подготовка → нарезка → сборка → упаковка),
- Проверки безопасности на каждом шагу (зрение/сила),
- Восстановление после ошибок (повторный захват, повторное перемещение, повторная очистка),
- Показатели успеха (визуальное подтверждение ровных ломтиков; контейнер запечатан; область чистая),
- Схема журнала и фотографии до/после."
Что вы получите: Долгосрочную процедуру, учитывающую безопасность, с воротами восприятия, правилами обращения с инструментами и четкими критериями успеха.
Заключительные мысли
Отличные подсказки для робототехники читаются как контрольные списки из авиации: четкие цели, измеримые ворота и запланированные выходы. Используйте эти 25 шаблонов в качестве строительных блоков, а затем уточните их с помощью журналов из реальных запусков. Поскольку Gemini Robotics 1.5 и ER 1.5 продолжают внедрять агентское планирование в физический мир, ваши подсказки — это разница между хорошей демонстрацией и надежными повседневными операциями.
Часто задаваемые вопросы
Q1:Для чего используется Gemini Robotics 1.5 / ER 1.5?
Это модели воплощенного рассуждения, которые позволяют роботам воспринимать, планировать и действовать в сложных, многоэтапных задачах в физическом мире, таких как выбор предметов, приготовление пищи или эксплуатация объектов. Они подчеркивают обоснование, безопасность и адаптивное планирование.
Q2:Как писать подсказки для многоэтапных роботизированных задач?
Укажите цель, среду и ограничения. Запросите предположения для проверки, проверки безопасности, поведение восстановления и показатели успеха. Позвольте модели планировать шаги, а вы обеспечивайте соблюдение политик и пороговых значений.
Q3:Могут ли эти подсказки справиться с неопределенностью и ошибками?
Да. Включите пороговые значения достоверности, сигнатуры ошибок и резервные ветви. Разработка конечных автоматов с номинальными путями, путями с низкой достоверностью и путями сбоя повышает надежность в неструктурированных условиях.
Q4:Нужно ли мне указывать точные траектории?
Обычно нет. Предоставьте цели высокого уровня, четкие ограничения (сила, зазор, скорость) и ворота проверки. Модель может генерировать траектории, соответствующие этим ограничениям.
Q5:Где я могу найти официальные документы и примеры?
См. страницы Google DeepMind Gemini Robotics и обзор разработчика для ER 1.5, а также справочник Gemini и руководства по агентам для более широких подсказок и шаблонов агентов.
