What is Gemini Robotics 1.5 / ER 1.5 used for?

They are embodied reasoning models that let robots perceive, plan, and act across complex, multi‑step tasks in the physical world—like picking items, preparing food, or facility operations. They emphasize grounding, safety, and adaptive planning.

How do I write prompts for multi‑step robotic tasks?

State the goal, environment, and constraints. Ask for assumptions to verify, safety checks, recovery behaviors, and success metrics. Let the model plan steps while you enforce policies and thresholds.

Can these prompts handle uncertainty and errors?

Yes. Include confidence thresholds, error signatures, and fallback branches. Designing state machines with nominal, low‑confidence, and failure paths improves reliability in unstructured settings.

Do I need to specify exact trajectories?

Usually no. Provide high‑level objectives, clear constraints (force, clearance, speed), and verification gates. The model can generate trajectories consistent with those constraints.

Where can I find official docs and examples?

See Google DeepMind’s Gemini Robotics pages and the developer overview for ER 1.5, plus the Gemini cookbook and agent guides for broader prompting and agent patterns.

สร้างงานหุ่นยนต์แบบหลายขั้นตอนได้อย่างมั่นใจ

หากคุณสามารถอธิบายงานได้อย่างชัดเจน หุ่นยนต์ของคุณก็น่าจะทำได้ นั่นคือคำมั่นสัญญาของ Gemini Robotics 1.5 และ ER 1.5 ซึ่งเป็นโมเดลที่สร้างขึ้นสำหรับการให้เหตุผลตามหลักการและเป็นรูปธรรม ซึ่งเปลี่ยนความตั้งใจระดับสูงให้เป็นแผนปฏิบัติการแบบหลายขั้นตอนที่เชื่อถือได้ในโลกแห่งความเป็นจริง ด้านล่างนี้คือเทมเพลตพร้อมท์ที่ได้รับการพิสูจน์แล้ว 25 แบบ ซึ่งจัดเรียงตามความตั้งใจ เพื่อช่วยให้คุณสร้างเวิร์กโฟลว์แบบหลายขั้นตอนที่แข็งแกร่งสำหรับหุ่นยนต์ในโลกแห่งความเป็นจริง

หมายเหตุเกี่ยวกับสไตล์: เน้นการปฏิบัติและแก้ปัญหา เทมเพลตแต่ละแบบประกอบด้วยโครงสร้าง แนวทางป้องกันที่แนะนำ และตัวแปรเสริม แทนที่ตัวยึดตำแหน่ง เช่น {OBJECT}, {LOCATION}, {POLICY} และ {CONSTRAINTS} ด้วยบริบทของคุณ

วิธีใช้เทมเพลตเหล่านี้

เริ่มต้นด้วยเป้าหมายระดับสูง จากนั้นแจกแจงขั้นตอนด้วยการตรวจสอบเซ็นเซอร์และพฤติกรรมการกู้คืน

ใส่ข้อจำกัด: ความปลอดภัย ความเร็ว/ความแม่นยำ ข้อสันนิษฐานด้านสิ่งแวดล้อม และกลยุทธ์สำรอง

ให้ช่องทางป้อนกลับสถานะ (เช่น เกณฑ์ความสำเร็จด้านวิชันซิสเต็ม, เกณฑ์แรง/แรงบิด)

ชอบเป้าหมายเชิงประกาศมากกว่าการจัดการรายละเอียดทีละขั้นตอนที่เปราะบาง ให้โมเดลวางแผนและปรับตัว

อนึ่ง หากคุณจัดการพร้อมท์ บันทึก และการทำซ้ำในทีม ผู้ช่วยแผงด้านข้างอย่าง Sider.AI สามารถช่วยคุณร่าง ทดสอบ และปรับปรุงพร้อมท์ควบคู่ไปกับเอกสารและโค้ดของคุณ ทำให้บริบทมองเห็นได้ชัดเจนในขณะที่คุณทำซ้ำทักษะและขั้นตอนการทำงานของหุ่นยนต์

ส่วน A — การวางแผนและการลงหลักปักฐาน (รากฐาน)

พิมพ์เขียวของงาน (เป้าหมาย → ข้อจำกัด → แผน → การตรวจสอบ)

Prompt "คุณกำลังควบคุมเครื่องมือจัดการแบบเคลื่อนที่ เป้าหมาย: {GOAL}. สภาพแวดล้อม: {DESCRIPTION}; วัตถุที่รู้จัก: {OBJECT_LIST}. ข้อจำกัด: {CONSTRAINTS}. ผลลัพธ์: 1) ข้อสันนิษฐานที่จะตรวจสอบ, 2) แผนตามลำดับพร้อมขั้นตอนการรับรู้/การกระทำ, 3) การตรวจสอบความปลอดภัยต่อขั้นตอน, 4) พฤติกรรมการกู้คืน, 5) เงื่อนไขการสิ้นสุดและเมตริกความสำเร็จ."

ใช้เมื่อ: แปลงเป้าหมายระดับสูงให้เป็นแผนปฏิบัติการพร้อมแนวทางป้องกัน

แผนแรกของการรับรู้พร้อมการวัดปริมาณความไม่แน่นอน

<a0>Prompt "ก่อนดำเนินการ ให้สร้างแบบจำลองการสังเกต ระบุการสังเกตที่จำเป็น เกณฑ์ความเชื่อมั่น และกรณีพิเศษสำหรับ {GOAL} เอาต์พุต JSON: { observations:. สำหรับรูปแบบพร้อมท์และเอเจนต์ที่กว้างขึ้น คู่มือทำอาหารของ Google Gemini และคู่มือเอเจนต์เป็นข้อมูลอ้างอิงที่เป็นประโยชน์

ตัวอย่าง: พร้อมท์แบบ End‑to‑End สำหรับงานในครัว

เป้าหมาย: เตรียมสลัดง่ายๆ และบรรจุเพื่อนำไป

Prompt "คุณกำลังควบคุมเครื่องมือจัดการแบบเคลื่อนที่ 7‑DOF พร้อมกริปเปอร์แบบขนานและตัวเปลี่ยนเครื่องมือ เป้าหมาย: เตรียมและบรรจุสลัดด้วยผักกาดแก้ว มะเขือเทศ แตงกวา และน้ำสลัด สภาพแวดล้อม: เกาะกลางห้องครัวพร้อมอ่างล้างจาน เขียง มีดทำครัว ชามสลัด กล่องอาหารกลางวัน อาจมีมนุษย์อยู่ ข้อจำกัด: ไม่มีใบมีดในระยะ 0.5 เมตรจากมนุษย์ คมมีดจะต้องอยู่ในปลอกเสมอเว้นแต่จะตัด แรงกริปเปอร์ ≤ 15 N ความหนาของชิ้น 3–4 มม. พื้นผิวฆ่าเชื้อแล้ว เอาต์พุต:

ข้อสันนิษฐานที่จะตรวจสอบ (เครื่องมือ ส่วนผสม แสง)

วางแผนเป็นระยะ (ล้าง → เตรียม → หั่น → ประกอบ → บรรจุ)

การตรวจสอบความปลอดภัยต่อขั้นตอน (วิชันซิสเต็ม/แรง)

การกู้คืนข้อผิดพลาด (จับใหม่ จัดตำแหน่งใหม่ ทำความสะอาดใหม่)

เมตริกความสำเร็จ (การยืนยันด้วยภาพของชิ้นที่เท่ากัน คอนเทนเนอร์ปิดสนิท พื้นที่สะอาด)

สคีมาบันทึกและรูปภาพก่อน/หลัง"

สิ่งที่คุณจะได้รับ: ขั้นตอนที่ใส่ใจในความปลอดภัยในระยะยาว พร้อมเกตการรับรู้ กฎการจัดการเครื่องมือ และเกณฑ์ความสำเร็จที่ชัดเจน

ข้อคิดส่งท้าย

พร้อมท์หุ่นยนต์ที่ยอดเยี่ยมอ่านเหมือนรายการตรวจสอบจากการบิน: เป้าหมายที่ชัดเจน เกตที่วัดได้ และทางหนีที่วางแผนไว้ ใช้เทมเพลต 25 แบบนี้เป็นส่วนประกอบ จากนั้นปรับแต่งด้วยบันทึกจากการรันจริง ในขณะที่ Gemini Robotics 1.5 และ ER 1.5 ยังคงนำการวางแผนเชิงเอเจนต์มาสู่โลกทางกายภาพ พร้อมท์ของคุณคือความแตกต่างระหว่างการสาธิตที่ดีและการดำเนินงานประจำวันที่เชื่อถือได้

คำถามที่พบบ่อย

Q1:Gemini Robotics 1.5 / ER 1.5 ใช้สำหรับอะไร เป็นแบบจำลองการให้เหตุผลที่เป็นรูปธรรมที่ช่วยให้หุ่นยนต์รับรู้ วางแผน และดำเนินการในงานที่ซับซ้อนแบบหลายขั้นตอนในโลกทางกายภาพ เช่น การหยิบสิ่งของ การเตรียมอาหาร หรือการปฏิบัติงานในโรงงาน โดยเน้นที่การลงหลักปักฐาน ความปลอดภัย และการวางแผนที่ปรับเปลี่ยนได้

Q2:ฉันจะเขียนพร้อมท์สำหรับงานหุ่นยนต์แบบหลายขั้นตอนได้อย่างไร ระบุเป้าหมาย สภาพแวดล้อม และข้อจำกัด ขอข้อสันนิษฐานที่จะตรวจสอบ การตรวจสอบความปลอดภัย พฤติกรรมการกู้คืน และเมตริกความสำเร็จ ให้โมเดลวางแผนขั้นตอนในขณะที่คุณบังคับใช้นโยบายและเกณฑ์

Q3:พร้อมท์เหล่านี้สามารถจัดการกับความไม่แน่นอนและข้อผิดพลาดได้หรือไม่ ได้ ใส่เกณฑ์ความเชื่อมั่น ลายเซ็นข้อผิดพลาด และสาขาสำรอง การออกแบบเครื่องสถานะที่มีเส้นทางปกติ ความเชื่อมั่นต่ำ และความล้มเหลว ช่วยเพิ่มความน่าเชื่อถือในการตั้งค่าที่ไม่มีโครงสร้าง

Q4:ฉันจำเป็นต้องระบุวิถีที่แน่นอนหรือไม่ โดยปกติไม่ ให้วัตถุประสงค์ระดับสูง ข้อจำกัดที่ชัดเจน (แรง ระยะห่าง ความเร็ว) และเกตการตรวจสอบ โมเดลสามารถสร้างวิถีที่สอดคล้องกับข้อจำกัดเหล่านั้นได้

Q5:ฉันจะหาเอกสารและตัวอย่างที่เป็นทางการได้จากที่ไหน ดูหน้า Gemini Robotics ของ Google DeepMind และภาพรวมสำหรับนักพัฒนาซอฟต์แวร์สำหรับ ER 1.5 รวมถึงคู่มือทำอาหารของ Gemini และคู่มือเอเจนต์สำหรับพร้อมท์และรูปแบบเอเจนต์ที่กว้างขึ้น