Khoan đã, đây là trò chơi điện tử hay quả cầu pha lê vậy?
Đã bao giờ bạn thấy một nhân vật không phải người chơi (NPC) cứ đi đi lại lại vào tường và nghĩ, "Ừ, đó chính là mình vào thứ Hai" chưa? Các công cụ video và game truyền thống rất tuyệt vời trong việc biến các pixel trông giống như thế giới—nhưng chúng phần lớn vẫn chỉ là những con rối bị giật dây. Mô hình thế giới của Odyssey muốn cắt những sợi dây đó. Nó không chỉ hiển thị những gì trên màn hình; nó cố gắng hiểu điều gì sẽ xảy ra tiếp theo. Hãy nghĩ nó giống như một bộ não trong hộp hơn là một sân khấu.
Nếu bạn đã xem những bản demo mà một AI nhìn vào một cảnh và dự đoán điều gì sẽ xảy ra—ví dụ như một quả bóng lăn sau ghế sofa rồi xuất hiện ở phía bên kia—thì Odyssey đang chơi trong sân chơi đó. Và nó đang làm điều đó theo một cách khiến Unreal và Unity có cảm giác... hơi cơ bản. Không phải là vô dụng. Chỉ là như máy tính bỏ túi so với bảng tính. Rất hữu ích—cho đến khi bạn cần mô hình đó suy nghĩ.
Vậy hãy cùng phân tích sự khác biệt giữa mô hình thế giới của Odyssey và các công cụ video và game truyền thống—mà không cần bằng Tiến sĩ, hướng dẫn sử dụng 500 trang hoặc bộ điều khiển cần sáu ngón tay để sử dụng.
Tóm tắt ngắn gọn: công cụ video hiển thị; Odyssey mô hình hóa thực tế
- Công cụ truyền thống: các hệ thống tất định (hoặc giả ngẫu nhiên), dựa trên quy tắc được thiết kế để vẽ khung hình, mô phỏng vật lý và phản hồi các đầu vào. Chúng là những cây cọ vẽ thời gian thực với các quy tắc.
- Mô hình thế giới của Odyssey: một công cụ dự đoán, được học hỏi. Nó không chỉ vẽ cảnh; nó ước tính trạng thái ẩn của thế giới và dự báo những tương lai có khả năng xảy ra. Nó không chỉ là "những gì bạn thấy"—mà là "điều gì có thể xảy ra tiếp theo".
Sự khác biệt chính: các công cụ mô phỏng những gì bạn bảo chúng mô phỏng; Odyssey suy luận thế giới là gì và có thể trở thành gì. Bước nhảy vọt đó—từ các tập lệnh đến hiểu trạng thái—là lý do tại sao điều này lại quan trọng.
Hãy nghĩ đến các đạo diễn: công cụ game vẽ storyboard; Odyssey ứng biến
- Trong Unity hoặc Unreal, bạn là đạo diễn, người đặt mọi dòng: ánh sáng, vật lý, đường đi AI, hitbox. Công cụ thực hiện kế hoạch của bạn một cách hoàn hảo (cho đến khi nó không làm vậy, xin chào các lỗi va chạm).
- Mô hình thế giới của Odyssey là diễn viên có thể ứng biến. Đưa cho nó một cảnh, và nó suy luận ý định, sự che khuất và các động lực học không được quan sát. Nó học các mẫu từ video, chứ không phải các hành vi được mã hóa cứng từ bạn. Ít giật dây hơn, nhiều ý thức chung có tính dự đoán hơn.
Ví dụ tương tự: Các công cụ truyền thống giống như Google Maps ở chế độ điều hướng—từng ngã rẽ, được viết sẵn một cách rõ ràng. Odyssey giống như người bạn đã lái xe trên tuyến đường đó hàng nghìn lần và bằng cách nào đó biết lối tắt khi đường cao tốc đóng cửa. Bạn không lập trình nó; nó suy luận nó.
Các đầu vào: tài sản và tập lệnh so với kinh nghiệm thô
- Các công cụ truyền thống tiếp nhận lưới, kết cấu, shader, hoạt ảnh và tập lệnh. Bạn tạo ra thế giới một cách thủ công.
- Odyssey tiếp nhận video, quỹ đạo và dữ liệu đa phương thức. Nó không chỉ bắt chước khung hình; nó xây dựng một biểu diễn tiềm ẩn—một bộ não toán học nén—nắm bắt cách thế giới có xu hướng hoạt động.
Hiệu ứng: các công cụ yêu cầu các nghệ sĩ và nhà thiết kế xây dựng từng viên gạch; Odyssey cố gắng tìm hiểu toàn bộ quy hoạch thành phố bằng cách xem cảnh quay tua nhanh thời gian. Nó nội hóa các động lực học như động lượng, sự che khuất và quan hệ nhân quả mà không cần bạn quản lý chi tiết mọi biến.
Vật lý: quy tắc được định sẵn so với động lực học được học
- Công cụ = vật lý rõ ràng. Trọng lực là 9,81 m/s² trừ khi bạn điều chỉnh nó. Va chạm là cứng nhắc trừ khi bạn làm mềm chúng.
- Odyssey = vật lý được học. Nó ước tính cách mọi thứ thường di chuyển, khi chúng trượt, nảy, biến dạng—hoặc chỉ biến mất sau ghế sofa trong ba khung hình.
Đáng chú ý, vật lý được học có thể khái quát hóa thành các trường hợp biên lộn xộn, trong thế giới thực. Vật lý game là hoàn hảo cho đến khi một con búp bê ragdoll hắt hơi và bay vào quỹ đạo. Odyssey tập trung vào tính hợp lý, không phải sự hoàn hảo.
Sự không chắc chắn: game tránh nó; Odyssey tận dụng nó
Công cụ game thích sự chắc chắn. Nếu ánh sáng ở đây, bóng ở đó. Nếu mã nói "đi bộ", nhân vật sẽ đi bộ. Odyssey nắm lấy xác suất. Nó theo dõi nhiều tương lai có thể xảy ra và gán khả năng xảy ra. Đó là lý do tại sao nó mạnh mẽ để dự báo—đường đi của robot, di chuyển của máy ảnh, giao thông. Nó không thu hẹp thực tế thành một tập lệnh; nó giữ cho "có thể" tồn tại.
Nếu bạn đang xây dựng trợ lý cho máy bay không người lái hoặc ô tô hoặc robot—hoặc thậm chí các công cụ chỉnh sửa video đoán lần cắt tiếp theo của bạn—điều đó rất quan trọng. Thế giới là một yêu tinh hỗn loạn. Odyssey mô hình hóa yêu tinh đó.
Kiểm soát: lệnh bắt buộc so với ý định cấp cao
- Công cụ truyền thống: bạn nhấn A, nhân vật nhảy; bạn gọi API, shader biên dịch. Bạn có quyền kiểm soát trực tiếp.
- Odyssey: bạn đặt một mục tiêu, chẳng hạn như "đến cửa", và nó dự đoán các chuỗi đạt được mục tiêu đó theo vật lý và bối cảnh. Ít cần joystick hơn, nhiều thông tin về nhiệm vụ hơn.
Đây là lý do tại sao mọi người hào hứng với các mô hình thế giới cho các tác nhân tự trị. Không phải là hoạt hình cho Mario; mà là nói với hệ thống "đừng đâm vào xe đẩy" và tin tưởng nó lên kế hoạch. Tôi biết điều đó thật táo bạo.
Biểu diễn: ưu tiên hình học so với ưu tiên tiềm ẩn
Các công cụ truyền thống xây dựng thế giới từ hình học và vật liệu. Odyssey xây dựng thế giới trong một không gian tiềm ẩn—một mớ hỗn độn các vectơ nén, nơi các đối tượng, chuyển động và ý định là "tính năng", không phải tam giác.
Lợi ích bất ngờ: không gian tiềm ẩn rất tốt để điền vào thông tin bị thiếu. Nếu một người đi xe đạp cúi xuống sau một chiếc xe tải, một công cụ không biết có gì sau xe tải trừ khi bạn tạo ra nó. Odyssey nói, "Có lẽ vẫn còn một người đi xe đạp", và lên kế hoạch cho phù hợp.
Ngoài ra: các mô hình giống như Odyssey có thể tổng hợp video thuyết phục mà không cần các tài sản rõ ràng. Đó là kết xuất bằng cách hiểu, không phải kết xuất bằng đa giác.
Độ trung thực so với tầm nhìn xa: công cụ chiến thắng về độ đẹp, Odyssey chiến thắng về dự đoán
- Công cụ tạo ra ánh sáng, phản xạ hoàn hảo, vũng nước 4K mà bạn sẽ không bao giờ nhận thấy.
- Odyssey tạo ra "điều gì sẽ xảy ra nếu..." Bạn có được tầm nhìn xa: phát hiện mối đe dọa, dự báo quỹ đạo, các khung hình tiếp theo hợp lý và các phản thực tế.
Nó không tốt hơn hay tệ hơn; nó khác. Nếu bạn đang tạo ra The Last of Us tiếp theo, hãy giữ Unreal. Nếu bạn đang tạo ra một con robot không được đá thùng rác vào giao thông, thì mô hình thế giới của Odyssey là người bạn thân mới của bạn.
Đào tạo so với tạo tác: tốn dữ liệu so với tốn công sức
- Công cụ tiêu tốn công sức: thiết kế cấp độ, gian lận, viết tập lệnh. Bạn vận chuyển nội dung.
- Odyssey tiêu thụ dữ liệu: video, nhật ký, nguồn cấp dữ liệu cảm biến. Bạn vận chuyển kinh nghiệm.
Đúng vậy, điều đó có nghĩa là GPU. Vô số GPU. Ngoài ra, quản trị dữ liệu, quyền riêng tư, giảm thiểu thiên vị—toàn bộ bữa tiệc buffet AI hiện đại. Nhưng nó đảo ngược phương trình: ít quy tắc hơn để duy trì, khái quát hóa nhiều hơn khi môi trường thay đổi.
Gỡ lỗi: một triệu thanh trượt so với một triệu mẫu
- Lỗi công cụ: điều chỉnh một collider, thêm một câu lệnh if, coi như xong.
- Lỗi mô hình thế giới: thu thập thêm dữ liệu, điều chỉnh các hàm mất mát, cắt tỉa các giá trị ngoại lệ, thêm các ràng buộc. Bạn đang chỉnh sửa bộ nhớ của nó, không phải mã của nó.
Mặt tốt? Khi nó học, nó khái quát hóa. Sửa một va chạm duy nhất trong một công cụ không làm cho mọi cánh cửa thông minh hơn. Đào tạo một mô hình thế giới trên các cánh cửa có thể làm được điều đó.
Nơi Odyssey tỏa sáng: thực tế lộn xộn, không theo kịch bản
- Robot học: lập kế hoạch đường đi xung quanh con người, vật nuôi và Roomba nổi loạn.
- Lái xe tự động: dự đoán những gì chiếc xe bán tải đó có thể làm khi đèn chuyển sang màu vàng (spoiler: bất cứ điều gì).
- AR/VR: giữ cho các đối tượng ảo ổn định và đáng tin cậy khi bạn quay cuồng quanh phòng khách như thể bạn vừa đánh rơi kính áp tròng.
- Công cụ video: vẽ lại các phần bị che khuất, dự đoán các khung hình tiếp theo, ổn định các cảnh quay, tổng hợp B-roll từ ngữ cảnh.
- Tác nhân: cho phép phần mềm quyết định "điều gì tiếp theo" từ một mục tiêu cấp cao, không phải macro 300 bước.
Các công cụ truyền thống vượt trội khi bạn kiểm soát mọi thứ: đèn studio, các sự kiện theo kịch bản, một khán giả sẽ không chạm vào bất cứ thứ gì. Odyssey tỏa sáng khi khán giả chế nhạo, đứng dậy và làm đổ soda lên sân khấu—và chương trình phải tiếp tục.
Bên dưới lớp vỏ: chuyến tham quan ngắn gọn dành cho dân mọt sách
- Trạng thái thế giới tiềm ẩn: một biểu diễn nén của các đối tượng, chuyển động và mối quan hệ.
- Mô hình động lực học: dự đoán trạng thái tiềm ẩn tiếp theo cho trạng thái hiện tại và các hành động.
- Mô hình quan sát: biến các trạng thái tiềm ẩn thành các khung hình hoặc số đọc cảm biến được dự đoán.
- Người lập kế hoạch/Chính sách: tìm kiếm các hành động có thể để đạt được một mục tiêu, có xem xét sự không chắc chắn.
Các công cụ truyền thống có ngăn xếp riêng—trình kết xuất, vật lý, tập lệnh AI—nhưng chúng không học các động lực học từ kinh nghiệm thô. Odyssey làm được điều đó.
Hiệu suất: thời gian thực khác biệt trong thế giới mô hình
Các công cụ được tối ưu hóa phần cứng cho raster hóa và vật lý. Mô hình thế giới dựa vào bộ tăng tốc cho suy luận thần kinh. Thời gian thực là có thể, nhưng bạn đánh đổi độ trung thực hình ảnh để lấy sức mạnh dự đoán. Điều đó có nghĩa là đôi khi nó trông ít bóng bẩy hơn nhưng hoạt động thông minh hơn trên đường phố. Hãy nghĩ: ít tia sáng của Chúa hơn, nhiều "đừng để bị xe buýt tông" hơn.
Hàng rào bảo vệ: tại sao ảo giác lại quan trọng hơn độ mờ chuyển động
Trong game, một trục trặc là một TikTok. Trong thế giới thực, một trục trặc là một vụ kiện. Vì vậy, các hệ thống kiểu Odyssey cần:
- Hiệu chỉnh với sự thật cơ bản (cảm biến, bản đồ)
- Ước tính sự không chắc chắn (độ tin cậy về tương lai)
- Các ràng buộc an toàn (các quy tắc "không được phép" cứng rắn)
- Kiểm tra vòng lặp có sự tham gia của con người cho các cuộc gọi có tính rủi ro cao
Các công cụ truyền thống sẽ không đột nhiên tưởng tượng ra một làn đường mới. Mô hình thế giới có thể. Hàng rào bảo vệ là một phần của công việc.
Tập phim crossover: chúng có thể làm việc cùng nhau không?
Chắc chắn rồi. Hãy hình dung đường ống này:
- Nguyên mẫu hành vi trong một mô hình thế giới bằng cách sử dụng video đã ghi.
- Xác thực và tinh chỉnh trong hộp cát công cụ game với các biến có thể kiểm soát.
- Vòng lặp lại—công cụ tiết lộ các trường hợp biên, mô hình đào tạo lại.
Công cụ cung cấp cho bạn khả năng kiểm soát và thử nghiệm. Mô hình thế giới cung cấp cho bạn khả năng khái quát hóa. Nó giống như bơ đậu phộng và thạch, trừ bàn phím dính.
Chi phí, độ phức tạp và "tại sao bây giờ"
- GPU nhanh hơn, kiến trúc mô hình thông minh hơn và có nhiều video hơn ảnh mèo (OK, gần như).
- Các nhà phát triển đang chạm trần của việc viết tập lệnh. Tạo mọi kịch bản bằng tay không mở rộng quy mô khi ứng dụng của bạn gặp thế giới thực.
- Người dùng muốn các trợ lý phản ứng. Không chỉ hiển thị. Đó là sự thay đổi.
Nó có rẻ không? Không. Nhưng xây dựng đường ống cutscene của riêng bạn vào năm 2012 cũng không rẻ. Sự khác biệt: các mô hình khấu hao việc học trên các trường hợp sử dụng. Khi nó biết "cửa hoạt động như thế nào", mọi cánh cửa đều được hưởng lợi.
Các kịch bản thực tế: những gì thực sự thay đổi cho bạn
- Bạn là nhà phát triển robot học: Thay vì mã hóa các câu lệnh if-then cho cầu thang so với đường dốc, bạn đào tạo trên nhiều video cầu thang và đường dốc. Odyssey dự đoán khả năng di chuyển và lên kế hoạch cho phù hợp.
- Bạn đang xây dựng AR: Thay vì điều chỉnh các trình theo dõi tính năng cho mọi kết cấu phòng khách, mô hình theo dõi các đối tượng thông qua các phần bị che khuất và đoán sự xuất hiện trở lại. Đèn ảo vẫn ở đúng vị trí.
- Bạn là nhà sản xuất công cụ video: Bạn cung cấp các đề xuất "dự đoán cảnh quay tiếp theo", không chỉ chuyển tiếp. Mô hình biết đây là video nấu ăn và có lẽ cần một cận cảnh của hành tây tiếp theo.
- Bạn đang ở trong sim: Sử dụng một công cụ game để kiểm tra các mối nguy hiểm hiếm gặp; sử dụng Odyssey để tìm hiểu cách con người thực sự phản ứng. Cùng nhau, bạn có được sự an toàn + tính hiện thực.
So sánh nhanh: Odyssey so với các công cụ truyền thống
- Mục tiêu: tầm nhìn xa so với độ trung thực.
- Đầu vào: kinh nghiệm so với tài sản.
- Kiểm soát: ý định so với lệnh bắt buộc.
- Vật lý: được học so với được mã hóa.
- Chế độ lỗi: ảo giác so với cắt xén.
- Sức mạnh: khái quát hóa so với độ chính xác của tác giả.
Nếu bạn đang thực hiện hình ảnh chất lượng phim, công cụ là người bạn đồng hành của bạn. Nếu bạn cần "điều gì sẽ xảy ra tiếp theo", mô hình thế giới của Odyssey là người lớn tại bữa tiệc.
Kiểm tra thực tế về công cụ: những gì bạn thực sự cần
- Đường ống dữ liệu để tiếp nhận và dán nhãn video/cảm biến (hoặc giám sát yếu).
- Cơ sở hạ tầng đào tạo—GPU đám mây hoặc cụm tại chỗ, cộng với điểm kiểm tra và khai thác đánh giá.
- Một lớp phục vụ có thể thực hiện suy luận nhanh, lý tưởng nhất là với việc tạo lô và lượng tử hóa.
- Khả năng quan sát: theo dõi độ lệch, các trường hợp lỗi và các đột biến không chắc chắn.
- Một kế hoạch dự phòng: các mặc định an toàn khi độ tin cậy giảm.
Điều này có hào nhoáng không? Không hẳn. Nhưng đó là cái giá của việc dạy ứng dụng của bạn suy nghĩ thay vì ghi nhớ.
Lưu ý: nơi Sider.AI phù hợp với bức tranh này
Đáng chú ý: nếu bạn đang đau đầu khi cố gắng so sánh các phương pháp tiếp cận, Sider.AI có thể giúp bạn phân loại câu hỏi "tôi nên xây dựng cái gì". Cung cấp cho nó trường hợp sử dụng của bạn—định tuyến robot, ổn định AR, dự báo—và nó sẽ tóm tắt các đánh đổi, đưa ra nghiên cứu có liên quan và thậm chí phác thảo một kế hoạch kỹ thuật nhanh hơn bạn có thể nói "tại sao tổn thất của tôi không giảm". Nó không ở đây để bán cho bạn những phản xạ vũng nước. Nó ở đây để giúp bạn không phải phát minh lại một nửa phòng thí nghiệm nghiên cứu. Những quan niệm sai lầm sẽ không chết
- "Mô hình thế giới thay thế công cụ." Không hẳn. Chúng bổ sung cho chúng. Công cụ tỏa sáng ở hình ảnh có kiểm soát; mô hình tỏa sáng ở thực tế lộn xộn.
- "Bạn không thể tin tưởng vật lý được học." Bạn có thể—nếu bạn hiệu chỉnh và ràng buộc. Các kỹ sư đã làm điều này trong các hệ thống điều khiển trong nhiều thập kỷ.
- "Đó chỉ là dự đoán video." Đó là dự đoán video có mục đích: lập kế hoạch, ra quyết định, sự không chắc chắn. Đó là bước kỳ diệu từ đẹp đến hữu ích.
Cách quyết định: một sơ đồ mini kiểu Stern
- Cần hình ảnh điện ảnh, tất định? Sử dụng một công cụ game.
- Cần dự báo xác suất trong thế giới thực? Sử dụng một mô hình thế giới.
- Cần cả hai? Bắt đầu với một mô hình cho hành vi và một công cụ để thử nghiệm. Hãy để chúng bắt tay.
- Không có dữ liệu? Bắt đầu thu thập. Con người tương lai của bạn sẽ mua cà phê cho bạn.
Dự báo tương lai (một cách phù hợp): mọi thứ đều kết hợp
Mong đợi các công cụ hấp thụ nhiều thành phần được học hơn—mô hình hành vi NPC, vật lý được học, thậm chí cả chuyển động của máy ảnh. Mong đợi các mô hình thế giới trở nên dễ kiểm soát và thân thiện với công cụ hơn—hãy nghĩ đến lập kế hoạch có thể nhắc, các cảnh tiềm ẩn có thể chỉnh sửa và các đảm bảo về an toàn.
Sắp tới, bạn có thể "tạo" một cảnh bằng cách mô tả ý định: "Buổi chiều mưa, người đi bộ mất tập trung, robot giao hàng cần định tuyến lại." Hệ thống kết xuất hình ảnh và động lực học. Bạn chỉnh sửa cả hai như các lớp trong một dòng thời gian. Đó là làn đường hợp nhất mà chúng ta đang đi vào.
Tóm tắt: Ai đang lái—Bạn, kịch bản hay mô hình?
Các công cụ truyền thống là những đạo diễn tuyệt vời của một vở kịch rất đáng tin cậy. Mô hình thế giới của Odyssey là đoàn kịch ứng tác cũng đã vượt qua kỳ thi giữa kỳ về vật lý. Nếu bạn cần kiểm soát, hãy đi theo kịch bản. Nếu bạn cần khả năng thích ứng, hãy đi theo mô hình. Nếu bạn cần cả hai—hãy tham gia cùng những người còn lại trong chúng ta, tung hứng GPU như khoai tây nóng.
Đây là điều bạn cần ghi nhớ: Công cụ cho bạn thấy thế giới bạn đã xây dựng. Odyssey cố gắng cho bạn thấy thế giới bạn sẽ gặp. Hãy chọn cho phù hợp—và có lẽ hãy giữ một cây lau nhà để lau soda trên sân khấu.
Câu hỏi thường gặp
Q1: Mô hình thế giới của Odyssey có phải là sự thay thế cho Unity hoặc Unreal không?
Không. Hãy nghĩ đến sự bổ sung, không phải sự thay thế. Sử dụng các công cụ game cho hình ảnh có độ trung thực cao và khả năng kiểm soát chính xác, và sử dụng mô hình thế giới của Odyssey khi bạn cần dự đoán, xử lý sự không chắc chắn và khái quát hóa thế giới thực.
Q2: Tại sao mô hình thế giới lại quan trọng đối với robot học và AR?
Bởi vì thế giới không tuân theo kịch bản của bạn. Một mô hình thế giới dự đoán các kết quả có khả năng xảy ra, theo dõi các đối tượng thông qua các phần bị che khuất và lập kế hoạch xung quanh con người và sự hỗn loạn—những điều mà các công cụ truyền thống không học được từ kinh nghiệm thô.
Q3: Điều gì đáng chú ý với vật lý và dự đoán được học?
Chúng có thể tạo ảo giác hoặc quá tự tin. Cách khắc phục: hiệu chỉnh với sự thật cơ bản, theo dõi sự không chắc chắn, thêm các ràng buộc an toàn và giữ con người trong vòng lặp cho các quyết định có tính rủi ro cao.
Q4: Tôi có thể chạy mô hình thế giới trong thời gian thực không?
Có, với phần cứng và tối ưu hóa mô hình phù hợp—lượng tử hóa, chưng cất, tạo lô. Mong đợi một sự đánh đổi: ít hình ảnh bắt mắt điện ảnh hơn, nhiều tầm nhìn xa thông minh hơn trên đường phố.
Q5: Làm cách nào để bắt đầu di chuyển từ tập lệnh sang mô hình thế giới?
Thu thập dữ liệu liên quan đến nhiệm vụ, xác định mục tiêu, đào tạo một mô hình động lực học và tích hợp một người lập kế hoạch. Xác thực trong hộp cát công cụ game, sau đó lặp lại. Phần thưởng: các công cụ như Sider.AI có thể giúp lập bản đồ ngăn xếp và tránh các ngõ cụt.