NVIDIA Cosmos-H-Dreams: Mô phỏng Phẫu Thuật Thời Gian Thực

NVIDIA đã chính thức công bố Cosmos-H-Dreams, một nền tảng mô phỏng thế giới phẫu thuật hoạt động theo thời gian thực, đánh dấu bước chuyển mình quan trọng trong lĩnh vực robot y khoa hiện đại. Công nghệ này cho phép các nhà nghiên cứu và bác sĩ tương tác trực tiếp với môi trường phẫu thuật ảo, nơi các hành động của robot được dự đoán và hiển thị ngay lập tức dựa trên dữ liệu video và động học robot.

Thay vì phải phụ thuộc vào các nền tảng robot vật lý tốn kém và rủi ro, Cosmos-H-Dreams cung cấp một giải pháp an toàn hơn để đào tạo chính sách điều khiển và tạo ra dữ liệu tổng hợp phục vụ cho hệ sinh thái Open-H-Embodiment. Đây là sự kế thừa từ Cosmos-H-Surgical-Simulator nhưng được tối ưu hóa để chạy ở chế độ tương tác khép kín hoàn toàn mới.

Bối cảnh và thách thức của robot phẫu thuật hiện đại

Hệ thống robot phẫu thuật đang chuyển dịch nhanh chóng từ điều khiển từ xa sang các chính sách vision-language-action ngày càng có khả năng tự chủ cao hơn. Tuy nhiên, việc đánh giá và huấn luyện những hệ thống phức tạp này vẫn gặp nhiều khó khăn lớn đối với cộng đồng khoa học kỹ thuật toàn cầu.

Các nền tảng robot vật lý rất đắt đỏ để vận hành, các thí nghiệm chậm trễ trong việc tái hiện và thất bại có thể gây hư hỏng dụng cụ hoặc mô sinh học quý giá. Các mô phỏng truyền thống cung cấp một lựa chọn an toàn hơn, nhưng cảnh phẫu thuật cực kỳ khó mô hình hóa do tính chất đặc thù.

Mô biến dạng, tương tác dụng cụ tinh vi, bề mặt phản quang, chỉ khâu, kim, khói và che khuất đều đóng vai trò quan trọng trong quá trình phẫu thuật thực tế. Những yếu tố này đòi hỏi độ chính xác cực cao mà các công cụ cũ thường không đáp ứng được đầy đủ.

Giới thiệu Cosmos-H-Dreams và sự khác biệt cốt lõi

Mô hình thế giới nền tảng cung cấp một con đường khác cho vấn đề này. Thay vì thủ công soạn thảo mọi đối tượng và tương tác vật lý, chúng học động lực học hình ảnh trực tiếp từ video đồng bộ và động học robot. NVIDIA Cosmos-H-Surgical-Simulator đã chứng minh phương pháp này bằng cách tạo ra video phẫu thuật trong tương lai.

Nó cho phép đánh giá nhanh hơn vật lý và tạo dữ liệu tổng hợp. Hôm nay, chúng tôi giới thiệu bước tiếp theo: Cosmos-H-Dreams, một bộ giả lập tạo sinh điều kiện hành động thời gian thực cho robot phẫu thuật chuyên sâu hơn trước đây.

Cosmos-H-Dreams đưa mô hình vào chế độ thời gian thực. Bắt đầu từ các tiên đề phẫu thuật đa hiện thân được học bởi Cosmos-H-Surgical-Simulator, chúng tôi chuyên biệt hóa mô hình cho khâu bàn mổ da Vinci Research Kit và tinh chế nó thành một học sinh nhân quả.

Mô hình được phát hành nhận khung RGB ban đầu và luồng động học robot sống, sau đó sản xuất khối khung tiếp theo trước khi tiếp tục với khối hành động tiếp theo. Điều này tạo ra trải nghiệm liền mạch cho người dùng cuối.

Kỹ thuật tinh chế để đạt tốc độ thời gian thực

Thách thức cốt lõi là bảo toàn các động lực phẫu thuật hữu ích trong khi giảm chi phí tạo sinh đáng kể. Cosmos-H-Dreams sử dụng quy trình đào tạo giáo viên-học sinh được thiết kế cho các chu kỳ dài, tự động hồi quy để đảm bảo ổn định.

Giáo trình hai chiều bắt đầu từ điểm kiểm tra Cosmos-H-Surgical-Simulator Open-H, sử dụng biểu diễn hành động thống nhất 44 chiều. Đối với mô hình dVRK bàn mổ được phát hành, nội dung hành động dVRK hai cánh tay bao gồm dịch chuyển, quay và trạng thái kẹp cuối tương đối được ánh xạ vào biểu diễn chung này.

Giáo viên được tinh chỉnh trên hỗn hợp JHU dVRK bàn mổ, bao gồm cả các bản trình diễn thành công cũng như các tập hợp lỗi và phân phối ngoài như rơi kim, ném trượt và buộc nút không thành công. Những lỗi này rất quan trọng vì một bộ giả lập nhằm mục đích đánh giá chính sách phải tái tạo hậu quả của các hành động kém.

Để cải thiện sự ổn định trong các chu kỳ dài, quá trình đào tạo tăng dần ngưỡng thời gian của giáo viên. Chúng tôi bắt đầu đào tạo trên ngưỡng 12 khung hình và tăng dần số lượng này lên 72 khung hình để mở rộng tầm nhìn.

Đào tạo học sinh nhân quả và tự ép buộc

Giai đoạn làm ấm nhân quả bắt đầu bằng việc tiền tính toán và lưu trữ các quỹ đạo khử nhiễu của giáo viên. Một học sinh nhân quả được khởi tạo từ giáo viên và được huấn luyện để bắt chước các quỹ đạo được lưu trữ này một cách chính xác.

Giai đoạn này dạy học sinh hoạt động với chú ý nhân quả và bộ đệm khóa/giá trị phát trực tuyến trước khi bắt đầu học từ lịch sử tự tạo của chính nó. Điều này giúp giảm thiểu sai số tích lũy trong quá trình vận hành thực tế.

Mô hình tự ép buộc tự động giải quyết vấn đề phổ biến của các mô hình tự động hồi quy. Trong quá trình đào tạo, họ có thể xem ngữ cảnh sạch, gốc, trong khi trong triển khai họ phải điều kiện hóa trên đầu ra không hoàn hảo của chính mình. Lỗi nhỏ có thể tích lũy theo thời gian nếu không được xử lý.

Cosmos-H-Dreams giải quyết sự không phù hợp này với kỹ thuật tự ép buộc. Trong quá trình đào tạo, học sinh tiến lên phía trước bằng ngữ cảnh tự tạo của mình. Giám sát khớp phân phối từ giáo viên đóng băng sau đó hướng dẫn các chu kỳ tự tạo đó hướng tới video phẫu thuật thực tế.

FlashDreams và hiệu năng phần cứng

Tinh chế mô hình chỉ là một phần của câu chuyện thời gian thực. Cosmos-H-Dreams được phục vụ thông qua FlashDreams, một thư viện suy luận gia tốc cho các mô hình thế giới và video tự động hồi quy. FlashDreams biến học sinh tinh chế thành hệ thống phát trực tuyến độ trễ thấp thông qua nhiều tối ưu hóa bổ sung.

Chẳng hạn như bộ đệm KV phát trực tuyến, chụp đồ thị CUDA hoặc biên dịch mô hình. Cùng nhau, các kỹ thuật này đưa mô hình thế giới phẫu thuật tinh chế xuống từ khoảng mười khung hình mỗi giây trong chế độ suy luận Cosmos-H-Surgical-Simulator tiêu chuẩn sang hoạt động tương tác.

Chúng đạt được mức ~160 khung hình mỗi giây trên một GPU NVIDIA RTX PRO 6000 duy nhất. Điều này cho phép một người hoặc chính sách đã học kiểm soát môi trường tương tác trong vòng khép kín mà không bị gián đoạn hay độ trễ đáng kể.

Cosmos-H-Dreams cũng cung cấp các giao diện người-máy biến việc tạo sinh thành tương tác. Khách hàng trình duyệt có thể gửi lệnh bàn phím và nhận khung được tạo qua WebRTC. Khách hàng Meta Quest có thể ánh xạ chuyển động điều khiển được theo dõi vào hành động robot và hiển thị cảnh tổng hợp qua WebXR.

Cùng một mô hình cũng có thể được kết nối với chính sách phẫu thuật đã học, với quan sát được tạo và hành động dự đoán trao đổi bên trong vòng khép kín. Tính linh hoạt này mở ra nhiều kịch bản ứng dụng khác nhau trong nghiên cứu và phát triển.

Bảng dữ kiện kỹ thuật Cosmos-H-Dreams

Tác động đến ngành y tế và nghiên cứu tại Việt Nam

Cơ hội cho các tổ chức nghiên cứu y tế tại Việt Nam là rất lớn khi công nghệ này trở nên phổ biến. Hiện nay, việc tiếp cận phần cứng robot phẫu thuật như da Vinci hay Versius là rất hạn chế và đắt đỏ đối với các bệnh viện trong nước.

Cosmos-H-Dreams cho phép các nhóm nghiên cứu trong nước thử nghiệm các thuật toán điều khiển mới mà không cần sở hữu robot thật. Điều này đặc biệt hữu ích cho việc đào tạo bác sĩ phẫu thuật trẻ, nơi họ có thể thực hành các tình huống hiếm gặp hoặc phức tạp trong môi trường ảo an toàn.

Tuy nhiên, chi phí phần cứng vẫn là rào cản đáng kể. Việc chạy mô hình trên một GPU NVIDIA RTX PRO 6000 đòi hỏi ngân sách đầu tư lớn cho cơ sở hạ tầng máy chủ. Các bệnh viện hoặc trung tâm nghiên cứu tại Việt Nam cần cân nhắc kỹ lưỡng về khả năng tài chính và nhu cầu thực tế trước khi triển khai hệ thống này.

Ngoài ra, việc tích hợp vào quy trình lâm sàng thực tế sẽ cần sự phê duyệt chặt chẽ từ các cơ quan quản lý y tế. Dù vậy, tiềm năng nâng cao chất lượng đào tạo và nghiên cứu là không thể phủ nhận trong bối cảnh chuyển đổi số y tế hiện nay.

Hướng phát triển và bài kiểm tra vòng kín

Cosmos-H-Dreams mở ra một chân trời mới cho mô phỏng phẫu thuật: các môi trường được học từ dữ liệu robot thật đủ đáp ứng để cư trú. Bước tiếp theo ngay lập tức là đánh giá nhiều hơn chất lượng hình ảnh. Một bộ giả lập phẫu thuật hữu ích phải phản hồi đúng hành động, bảo toàn cấu trúc dụng cụ và cảnh qua các chu kỳ dài.

Điều này thúc đẩy một họ bài kiểm tra vòng kín mới. Các bài kiểm tra bao gồm độ chính xác với đầu dụng cụ và tư thế, độ trung thực chu kỳ kẹp, ổn định nhàn rỗi, đa dạng hành động phản thực tế, trôi dài hạn và sự đồng ý giữa kết quả chính sách mô phỏng và thực tế.

Mô hình thế giới thời gian thực cũng có thể trở thành đối tác tích cực trong phát triển chính sách phẫu thuật. Họ có thể tạo lỗi hiếm theo yêu cầu, cung cấp môi trường mở rộng cho học tăng cường hoặc bắt chước, và cho phép đánh giá nhanh các chính sách mới mà không gắn mọi thí nghiệm với phần cứng robot khan hiếm.

Câu hỏi thường gặp về Cosmos-H-Dreams

Cosmos-H-Dreams có thay thế được robot phẫu thuật thật không?
Không. Đây là nền tảng nghiên cứu và phát triển, không phải hệ thống chẩn đoán, thay thế cho hình ảnh nội soi hay bộ điều khiển cho robot phẫu thuật vật lý. Nó cung cấp nền tảng để khám phá các khả năng này một cách an toàn.

Mô hình có thể thích ứng với dữ liệu riêng của tôi không?
Có. Hệ thống được thiết kế để mở rộng cho hiện thân cụ thể của bạn. Chúng tôi cung cấp công thức hoàn chỉnh cho việc tinh chỉnh giáo viên và tự ép buộc trong hướng dẫn từng bước để huấn luyện mô hình học sinh thời gian thực cho tập dữ liệu của riêng bạn.

Thời gian công bố chính thức là khi nào?
Theo nguồn tin, bài viết và công nghệ được công bố vào ngày 27 tháng 7 năm 2026 trên Hugging Face. Đây là mốc thời gian quan trọng để cộng đồng quốc tế theo dõi.

Chi phí sử dụng phần mềm là bao nhiêu?
Nguồn tin không nêu rõ mức giá cụ thể hay mã giảm giá. Người dùng cần kiểm tra trang chính thức của NVIDIA hoặc Hugging Face để biết thông tin chi tiết về điều khoản sử dụng và giá gia hạn nếu có.

Lộ trình phát triển công nghệ

• 2026-07-20: Giới thiệu Cosmos 3 Edge.
• 2026-07-21: Tổng quan về mô phỏng cho AI Vật lý.
• 2026-07-27: Ra mắt Cosmos-H-Dreams và Cosmos-H-Surgical-Simulator.
• Tương lai: Phát triển các bài kiểm tra vòng kín và hỗ trợ quyết định nội phẫu.

Những cải tiến liên tục về độ trung thực mô hình, ổn định thời gian và hiệu quả phần cứng sẽ giúp kết nối giáo dục phẫu thuật, tạo dữ liệu tổng hợp, huấn luyện chính sách và đánh giá chính sách trong một môi trường AI Vật lý chung. Cosmos-H-Dreams mang mô hình thế giới phẫu thuật điều kiện hành động vào vòng lặp thời gian thực, tạo ra một môi trường mới cho con người và chính sách thực hành, khám phá, tạo dữ liệu và đánh giá những gì sẽ xảy ra tiếp theo.

Nguồn: Hugging Face.