Η NVIDIA παρουσίασε το Cosmos ως μια ενιαία προσέγγιση για όσους αναπτύσσουν world models σε εφαρμογές physical AI. Σύμφωνα με την εταιρεία, οι ομάδες που εργάζονται σε αυτό το πεδίο αντιμετωπίζουν δύο διαφορετικά προβλήματα: από τη μία πρέπει να προσαρμόσουν τα μοντέλα στα δικά τους δεδομένα, στους αισθητήρες και στις εργασίες τους, και από την άλλη να τα ενσωματώσουν αξιόπιστα σε εφαρμογές. Το Cosmos επιχειρεί να καλύψει και τα δύο αυτά στάδια με ξεχωριστά, αλλά συνδεδεμένα εργαλεία. Η ανακοίνωση εστιάζει τόσο στην ανάπτυξη και την προσομοίωση όσο και στη διάθεση με επιτάχυνση GPU.
Ο πυρήνας της πρότασης χωρίζεται σε δύο μέρη. Το Cosmos Framework καλύπτει την εκπαίδευση, τη μετα-εκπαίδευση, τη βελτιστοποίηση, την επεξεργασία πολυτροπικών δεδομένων και την εκτέλεση inference. Το Cosmos NIM αναλαμβάνει την εξυπηρέτηση μοντέλων μέσω microservices και APIs, με στόχο την ευκολότερη ενσωμάτωση σε περιβάλλοντα παραγωγής. Με αυτόν τον διαχωρισμό, η NVIDIA επιχειρεί να προσφέρει μια πλήρη αλυσίδα εργαλείων, από το checkpoint μέχρι την εφαρμογή.
Τι είναι το Cosmos Framework
Το Cosmos Framework περιγράφεται ως ένα ανοιχτό και πλήρως αρθρωτό framework για όλο τον κύκλο ζωής των world models. Η NVIDIA το τοποθετεί ως υποδομή για training, optimization και inference, με έμφαση σε νέες agent skills που μπορούν να αυτοματοποιήσουν επαναλαμβανόμενες διαδικασίες. Η υποστήριξη δεν περιορίζεται στο Cosmos 3, καθώς η πλατφόρμα επεκτείνεται και σε NVIDIA Alpamayo, GR00T, Qwen, pi0.5 και άλλα συμβατά μοντέλα από το Hugging Face. Αυτό δείχνει ότι ο σχεδιασμός του δεν είναι κλειστός αποκλειστικά σε μία οικογένεια μοντέλων.
Στο επίπεδο της εκπαίδευσης, το framework υποστηρίζει δεδομένα κειμένου, εικόνας, βίντεο, ήχου και ενεργειών. Η NVIDIA αναφέρει επιλογές όπως LoRA για αποδοτική προσαρμογή παραμέτρων και πλήρες supervised fine-tuning όταν χρειάζεται ενημέρωση όλων των παραμέτρων του μοντέλου. Τα δεδομένα μπορούν να φορτωθούν μέσω JSONL, WebDataset, LeRobot ή custom adapters, ενώ υποστηρίζεται εκπαίδευση σε πολλαπλές GPUs και αποθήκευση checkpoints για επανεκκίνηση. Σημαντικό στοιχείο είναι ότι οι agent skills μπορούν να κατευθύνουν και τη μετα-εκπαίδευση, μειώνοντας το χειροκίνητο βάρος για τις ομάδες ανάπτυξης.
Εκπαίδευση, RL και βελτιστοποίηση μοντέλων
Πέρα από το κλασικό fine-tuning, το Cosmos Framework καλύπτει πλέον και online ή offline διαδρομές reinforcement learning. Η NVIDIA απαριθμεί pipelines όπως DPO, GRPO, PPO, OPD και DiffusionNFT, δίνοντας έμφαση στην ευελιξία ανάλογα με τον τύπο του μοντέλου και τον στόχο βελτιστοποίησης. Οι ρόλοι rollout, reward και training μπορούν να τρέξουν είτε σε κοινές GPUs είτε σε ξεχωριστά pools. Παράλληλα, το framework μπορεί να συνδεθεί με υποστηριζόμενους simulators για συλλογή εμπειρίας.
Στο σκέλος της βελτιστοποίησης, η πλατφόρμα προσφέρει εργαλεία για distillation και quantization, ώστε να μειωθούν είτε το μέγεθος του μοντέλου είτε οι απαιτήσεις μνήμης και τα βήματα παραγωγής. Η NVIDIA αναφέρει συμβατότητα με Hugging Face Diffusers, PyTorch, SGLang, vLLM-Omni, vLLM, TRT-LLM, TRT-Edge-LLM και NVIDIA NIM. Η αξιολόγηση δεν περιορίζεται στην ποιότητα του αποτελέσματος, αλλά επεκτείνεται και στην ακρίβεια, στη χρήση GPU και στη συνολική αξιοποίηση υπολογιστικών πόρων. Αυτή η διάσταση έχει σημασία για οργανισμούς που χρειάζονται μετρήσιμη συμπεριφορά πριν περάσουν από δοκιμές σε παραγωγή.
Agent skills και πρακτική ροή εργασίας
Ένα από τα πιο συγκεκριμένα σημεία της ανακοίνωσης είναι η χρήση agent skills μέσα στο Cosmos Framework. Η NVIDIA προτείνει τη φόρτωση skills για setup, inference, post-training και troubleshooting από συγκεκριμένη δομή φακέλων, ώστε ο agent να αναλάβει περιορισμένες και σαφώς ορισμένες εργασίες. Η λογική εδώ δεν είναι η πλήρης αυτονομία, αλλά η καθοδήγηση διαδικασιών με σαφή όρια και μετρήσιμα κριτήρια. Αυτό είναι πιο κοντά σε μηχανισμό επιτάχυνσης της ανάπτυξης παρά σε γενικό εργαλείο αυτοματισμού χωρίς επίβλεψη.
Στο παράδειγμα που περιγράφεται, ο agent μπορεί να λάβει οδηγίες για μετα-εκπαίδευση ενός checkpoint σε συγκεκριμένο dataset και με συγκεκριμένη recipe. Η NVIDIA επιμένει σε πρακτικές όπως pinning εκδόσεων, διαχωρισμός επεισοδίων training και evaluation, smoke tests, αποθήκευση configuration και όριο σε GPU-hours. Επίσης προτείνεται σύγκριση του αποτελέσματος με το βασικό μοντέλο σε held-out δεδομένα και επανάληψη της αξιολόγησης σε χαμηλότερη ακρίβεια. Η προσέγγιση αυτή δείχνει ότι το Cosmos δεν προωθεί μόνο νέες δυνατότητες, αλλά και μια πιο αυστηρή διαδικασία πειραματισμού.
Προσομοίωση για αυτόνομη οδήγηση και ρομποτική
Στο πεδίο της προσομοίωσης, η NVIDIA παρουσιάζει νέες recipes και checkpoints του Cosmos 3 Nano για αυτόνομη οδήγηση, ρομποτική και χειρουργικά σενάρια. Για τα αυτόνομα οχήματα, τα checkpoints δέχονται prompt και World Scenario Map controls που περιγράφουν λωρίδες, αντικείμενα, διαγραμμίσεις, πινακίδες και όρια δρόμου. Στην παραγωγή RGB και LiDAR μαζί, χρησιμοποιούνται επιπλέον HD-map rangemap controls, ενώ προαιρετικά μπορεί να δοθεί και αρχική παρατήρηση LiDAR. Το ζητούμενο είναι η δημιουργία συγχρονισμένων αισθητηριακών ροών που να μπορούν να αξιοποιηθούν για την αξιολόγηση perception και driving models.
Το Cosmos3-Nano-Transfer-Auto προορίζεται για offline παραγωγή συνθετικών δεδομένων, με bidirectional generation ολόκληρου clip πολλαπλών καμερών. Η NVIDIA αναφέρει υποστήριξη για βίντεο 30 fps, έως 400 καρέ σε 480p ή 720p, ενώ μεγαλύτερες ακολουθίες μπορούν να δημιουργηθούν με autoregressive chunking. Ένα από τα παραδείγματα που δίνει είναι η αλλαγή μιας daytime drive σκηνής σε rainy night σκηνή, χωρίς να αλλάξουν η διάταξη του δρόμου και οι τροχιές των οχημάτων. Αυτή η δυνατότητα έχει ιδιαίτερη αξία για δοκιμές ανθεκτικότητας μοντέλων σε διαφορετικές συνθήκες φωτισμού και καιρού.
Για προσομοίωση κλειστού βρόχου, η NVIDIA προωθεί το Cosmos3-Nano-Sim-Auto, μια causal few-step-distilled παραλλαγή του Transfer-Auto. Το μοντέλο παράγει σταδιακά παρατηρήσεις καθώς μια πολιτική οδήγησης ή ένας άνθρωπος ενημερώνει το σενάριο μέσω WSM renderer. Οι παραγόμενες εικόνες κάμερας και οι παρατηρήσεις LiDAR επιστρέφουν ξανά στην πολιτική, ώστε να είναι δυνατή η αξιολόγηση σε closed loop. Στη ρομποτική, αντίστοιχα, τα Cosmos3-Nano-Sim-Transfer και Cosmos3-Nano-Sim-Bimanual καλύπτουν τόσο τη μετατροπή depth video σε λεπτομερές RGB όσο και τη διαδραστική διβραχιόνια προσομοίωση με βάση τη σκηνή και τις ενέργειες ρομπότ.
Χειρουργική προσομοίωση ως ξεχωριστή περίπτωση
Η NVIDIA αφιερώνει ξεχωριστό μέρος στα χειρουργικά περιβάλλοντα, τα οποία περιγράφει ως ιδιαίτερα δύσκολα για τους κλασικούς simulators λόγω της πολύπλοκης πολυφυσικής συμπεριφοράς τους. Η εναλλακτική που προτείνεται είναι η παραγόμενη προσομοίωση, όπου αντί να μοντελοποιούνται ρητά η γεωμετρία, η παραμόρφωση ιστών και οι αλληλεπιδράσεις, τα world foundation models μαθαίνουν οπτική δυναμική από συγχρονισμένο χειρουργικό βίντεο και κινηματική ρομπότ. Αυτή η προσέγγιση δεν αντικαθιστά αναγκαστικά τη φυσική προσομοίωση, αλλά λειτουργεί συμπληρωματικά. Η σημασία της είναι ότι επιτρέπει δοκιμές σε ένα πεδίο όπου η συμβατική προσομοίωση είναι ιδιαίτερα δαπανηρή και δύσκολη.
Το Cosmos3-H-Embodied-Nano, βασισμένο στο Cosmos3 και μετα-εκπαιδευμένο στο Open-H-Embodiment, μπορεί να παράγει χειρουργικό βίντεο από ενέργειες ρομπότ, να προβλέπει ενέργειες από βίντεο ή να παράγει και τα δύο μαζί. Η είσοδος περιλαμβάνει αρχικό RGB καρέ, prompt εργασίας, τις τελευταίες 16 εκτελεσμένες ενέργειες και τις επόμενες ενέργειες του ρομπότ. Η NVIDIA το τοποθετεί ως εργαλείο για συνθετικά δεδομένα και offline αξιολόγηση πολιτικών χωρίς να χρειάζεται φυσικό μοντέλο της χειρουργικής σκηνής. Δίπλα του, το Cosmos3-H-Dreams στοχεύει σε real-time προσομοίωση closed loop, όπου κάθε νέα ενέργεια επηρεάζει την επόμενη εξέλιξη της διαδικασίας.
Cosmos NIM και το πέρασμα στην παραγωγή
Δίπλα στο ανοιχτό οικοσύστημα εργαλείων για inference, η NVIDIA παρουσίασε και το Cosmos NIM, ένα πακέτο με υποστηριζόμενα μοντέλα σε βελτιστοποιημένα containers. Ο στόχος εδώ είναι πιο καθαρά επιχειρησιακός: ταχύτερο inference, χαμηλότερες απαιτήσεις μνήμης και απλούστερη διάθεση σε παραγωγή. Η εταιρεία αναφέρει τεχνικές όπως quantization, speculative decoding, caching, token pruning και routing με επίγνωση του KV-cache. Για το speculative decoding, δίνει ως ένδειξη μετρημένες μέσες επιταχύνσεις περίπου 2 έως 3 φορές σε H200.
Σημαντικό κομμάτι της ανακοίνωσης είναι και οι απαιτήσεις μνήμης GPU ανά μοντέλο και εργασία. Για reasoning, για παράδειγμα, το Cosmos3-Edge απαιτεί 16 GiB, το Cosmos3-Nano 23,1 GiB και το Cosmos3-Super 135 GiB σε BF16, ενώ για generation τα αντίστοιχα επίπεδα ανεβαίνουν σημαντικά. Η NVIDIA δίνει επίσης επιλογές FP8 και FP8 με offloading για ορισμένες περιπτώσεις, στοιχείο που επηρεάζει άμεσα το κόστος και τη δυνατότητα διάθεσης. Η διαδικασία εκκίνησης του Cosmos NIM περιλαμβάνει επιλογή κατάλληλης GPU και διαμόρφωσης, εγκατάσταση των απαραίτητων οδηγών και εργαλείων container σε Linux, καθώς και χρήση NGC API key για πρόσβαση στους πόρους.
Συνολικά, η εικόνα που δίνει η NVIDIA είναι μιας πλατφόρμας που προσπαθεί να ενώσει ανάπτυξη, προσομοίωση και λειτουργία σε παραγωγή για world models. Το πιο ουσιαστικό στοιχείο δεν είναι μόνο η ποικιλία των checkpoints, αλλά η προσπάθεια τυποποίησης ροών εργασίας για διαφορετικούς τομείς, από την αυτόνομη οδήγηση έως τη ρομποτική και τη χειρουργική. Για ομάδες που ήδη πειραματίζονται με physical AI, το Cosmos εμφανίζεται ως μια πιο συνεκτική υποδομή. Το αν αυτή η ενοποίηση θα μειώσει ουσιαστικά την πολυπλοκότητα θα κριθεί στην πράξη, κυρίως από το πόσο ομαλά θα προσαρμοστεί σε πραγματικά δεδομένα, αισθητήρες και απαιτήσεις παραγωγής.
