Η NVIDIA ανακοίνωσε ένα νέο παγκόσμιο ρεκόρ στην προεκπαίδευση μοντέλων mixture of experts, ή MoE, χρησιμοποιώντας το σύστημα GB300 NVL72. Σύμφωνα με τα στοιχεία που δημοσίευσε, το DeepSeek-V3 671B έφτασε τα 1.648 TFLOPs ανά GPU σε διάταξη 256 GPU. Το αποτέλεσμα δεν παρουσιάζεται απλώς ως επίδοση ακατέργαστης υπολογιστικής ισχύος, αλλά ως ένδειξη ότι η αποδοτικότητα στην προεκπαίδευση εξαρτάται πλέον από ολόκληρη την υποδομή, από το chip μέχρι το λογισμικό. Σε μια περίοδο όπου τα frontier models μεγαλώνουν συνεχώς, η ικανότητα διατήρησης υψηλής απόδοσης σε μεγάλη κλίμακα αποκτά κεντρική σημασία.
Η συγκεκριμένη εξέλιξη συνδέεται άμεσα με τη στροφή της βιομηχανίας προς τα μοντέλα MoE. Σε αυτή την αρχιτεκτονική δεν ενεργοποιούνται όλες οι παράμετροι για κάθε token, όπως συμβαίνει στα dense μοντέλα. Αντίθετα, ενεργοποιείται μόνο ένα υποσύνολο ειδικών, κάτι που μειώνει σημαντικά το υπολογιστικό κόστος ανά token. Η εξοικονόμηση αυτή, όμως, μεταφέρει το βάρος αλλού, δηλαδή στην επικοινωνία μεταξύ πολλών GPU, η οποία γίνεται ο βασικός παράγοντας που κρίνει πόσο καλά κλιμακώνεται η εκπαίδευση.
Γιατί τα MoE αλλάζουν τους περιορισμούς της εκπαίδευσης
Το παράδειγμα του DeepSeek-V3 671B είναι χαρακτηριστικό. Αν και το μοντέλο διαθέτει 671 δισεκατομμύρια παραμέτρους, ενεργοποιεί περίπου 37 δισεκατομμύρια παραμέτρους ανά token. Αυτό σημαίνει ότι μπορεί να λειτουργεί σε κλίμακα frontier model με κόστος ανά token που θυμίζει πολύ μικρότερο μοντέλο. Η προσέγγιση αυτή εξηγεί γιατί τα MoE έχουν γίνει κυρίαρχη επιλογή στα πιο απαιτητικά σενάρια προεκπαίδευσης.
Ωστόσο, το πλεονέκτημα στην υπολογιστική αποδοτικότητα δεν έρχεται χωρίς αντάλλαγμα. Οι experts βρίσκονται κατανεμημένοι σε διαφορετικές GPU, άρα κάθε επίπεδο MoE πρέπει να στείλει τα token στους κατάλληλους experts και στη συνέχεια να συγκεντρώσει τα αποτελέσματα. Αυτή η διαδικασία βασίζεται σε επικοινωνία all-to-all, τόσο στο forward όσο και στο backward pass. Επειδή επαναλαμβάνεται σε κάθε βήμα εκπαίδευσης και σε κάθε layer, ακόμη και μικρές καθυστερήσεις συσσωρεύονται και μπορούν να ακυρώσουν τα οφέλη της κλιμάκωσης.
Η επικοινωνία γίνεται εξίσου κρίσιμη με την υπολογιστική ισχύ
Στα σύγχρονα φορτία εργασίας μεγάλης κλίμακας, η απόδοση δεν μετριέται μόνο από τα θεωρητικά peak FLOPs. Αυτό που έχει σημασία είναι τα delivered FLOPs, δηλαδή πόση πραγματική απόδοση φτάνει στο ίδιο το training job. Όταν η επικοινωνία βρίσκεται στην κρίσιμη διαδρομή του βήματος εκπαίδευσης, η προσθήκη περισσότερων GPU δεν εγγυάται απαραίτητα υψηλότερο throughput. Αν το δίκτυο δεν μπορεί να ακολουθήσει, το σύστημα αρχίζει να χάνει αποδοτικότητα αντί να κερδίζει.
Για αυτόν τον λόγο, η NVIDIA υποστηρίζει ότι η προεκπαίδευση τέτοιου μεγέθους χρειάζεται ένα στενά ενοποιημένο scale-up domain, όπου κάθε GPU επικοινωνεί με κάθε άλλη μέσω μη μπλοκαριζόμενου fabric. Οι απαιτήσεις εδώ είναι αυστηρές, με υψηλό και ομοιόμορφο bandwidth, χαμηλό latency και πλήρες bisection bandwidth καθώς το domain μεγαλώνει. Παράλληλα, όταν το training ξεπερνά τα όρια ενός μόνο domain, απαιτείται και scale-out διασύνδεση ανάμεσα σε πολλαπλά domains. Αυτή η δεύτερη βαθμίδα μεταφέρει ελαφρύτερη αλλά σταθερά προβλέψιμη κίνηση, ώστε να μην καθυστερεί το συνολικό βήμα.
Τι φέρνει το GB300 NVL72 σε επίπεδο αρχιτεκτονικής
Το GB300 NVL72 περιγράφεται ως σύστημα rack-scale, σχεδιασμένο γύρω από αυτό ακριβώς το διπλό πρόβλημα επικοινωνίας. Στην καρδιά του βρίσκεται το NVIDIA NVLink πέμπτης γενιάς, που συνδέει 72 NVIDIA Blackwell Ultra GPU σαν ένα ενοποιημένο σύνολο. Η NVIDIA αναφέρει bandwidth 1,8 TB/s ανά GPU και 130 TB/s μη μπλοκαριζόμενου all-to-all bandwidth σε επίπεδο rack. Επιπλέον, κάθε GPU μπορεί να φτάσει κάθε άλλη με ένα μόνο hop, στοιχείο που περιορίζει την πολυπλοκότητα και τις καθυστερήσεις.
Ιδιαίτερη σημασία έχει και ο τρόπος με τον οποίο λειτουργεί το NVLink. Η NVIDIA τονίζει ότι είναι memory-semantic, δηλαδή μια GPU μπορεί να διαβάζει και να γράφει απευθείας στη μνήμη HBM μιας άλλης GPU με native load και store λειτουργίες. Έτσι, η μεταφορά δεδομένων αντιμετωπίζεται ως λειτουργία μνήμης σε επίπεδο hardware και όχι ως αποστολή μέσω λογισμικού, μειώνοντας την πρόσθετη καθυστέρηση στη διαδρομή. Αυτό βοηθά ώστε λειτουργίες όπως το tensor-parallel all-reduce και το MoE all-to-all να μένουν μέσα στο rack με χαμηλή καθυστέρηση και πλήρες bandwidth.
Κλιμάκωση πέρα από το rack και ο ρόλος της υποδομής
Πέρα από το scale-up μέσα στο rack, το σύστημα επεκτείνεται με NVIDIA ConnectX-8 SuperNIC στα 800 Gbps ανά GPU. Η διασύνδεση αυτή συνδυάζεται με NVIDIA Quantum-X800 InfiniBand ή NVIDIA Spectrum-X Ethernet, ώστε η κίνηση των gradients να παραμένει κρυμμένη μέσα στον διαθέσιμο χρόνο υπολογισμού. Με απλά λόγια, ο στόχος είναι η επικοινωνία εκτός rack να ολοκληρώνεται χωρίς να μετατρέπεται σε σημείο συμφόρησης. Αν αυτό επιτυγχάνεται, η αύξηση του αριθμού των GPU μεταφράζεται σε πραγματική αύξηση της συνολικής απόδοσης του συστήματος.
Η NVIDIA προσθέτει ότι η συν-σχεδίαση δεν περιορίζεται στις GPU και το δίκτυο. Στα production περιβάλλοντα AI factories, οι BlueField DPU αναλαμβάνουν ξεχωριστό ρόλο για virtual networking, πρόσβαση σε storage, ασφάλεια, τηλεμετρία και lifecycle management. Με αυτόν τον τρόπο μειώνεται η επιβάρυνση των host CPU σε μεγάλα training jobs. Η προσέγγιση δείχνει ότι το bottleneck στην προεκπαίδευση δεν είναι ένα μόνο εξάρτημα, αλλά η συνολική ισορροπία ανάμεσα σε compute, interconnect, networking και υπηρεσίες υποδομής.
Τα αποτελέσματα με Megatron Core, TorchTitan και JAX
Στο workload του DeepSeek-V3 671B, η NVIDIA αναφέρει ότι το Megatron Core φτάνει τα 1.648 TFLOPs ανά GPU στο GB300 NVL72, έναντι 606 TFLOPs ανά GPU σε παλαιότερα αποτελέσματα με το GB200 NVL72. Πρόκειται για περίπου τριπλάσια delivered απόδοση ανά GPU μέσα σε μία γενιά. Αυτό είναι το νούμερο στο οποίο βασίζεται και ο χαρακτηρισμός περί παγκόσμιου ρεκόρ. Η εταιρεία σημειώνει επίσης ότι στο ίδιο σύστημα rack-scale η απόδοση βελτιώθηκε κατά 1,5x μέσα σε έξι μήνες, αποκλειστικά από βελτιστοποιήσεις λογισμικού.
Η εικόνα είναι αντίστοιχη και στα open frameworks. Για το TorchTitan, η NVIDIA υποστηρίζει ότι οι συνεχείς βελτιστοποιήσεις πάνω στην ίδια υποδομή οδήγησαν σε περίπου 6x υψηλότερη delivered απόδοση στο DeepSeek-V3 671B. Στην περίπτωση του JAX, οι βελτιώσεις λογισμικού σε διάστημα έξι μηνών ανέβασαν την απόδοση σχεδόν κατά 10x στην ίδια κλίμακα των 256 GPU, με την πιο πρόσφατη έκδοση να φτάνει τα 1.025 TFLOPS ανά GPU. Η εταιρεία χρησιμοποιεί αυτά τα στοιχεία για να δείξει ότι η απόδοση συνεχίζει να ανεβαίνει και μετά την κυκλοφορία του hardware.
Τι δείχνουν τα στοιχεία για την πραγματική κλιμάκωση
Ένα από τα πιο ουσιαστικά σημεία της ανακοίνωσης αφορά τη διατήρηση της απόδοσης όταν το σύστημα μεγαλώνει από 256 σε 1.024 GPU. Σύμφωνα με τα δεδομένα της NVIDIA, το Megatron Core κρατά το 98,5% της απόδοσης ανά GPU, ενώ τα TorchTitan και JAX διατηρούν περίπου το 97%. Αυτά τα ποσοστά υποδηλώνουν ότι σχεδόν όλη η επιπλέον υποδομή μετατρέπεται σε πρόσθετο throughput σε επίπεδο συστήματος. Με άλλα λόγια, η κλιμάκωση δεν μένει θεωρητική αλλά αποδίδει στην πράξη.
Για την αγορά της τεχνητής νοημοσύνης, το συμπέρασμα είναι σαφές. Καθώς τα μοντέλα MoE μειώνουν το compute ανά token, η πρόκληση μεταφέρεται όλο και περισσότερο στην κίνηση δεδομένων ανάμεσα σε accelerators, racks και επίπεδα λογισμικού. Η ανακοίνωση της NVIDIA επιχειρεί να δείξει ότι ο ανταγωνισμός στην προεκπαίδευση frontier models θα κρίνεται από το πόσο καλά συντονίζονται hardware, δίκτυο και frameworks. Το ρεκόρ με το DeepSeek-V3 671B λειτουργεί έτσι περισσότερο ως ένδειξη της νέας κατεύθυνσης της υποδομής AI και λιγότερο ως ένα μεμονωμένο benchmark.
