Η NVIDIA ανακοίνωσε ότι το cuBLAS, μέσω του CUDA Toolkit 13.4.2, αποκτά νέους αλγόριθμους για την επιτάχυνση υπολογισμών FP64 που χρησιμοποιούνται εκτενώς σε επιστημονικές προσομοιώσεις. Το ενδιαφέρον εδώ δεν αφορά μια απλή βελτιστοποίηση λογισμικού, αλλά έναν διαφορετικό τρόπο εκτέλεσης πράξεων πυκνού πολλαπλασιασμού πινάκων, δηλαδή των DGEMM και ZGEMM. Πρόκειται για λειτουργίες που κυριαρχούν σε φόρτους εργασίας όπως η μοριακή χημεία και η επιστήμη υλικών, όπου η ακρίβεια διπλής ακρίβειας παραμένει κρίσιμη. Σύμφωνα με την εταιρεία, ο στόχος είναι να συνδυαστεί η ταχύτητα των Tensor Cores με την πλήρη διατήρηση της ακρίβειας FP64.
Η βασική ιδέα είναι ότι το cuBLAS διασπά κάθε αριθμό διπλής ακρίβειας σε ακέραια τμήματα, εκτελεί τους υπολογισμούς στους ταχύτερους integer Tensor Cores της GPU και στη συνέχεια ανασυνθέτει το ακριβές αποτέλεσμα. Έτσι, η βιβλιοθήκη δεν χρειάζεται πλέον να επιλέγει ανάμεσα σε απόδοση και ακρίβεια, τουλάχιστον στις περιπτώσεις όπου οι νέες μέθοδοι είναι κατάλληλες. Η προσέγγιση βασίζεται στο πλαίσιο Automatic Dynamic Precision, ή ADP, που είχε ήδη παρουσιάσει η NVIDIA ως μηχανισμό αντιστοίχισης πράξεων FP64 σε integer Tensor Cores. Το σημαντικό για τους χρήστες είναι ότι η επιτάχυνση εφαρμόζεται αυτόματα, χωρίς αλλαγές στον κώδικα της εφαρμογής.
Τι αλλάζει πρακτικά στο cuBLAS
Οι δύο βασικές προσθήκες είναι ο αλγόριθμος Ozaki-II για DGEMM και η μέθοδος 2M για ZGEMM. Ο Ozaki-II αντικαθιστά μια παλαιότερη προσέγγιση, τον Ozaki-I, μειώνοντας τον αριθμό των απαιτούμενων integer πολλαπλασιασμών. Στην πράξη, αυτό σημαίνει ότι οι πράξεις διπλής ακρίβειας μπορούν να ολοκληρωθούν γρηγορότερα, ειδικά όσο αυξάνονται οι απαιτήσεις ακρίβειας. Για τις μιγαδικές πράξεις, η μέθοδος 2M μειώνει το κόστος ενός σύνθετου πολλαπλασιασμού πινάκων από τέσσερις πραγματικούς πολλαπλασιασμούς σε δύο.
Η NVIDIA δίνει έμφαση στο ότι οι βελτιώσεις δεν θυσιάζουν την αριθμητική πιστότητα. Το ADP επιλέγει δυναμικά το απαραίτητο εύρος ακέραιας αναπαράστασης κατά την εκτέλεση, ενώ, αν η απαιτούμενη ακρίβεια ξεπερνά τα προκαθορισμένα όρια, το cuBLAS επιστρέφει αυτόματα σε εγγενή διαδρομή FP64. Αυτό είναι κρίσιμο για παραγωγικά περιβάλλοντα HPC, όπου μια μικρή απόκλιση μπορεί να επηρεάσει ολόκληρη την επιστημονική εξαγωγή συμπερασμάτων. Με άλλα λόγια, η επιτάχυνση ενεργοποιείται όταν το λογισμικό μπορεί να εγγυηθεί ισοδύναμη ή καλύτερη ακρίβεια σε σχέση με τις συμβατικές μεθόδους GEMM.
Από τον Ozaki-I στον Ozaki-II
Οι δύο εκδόσεις της μεθόδου Ozaki ξεκινούν από κοινό σημείο, καθώς ευθυγραμμίζουν τους εκθέτες των πινάκων εισόδου και μετατρέπουν τα δεδομένα σε κοινή εκθετική, μεταβλητού μήκους ακέραια αναπαράσταση. Εκεί όμως οι προσεγγίσεις διαφέρουν. Ο Ozaki-I τεμαχίζει τους μεγάλους ακεραίους σε τμήματα 8 bit και υπολογίζει πολλαπλασιασμούς σε τριγωνικό μοτίβο, κάτι που αυξάνει το πλήθος των GEMM περίπου με το τετράγωνο του αριθμού των τεμαχίων. Ο Ozaki-II χρησιμοποιεί ταχύτερο σχήμα πολλαπλασιασμού μεγάλων ακεραίων που βασίζεται στο Chinese Remainder Theorem.
Με αυτή τη μέθοδο, κάθε ποσοτικοποιημένος τελεστής μειώνεται modulo ένα σύνολο μικρών, αμοιβαία πρώτων ακεραίων, εκτελείται μία integer GEMM για κάθε modulus και έπειτα ανασυντίθεται το ακριβές γινόμενο. Το αποτέλεσμα είναι ότι ο αριθμός των απαιτούμενων GEMM αυξάνεται γραμμικά και όχι τετραγωνικά. Η NVIDIA σημειώνει ότι, στο επίπεδο ακρίβειας που απαιτείται για αντιστοίχιση με FP64, ο Ozaki-I χρειάζεται περίπου τις διπλάσιες Tensor Core GEMM σε σχέση με τον Ozaki-II. Παρότι μια αφελής υλοποίηση του Ozaki-II θα απαιτούσε περισσότερο προσωρινό χώρο, το cuBLAS εφαρμόζει τεχνικές tiling που περιορίζουν τη μνήμη εργασίας σε πιο διαχειρίσιμα επίπεδα.
Τα πρώτα στοιχεία επιδόσεων
Με βάση τα στοιχεία που δημοσίευσε η NVIDIA, το DGEMM με Ozaki-II τρέχει έως 5,5 φορές ταχύτερα από το εγγενές FP64 στο NVIDIA VR NVL72 και έως 3,9 φορές ταχύτερα στο NVIDIA GB200. Στο GB200, η νέα προσέγγιση καταγράφεται επίσης ως περίπου 2 φορές ταχύτερη από τον Ozaki-I. Η εταιρεία αναφέρει επίσης κορυφαίες αποδόσεις έως 175 TFLOPS στο VR NVL72, 147 TFLOPS στο GB200 και 37 TFLOPS στο NVIDIA RTX PRO 6000. Πρόκειται για αριθμούς που δείχνουν ότι η επιτάχυνση δεν περιορίζεται μόνο σε εξειδικευμένα συστήματα κέντρων δεδομένων.
Ιδιαίτερη σημασία έχει και η αναφορά στο NVIDIA Rubin, όπου εισάγεται το νέο αριθμητικό format TI16, ένας 12-bit ακέραιος τύπος σε sign-magnitude μορφή. Σύμφωνα με τη NVIDIA, το format αυτό είναι κατάλληλο για την επιτάχυνση των υπολογισμών που βασίζονται στο σχήμα Ozaki. Το cuBLAS 13.4 αξιοποιεί τον τύπο TI16 μέσω της εντολής tcgen05.mma στις GPU NVIDIA Rubin. Αυτό δείχνει ότι οι βελτιώσεις στο λογισμικό συνοδεύονται και από σχεδιασμό υλικού που εξυπηρετεί ειδικά αυτό το μοντέλο εκτέλεσης.
Εφαρμογή στην κβαντική χημεία με CCSD
Για να τεκμηριώσει ότι οι βελτιώσεις δεν αφορούν μόνο συνθετικά benchmarks, η NVIDIA παρουσίασε μια μελέτη περίπτωσης με CCSD, μία από τις βασικές μεθόδους μετα-DFT στην ηλεκτρονική δομή. Το CCSD θεωρείται ιδιαίτερα απαιτητικό επειδή βασίζεται σε πυκνές συμβολές τανυστών FP64, άρα ο χρόνος εκτέλεσης επηρεάζεται άμεσα από τις επιδόσεις των DGEMM. Στο συγκεκριμένο παράδειγμα χρησιμοποιήθηκε το cuBLAS του CUDA Toolkit 13.4.2 για τις κύριες συμβολές και το cuEST v0.2.2 για την επιτάχυνση της προετοιμασίας του προβλήματος. Η υλοποίηση έγινε με προσέγγιση single-GPU FP64 T1-transformed restricted CCSD στη μορφή density fitting.
Στα αποτελέσματα, η χρήση του Ozaki-II στο DGEMM έδωσε επιτάχυνση άκρου σε άκρο έως 2 φορές στο VR NVL72 και 1,4 φορές στο GB200 σε πλήρη ποιότητα FP64. Σε πιο εξειδικευμένη μικτή ακρίβεια για το ίδιο πεδίο, οι επιταχύνσεις αυξήθηκαν σε 5 φορές και 3,5 φορές αντίστοιχα. Η NVIDIA αναφέρει ότι, με πλήρη διασφάλιση FP64, τα αποτελέσματα είναι ουσιαστικά αδιαχώριστα από το native FP64, με σφάλματα στην ενέργεια συσχέτισης κάτω από 10^-14 Eh. Ακόμη και με σταθερό προϋπολογισμό 32 bit στη mantissa, τα σφάλματα παραμένουν κάτω από 10^-10 Eh, ενώ οι εξισώσεις πλατών συγκλίνουν σε residual 10^-9 ή καλύτερο.
ZGEMM και η μετάβαση στη μέθοδο 2M
Για τους μιγαδικούς πολλαπλασιασμούς πινάκων, το συμβατικό μοντέλο 4M απαιτεί τέσσερις πραγματικές GEMM του ίδιου μεγέθους. Υπάρχει και η γνωστή μέθοδος 3M, αλλά στις πράξεις κινητής υποδιαστολής χρησιμοποιείται με προσοχή επειδή οι προσθέσεις και αφαιρέσεις που απαιτούνται μπορεί να επηρεάσουν τη σταθερότητα. Η NVIDIA υποστηρίζει ότι, μέσα στο ακριβές integer περιβάλλον του Ozaki-II, αυτές οι πράξεις εκτελούνται με ακρίβεια, οπότε η επιλογή της μεθόδου μιγαδικού πολλαπλασιασμού δεν αλλοιώνει το τελικό αποτέλεσμα. Έτσι, το cuBLAS μπορεί να περάσει στο 2M, μειώνοντας το κόστος ενός ZGEMM περίπου στο διπλάσιο ενός πραγματικού GEMM και όχι στο τετραπλάσιο.
Από το CUDA Toolkit 13.4 και μετά, το cuBLAS χρησιμοποιεί τη μέθοδο 2M για την επιτάχυνση του ZGEMM. Στο NVIDIA GB200, η εταιρεία αναφέρει έως 5 φορές επιτάχυνση σε σχέση με το native Complex FP64. Αυτό είναι ιδιαίτερα σημαντικό για εφαρμογές επιστήμης υλικών και ηλεκτρονικής δομής, όπου οι μιγαδικοί πίνακες αποτελούν καθημερινότητα. Η μείωση του αριθμού των απαιτούμενων πραγματικών GEMM αλλάζει ουσιαστικά τη σχέση κόστους και απόδοσης σε έναν τομέα όπου η ακρίβεια FP64 δεν είναι διαπραγματεύσιμη.
Η περίπτωση του BerkeleyGW και τι σημαίνει για την παραγωγή
Η δεύτερη μελέτη περίπτωσης αφορά το BerkeleyGW, έναν κώδικα που χρησιμοποιείται για τη μελέτη ιδιοτήτων υλικών οι οποίες προκύπτουν από τις μεταβάσεις ενεργειακών καταστάσεων των ηλεκτρονίων. Το cuBLAS εφαρμόζει αυτόματα το πλαίσιο ADP στη ρουτίνα CHISUM του module Epsilon, χωρίς να απαιτούνται αλλαγές στον κώδικα της εφαρμογής. Η NVIDIA συγκρίνει native ZGEMM, Ozaki-II 2M με ADP και Ozaki-II 2M με 53 bits, αναφέροντας ότι όλες οι διαμορφώσεις παρήγαγαν τα ίδια στοιχεία του πίνακα Epsilon έως και στο δέκατο δεκαδικό ψηφίο. Για οργανισμούς που εκτελούν μεγάλες επιστημονικές ροές εργασίας, αυτό το επίπεδο συμβατότητας είναι ίσως το σημαντικότερο στοιχείο.
Στο επίπεδο των επιδόσεων, η μετάβαση από native ZGEMM σε Ozaki-II 2M με 53 bits προσφέρει επιτάχυνση 3,9 φορές στο GB200 και 6,6 φορές στο VR NVL72. Η συνολική εικόνα δείχνει επιτάχυνση 5,8 φορές από native ZGEMM σε Blackwell προς ZGEMM με Ozaki-II 2M και 53-bit προϋπολογισμό στο VR NVL72. Το βασικό συμπέρασμα είναι ότι η NVIDIA επιχειρεί να μετατρέψει τις τεχνικές εξομοίωσης FP64 σε πρακτικό εργαλείο παραγωγής για εφαρμογές HPC. Εφόσον η αυτόματη επιλογή ακρίβειας και η επιστροφή σε native FP64 λειτουργούν όπως περιγράφεται, το cuBLAS μπορεί να προσφέρει χειροπιαστή επιτάχυνση χωρίς να επιβαρύνει τους επιστήμονες με επιπλέον πολυπλοκότητα στην ανάπτυξη.













