Η DeepSeek Παρουσιάζει τη Νέα Αρχιτεκτονική ‘mHC’ για Αντιμετώπιση της Αστάθειας στην Εκπαίδευση AI
Η DeepSeek, μια εταιρεία τεχνολογίας με έδρα το Hangzhou, παρουσίασε πρόσφατα την καινοτόμο αρχιτεκτονική Manifold-Constrained Hyper-Connections (mHC), με στόχο τη σταθεροποίηση της εκπαίδευσης τεχνητής νοημοσύνης και την κλιμάκωση σε περιορισμένο υλικό. Αυτή η νέα προσέγγιση αποσκοπεί στην επίλυση του προβλήματος του “εκρηκτικού σήματος” που πλήττει τα μεγάλα μοντέλα AI. Σύμφωνα με την τεχνική έκθεση που δημοσιεύθηκε την Τρίτη, η μέθοδος αυτή αποκαθιστά την ακεραιότητα του σήματος σε βαθιά δίκτυα προβάλλοντας τις συνδέσεις σε ένα μαθηματικό πολλαπλό. Αυτή η διόρθωση φέρεται να εξαλείφει την αστάθεια κατά την εκπαίδευση, προσθέτοντας λιγότερο από 7% στον συνολικό χρόνο υπολογισμού.
Αντιμετώπιση του Προβλήματος του ‘Εκρηκτικού’ Σήματος σε Μεγάλα Μοντέλα Γλώσσας
Τα σύγχρονα Μεγάλα Μοντέλα Γλώσσας (LLMs) βασίζονται συνήθως σε υπολειμματικές συνδέσεις για τη διάδοση πληροφοριών μέσω εκατοντάδων επιπέδων χωρίς υποβάθμιση. Η DeepSeek πειραματίστηκε προηγουμένως με τις “Υπερ-Συνδέσεις” (HC), μια σχεδίαση που διευρύνει το πλάτος της υπολειμματικής ροής για να ενισχύσει την ικανότητα του μοντέλου. Ωστόσο, αυτή η προσέγγιση εισήγαγε μια δομική αδυναμία. Η ομάδα της DeepSeek εντόπισε μια κρίσιμη δομική σύγκρουση που προκύπτει όταν προσπαθεί να ωθήσει τα όρια της ικανότητας του μοντέλου. Η επέκταση των προτύπων συνδεσιμότητας, μια τεχνική που χρησιμοποιείται για την ενίσχυση της απόδοσης, ουσιαστικά “έσπασε” την ιδιότητα της ταυτοτικής απεικόνισης, η οποία είναι εγγενής στις τυπικές υπολειμματικές συνδέσεις.
Αυτή η συμβιβαστική λύση αποδείχθηκε δαπανηρή: με την υπονόμευση αυτής της βασικής διαδρομής, η αρχιτεκτονική έγινε επιρρεπής σε σοβαρή αστάθεια κατά την εκπαίδευση, τοποθετώντας ουσιαστικά ένα σκληρό ανώτατο όριο στο πόσο μπορεί να κλιμακωθεί το μοντέλο πριν αποτύχει. Χωρίς αυτή την ιδιότητα, η ένταση του σήματος αποκλίνει καθώς διαδίδεται μέσω του δικτύου. Στις τυπικές αρχιτεκτονικές HC, το μέγεθος της αύξησης του σήματος μπορεί να φτάσει περίπου τις 3000. Αυτή η ακραία διακύμανση οδηγεί σε έκρηξη των κλίσεων, προκαλώντας αποτυχία του μοντέλου κατά την εκπαίδευση.
Η Καινοτομία της Manifold-Constrained Hyper-Connections (mHC)
Για την αντιμετώπιση αυτών των δομικών αδυναμιών, η ομάδα της DeepSeek ανέπτυξε ένα πλαίσιο γνωστό ως Manifold-Constrained Hyper-Connections (mHC). Η βασική καινοτομία περιλαμβάνει τη λήψη του ευρέως, χωρίς περιορισμούς χώρου συνδέσεων της προηγούμενης αρχιτεκτονικής και την προβολή του σε ένα συγκεκριμένο μαθηματικό πολλαπλό. Αυτή η προβολή αποκαθιστά την κρίσιμη ιδιότητα της “ταυτοτικής απεικόνισης”, διασφαλίζοντας ότι το σήμα διατηρεί την ακεραιότητά του καθώς περνά μέσα από τα επίπεδα του δικτύου, ενώ ταυτόχρονα βελτιστοποιεί την υποκείμενη υποδομή για να διατηρήσει την υπολογιστική αποτελεσματικότητα.
Σε λεπτομερές επίπεδο, το σύστημα χρησιμοποιεί τον αλγόριθμο Sinkhorn-Knopp για να εκτελέσει μια εντροπική προβολή του υπολειμματικού πίνακα. Αυτή η διαδικασία χαρτογραφεί τα δεδομένα στο πολύεδρο Birkhoff, μια γεωμετρική αναπαράσταση πιθανών σταθερών καταστάσεων. Με την αναγκαστική μετατροπή των υπολειμματικών πινάκων σύνδεσης σε “διπλά στοχαστικούς”, η αρχιτεκτονική ουσιαστικά τους κλειδώνει μέσα σε ένα σταθερό πολλαπλό, αποτρέποντας τη χαοτική διακύμανση που οδηγεί σε αποτυχίες κατά την εκπαίδευση.
Αποδοτικότητα ως Στρατηγική Επιβίωσης
Η σταθερότητα στα νευρωνικά δίκτυα συνήθως συνοδεύεται από υπολογιστικό κόστος. Η DeepSeek αναφέρει ότι η mHC εισάγει μια ποινή χρόνου εκπαίδευσης 6,7% όταν ο ρυθμός επέκτασης είναι 4. Αυτή η επιβάρυνση είναι ένας υπολογισμένος συμβιβασμός έναντι των εναλλακτικών κινδύνων αποτυχίας εκπαίδευσης. Οι τυπικές αρχιτεκτονικές HC επιφέρουν σημαντικά υψηλότερο κόστος πρόσβασης στη μνήμη λόγω του απεριόριστου πλάτους τους. Για ένα εργαστήριο που λειτουργεί υπό περιορισμούς υλικού, το εύρος ζώνης μνήμης είναι συχνά ένα στενότερο σημείο συμφόρησης από την ακατέργαστη υπολογιστική ισχύ.
Οι δοκιμές που διεξήχθησαν από την ομάδα επιβεβαίωσαν ότι η αρχιτεκτονική αντέχει την τεράστια υπολογιστική πίεση της εκπαίδευσης μεγάλης κλίμακας. Πέρα από τη θεωρητική σταθερότητα, τα δεδομένα έδειξαν ότι η mHC προσφέρει συγκεκριμένα κέρδη απόδοσης και κλιμακώνεται πιο αποτελεσματικά από τις προηγούμενες εκδόσεις, αποδεικνύοντας ότι μπορεί να διαχειριστεί τον τεράστιο αριθμό παραμέτρων που απαιτούνται για τα μοντέλα θεμελίωσης επόμενης γενιάς.
Επικύρωση και Συμπεράσματα
Για την επικύρωση της αρχιτεκτονικής, η ομάδα εκπαίδευσε μοντέλα με 27 δισεκατομμύρια παραμέτρους και τα αξιολόγησε έναντι τυπικών δεικτών αναφοράς. Στο δείκτη Big Bench Hard (BBH), το μοντέλο mHC σημείωσε 51,0 (Exact Match). Αυτό το αποτέλεσμα ξεπέρασε το τυπικό μοντέλο HC με 48,9 και το βασικό μοντέλο με 43,8. Οι δοκιμές κατανόησης ανάγνωσης έδειξαν παρόμοια κέρδη. Στο δείκτη DROP, το μοντέλο mHC πέτυχε βαθμολογία F1 53,9, ξεπερνώντας τη βαθμολογία 51,6 του μοντέλου HC και τη βαθμολογία 47,0 του βασικού μοντέλου.
Η μαθηματική λογική παρέμεινε συνεπής με προηγούμενες εκδόσεις υψηλής απόδοσης. Με βαθμολογία 26,0 στο δείκτη MATH, το μοντέλο διατήρησε την ισοτιμία με το ασταθές μοντέλο HC (26,4) ενώ εγγυήθηκε τη σύγκλιση. Αυτό ακολουθεί την κυκλοφορία του DeepSeekMath-V2, το οποίο πέτυχε Χρυσό Μετάλλιο στο IMO 2025. Τα αποτελέσματα υποδηλώνουν ότι ο “περιορισμός” του μοντέλου για σταθερότητα δεν θυσιάζει την ικανότητα λογικής του.
Η αρχιτεκτονική αυτή αντιμετωπίζει μια συγκεκριμένη επιχειρηματική αποτυχία αντί για ένα καθαρά ακαδημαϊκό ερώτημα. Οι επίμονες τεχνικές αποτυχίες καθυστέρησαν επ’ αόριστον την κυκλοφορία του μοντέλου R2 τον Αύγουστο του 2025. Αναφορές εκείνη την εποχή συνέδεσαν την καθυστέρηση με προβλήματα απόδοσης στα τσιπ Huawei Ascend, τα οποία είναι λιγότερο ανεκτικά από το υλικό της Nvidia που χρησιμοποιούν οι δυτικοί ανταγωνιστές. Ενώ η εταιρεία φέρεται να αποκτά απαγορευμένα τσιπ Nvidia Blackwell μέσω γκρίζων αγορών για να συμπληρώσει τα clusters της, η ανθεκτικότητα του λογισμικού παραμένει η κύρια άμυνά της.
Με τη διόρθωση της υποκείμενης αρχιτεκτονικής για να είναι πιο ανθεκτική, η DeepSeek μειώνει την εξάρτησή της από τις τέλειες αποδόσεις υλικού. Πιθανότατα θα αποτελέσει τη ραχοκοκαλιά των επερχόμενων μοντέλων R2 ή V4, η mHC σηματοδοτεί την επιστροφή στον ρυθμό κυκλοφορίας που διακόπηκε νωρίτερα φέτος.
