JAX και Transformer Engine για ταχύτερη εκπαίδευση dropless MoE
Η NVIDIA περιγράφει πώς οι βελτιστοποιήσεις στο JAX και στο Transformer Engine αντιμετωπίζουν τα βασικά εμπόδια της εκπαίδευσης MoE σε μεγάλη κλίμακα. Σύμφωνα με τα στοιχεία της, το αποτέλεσμα είναι ...












