Η χρήση AI agents σε σύνθετες ροές εργασίας μηχανικής υπόσχεται σημαντική επιτάχυνση, όμως η αξιοπιστία παραμένει κρίσιμο ζήτημα όταν τα συστήματα παράγουν αποτελέσματα που φαίνονται σωστά αλλά περιέχουν σφάλματα. Στον σχεδιασμό chip, αυτό το πρόβλημα είναι ιδιαίτερα σοβαρό, επειδή ένα μικρό λάθος σε αρχικό στάδιο μπορεί να περάσει απαρατήρητο και να επηρεάσει ολόκληρη την αλυσίδα παραγωγής των τελικών αρχείων. Η NVIDIA περιγράφει πώς η ανοιχτή βιβλιοθήκη NeMo Gym χρησιμοποιήθηκε για να εντοπιστούν αυτά τα μοτίβα αστοχίας και να βελτιωθεί η συμπεριφορά ενός agent της Siemens για εργασίες χαρακτηρισμού standard cells.
Η προσέγγιση δεν περιορίστηκε στον έλεγχο μεμονωμένων κλήσεων εργαλείων. Αντίθετα, βασίστηκε στην επαλήθευση του τελικού παραγόμενου αποτελέσματος, δηλαδή των Liberty files, σε σύγκριση με γνωστές, επαληθευμένες αναφορές. Αυτό επέτρεψε στην ομάδα να παρακολουθήσει ολόκληρη την πορεία κάθε rollout, να δει πού ακριβώς ξεκινούσε το λάθος και να αναθεωρήσει τόσο τις δεξιότητες του agent όσο και τις περιγραφές των εργαλείων MCP.
Γιατί η αξιοπιστία είναι τόσο κρίσιμη στο chip design
Οι agentic ροές εργασίας στον χώρο της ηλεκτρονικής σχεδίασης δεν είναι απλές αυτοματοποιήσεις ενός βήματος. Περιλαμβάνουν διαδοχικές φάσεις, όπως αρχικοποίηση εργαλείων, εκτέλεση προσομοιώσεων SPICE σε μεγάλη κλίμακα, κατανεμημένο υπολογισμό, παραγωγή αρχείων Liberty, αποσφαλμάτωση και τελική επικύρωση. Σε τέτοια περιβάλλοντα, μια αρχική απόφαση του agent μπορεί να καθορίσει την ποιότητα όλων όσων ακολουθούν.
Το βασικό πρόβλημα, σύμφωνα με την NVIDIA, είναι ότι πολλά σφάλματα δεν καταλήγουν σε σαφή αποτυχία. Αντί να σταματήσει η διαδικασία, ο agent μπορεί να παραδώσει ένα αποτέλεσμα που φαίνεται εύλογο, αλλά περιέχει λανθασμένα thresholds, ελλιπείς γωνίες λειτουργίας ή κενά σε συγκεκριμένα cells. Αυτό σημαίνει ότι η μέτρηση της επιτυχίας δεν μπορεί να βασίζεται μόνο στο αν το εργαλείο εκτελέστηκε, αλλά στο αν το τελικό παραδοτέο είναι πράγματι σωστό και πλήρες.
Ο ρόλος του NeMo Gym στην αξιολόγηση
Το NeMo Gym εντάσσεται στη συλλογή ανοιχτών βιβλιοθηκών της NVIDIA για την εξειδίκευση και βελτιστοποίηση agents και μοντέλων. Στην περίπτωση του standard-cell characterization, το περιβάλλον ορίζει με σαφήνεια την εργασία, τα εργαλεία, την κατάσταση και τον verifier για κάθε rollout. Έτσι, κάθε προσπάθεια ξεκινά από καθαρή κατάσταση και παράγει αποτελέσματα που μπορούν να συγκριθούν με συνέπεια.
Παράλληλα, το NeMo Gym καταγράφει τα traces σκέψης, τα μηνύματα εισόδου και εξόδου, καθώς και τις ενέργειες στα εργαλεία. Αυτή η πλήρης καταγραφή έδωσε στους μηχανικούς τη δυνατότητα να εξετάσουν αποτυχημένες κλήσεις, να εντοπίσουν ασαφείς οδηγίες και να δουν πότε ο agent επέλεγε λάθος εργαλείο ή ακολουθούσε μη παραγωγικές διαδρομές. Με αυτή τη μεθοδολογία, η αξιολόγηση μετατράπηκε από αποσπασματικό debugging σε συστηματική διαδικασία βελτιστοποίησης.
Τι αυτοματοποιεί ο agent της Siemens
Η Siemens χρησιμοποίησε το NeMo Gym για να αξιολογήσει και να βελτιώσει τον Fuse EDA AI Agent στην κλήση εργαλείων χαρακτηρισμού. Ο συγκεκριμένος agent συντονίζει εργαλεία του Solido Characterization Suite, το οποίο χρησιμοποιείται για τη δημιουργία ακριβών μοντέλων timing, power και noise για λογικά cells υπό διαφορετικές συνθήκες λειτουργίας. Η διαδικασία αυτή είναι θεμελιώδης για τον σχεδιασμό chip και απαιτείται κάθε φορά που ένα semiconductor foundry εκδίδει νέο process design kit, ή PDK.
Κάθε νέο PDK φέρνει μαζί του μοντέλα τρανζίστορ SPICE, κανόνες σχεδίασης και ορισμούς για συνδυασμούς process, voltage και temperature. Όταν αυτά αλλάζουν, τα προηγούμενα characterization datasets μπορεί να μην ανταποκρίνονται πλέον στις ιδιότητες των ενημερωμένων συσκευών. Αυτό αναγκάζει τις ομάδες να αναδημιουργούν και να επικυρώνουν μοντέλα timing και power για κάθε επηρεαζόμενο cell και για πολλούς συνδυασμούς συνθηκών, μια χρονοβόρα και τεχνικά απαιτητική εργασία που προσφέρεται για αυτοματοποίηση, αλλά μόνο εφόσον ο agent είναι αξιόπιστος.
Η σημασία της τελικής επαλήθευσης των artifacts
Ένα από τα βασικά συμπεράσματα της εργασίας ήταν ότι η end-to-end αξιολόγηση αποκαλύπτει αστοχίες που οι ενδιάμεσοι έλεγχοι δεν εντοπίζουν. Η τελική επαλήθευση των Liberty files έφερε στην επιφάνεια ελλείποντα cells, συνθήκες λειτουργίας που δεν είχαν παραχθεί, λάθος slew thresholds και τιμές timing ή power εκτός των επιτρεπτών ορίων. Με άλλα λόγια, η πραγματική ποιότητα του agent φάνηκε μόνο στο τελικό αποτέλεσμα.
Για να γίνει αυτή η διαδικασία επαναλήψιμη, η ομάδα υλοποίησε verifiers που αποδίδουν ένα σύνθετο τελικό reward score. Το σκορ βασίζεται σε πέντε κριτήρια: κάλυψη, εγκυρότητα, σχετική επικύρωση, ακρίβεια και ακεραιότητα. Αν κάποιο από τα βασικά gates αποτύχει, το reward μηδενίζεται, ενώ η τελική αναλογία τιμών εντός ανοχής καθορίζει το μέρος της ακρίβειας που περνά στον τελικό βαθμό.
Πώς βελτιώθηκε ο agent στην πράξη
Για το benchmark, η ομάδα χρησιμοποίησε το ανοιχτού κώδικα GF180MCU PDK και αξιολόγησε τον agent του Solido Characterization Suite στη δημιουργία Liberty files. Το dataset περιλάμβανε 229 standard cells σε 36 PVT corners, με το Solido AFS να χρησιμοποιείται για SPICE simulation. Ωστόσο, για τη βελτιστοποίηση της agentic ροής, κάθε run περιορίστηκε σε δύο cells στα ίδια 36 PVT corners, κάτι που κρίθηκε επαρκές για tuning χωρίς να χάνεται η ουσία της αξιολόγησης.
Κάθε run διαρκούσε περίπου 1,5 έως 2 ώρες και πραγματοποιήθηκαν περίπου 25 rollouts με το Claude Opus 4.8 μέσα από το Claude Code, ως σταθερό μοντέλο και πλαίσιο εκτέλεσης. Σε διαδοχικούς κύκλους αξιολόγησης, η ομάδα αναθεώρησε τις δεξιότητες χαρακτηρισμού και τις περιγραφές των εργαλείων MCP. Για να βελτιωθεί η επιλογή εργαλείου, απλοποιήθηκαν επικαλυπτόμενα file και shell interfaces και ορίστηκαν πιο σαφή JSON schemas για τα inputs, ώστε ο agent να καλεί σωστότερα τα διαθέσιμα εργαλεία.
Τα αποτελέσματα του benchmark
Μετά τις παρεμβάσεις αυτές, το μέσο σύνθετο σκορ επαλήθευσης αυξήθηκε από περίπου 55% σε 95%. Η βελτίωση δεν περιορίστηκε μόνο στην ποιότητα του τελικού αποτελέσματος, αλλά επηρέασε και την αποδοτικότητα της διαδικασίας. Ο agent χρειάστηκε λιγότερες αλληλεπιδράσεις και παρήγαγε μικρότερο όγκο εξόδου για να ολοκληρώσει την ίδια εργασία.
Συγκεκριμένα, τα turns μειώθηκαν από 155 σε 53, δηλαδή κατά περίπου 66%. Τα output tokens έπεσαν από περίπου 81.000 σε 29.000, καταγράφοντας μείωση κοντά στο 64%. Το στοιχείο αυτό έχει σημασία όχι μόνο για την ταχύτητα, αλλά και για το λειτουργικό κόστος και την προβλεψιμότητα μιας agentic ροής όταν αυτή πρόκειται να μεταφερθεί σε παραγωγικό περιβάλλον.
Τι σημαίνει αυτή η μεθοδολογία για άλλους κλάδους
Η NVIDIA υποστηρίζει ότι η ίδια λογική μπορεί να εφαρμοστεί και πέρα από το EDA, σε άλλους τομείς της μηχανικής όπως το CAE. Το βασικό δίδαγμα είναι ότι οι ομάδες δεν πρέπει να αξιολογούν απλώς αν μια κλήση εργαλείου ολοκληρώθηκε, αλλά αν το τελικό engineering artifact είναι ορθό, πλήρες και χρήσιμο. Αυτό απαιτεί εξειδικευμένους verifiers ανά γνωστικό πεδίο, που μπορούν να εντοπίσουν ελλείποντα, περικομμένα, αναδιατυπωμένα ή επαναχρησιμοποιημένα αποτελέσματα.
Εξίσου σημαντική είναι η συλλογή μεγάλου αριθμού rollouts, ώστε οι βελτιώσεις να μην βασίζονται σε μεμονωμένα περιστατικά. Η συστηματική ανάλυση αποτυχιών, σε συνδυασμό με στοχευμένες αλλαγές στα skills και στις διεπαφές MCP, δίνει έναν πρακτικό τρόπο για την ενίσχυση της αξιοπιστίας. Στην πράξη, το παράδειγμα της Siemens δείχνει ότι η μετάβαση των AI agents σε παραγωγικές τεχνικές ροές εξαρτάται περισσότερο από αυστηρή αξιολόγηση και λιγότερο από γενικές υποσχέσεις αυτοματοποίησης.
