Η NVIDIA παρουσίασε το SkillEvaluator, ένα open source εργαλείο αξιολόγησης που εξετάζει με μεθοδικό τρόπο αν τα λεγόμενα skills βελτιώνουν πράγματι την απόδοση των AI agents. Η βασική ιδέα είναι απλή: ακόμη και ισχυρά μοντέλα δυσκολεύονται όταν δεν λαμβάνουν το σωστό πλαίσιο, τις κατάλληλες οδηγίες ή σαφή καθοδήγηση για τα διαθέσιμα εργαλεία. Σε τέτοιες περιπτώσεις, ένας agent μπορεί να σπαταλήσει βήματα, να καταναλώσει περισσότερα tokens ή να ακολουθήσει αδιέξοδες διαδρομές. Η NVIDIA επιχειρεί να μετατρέψει αυτή τη γενική διαπίστωση σε μετρήσιμα αποτελέσματα.
Στην προσέγγιση της εταιρείας, τα skills λειτουργούν ως πακέτα οδηγιών, παραδειγμάτων και κανόνων χρήσης εργαλείων, ώστε ο agent να φτάνει ταχύτερα από την πρόθεση του χρήστη στη λύση. Το SkillEvaluator δημιουργήθηκε για να μετρά αυτή τη διαφορά τόσο με στατικούς ελέγχους όσο και με πραγματικές εκτελέσεις εργασιών, με και χωρίς το αντίστοιχο skill εγκατεστημένο. Η NVIDIA αναφέρει ότι έχει ήδη αξιολογήσει περισσότερα από 300 verified skills που καλύπτουν πάνω από 30 προϊόντα της. Τα πρώτα benchmarks δείχνουν ότι ένα σωστά σχεδιασμένο skill μπορεί να συμβάλει ουσιαστικά στην απόδοση ενός agent.
Τι είναι τα verified skills και γιατί έχουν σημασία
Η NVIDIA περιγράφει τα verified skills ως υπογεγραμμένες περιγραφές δυνατοτήτων που ενημερώνουν έναν agent για το τι ακριβώς κάνει ένα προϊόν της, πότε πρέπει να ενεργοποιηθεί και με ποιον τρόπο καλείται. Η αξία τους δεν βρίσκεται μόνο στην τεκμηρίωση, αλλά στο ότι συνοδεύονται από διαδικασία μέτρησης που δείχνει αν είναι πραγματικά έτοιμα για χρήση. Με άλλα λόγια, ο χαρακτηρισμός verified δεν αφορά μόνο τη μορφή του πακέτου, αλλά και την απόδοσή του σε ελεγχόμενο περιβάλλον. Αυτό είναι σημαντικό για οργανισμούς που θέλουν πιο προβλέψιμη συμπεριφορά από agents σε εξειδικευμένες εργασίες.
Η λογική πίσω από αυτή την κίνηση είναι ότι οι agents δεν αποτυγχάνουν μόνο λόγω αδύναμων μοντέλων, αλλά συχνά λόγω ελλιπούς πλαισίου. Ένα skill μπορεί να βοηθήσει τον agent να εντοπίσει το σωστό εργαλείο, να ακολουθήσει την κατάλληλη αλληλουχία ενεργειών και να αποφύγει άσκοπες κλήσεις. Αυτό αποκτά ιδιαίτερη βαρύτητα σε περιβάλλοντα όπου πολλά skills ανταγωνίζονται για την προσοχή του agent. Αν ένα skill ενεργοποιείται λανθασμένα ή υπερβολικά συχνά, μπορεί να μειώσει συνολικά την απόδοση αντί να τη βελτιώσει.
Η μεθοδολογία αξιολόγησης σε τρία επίπεδα
Πριν δημοσιευτεί ένα skill, περνά από τρία διακριτά επίπεδα ελέγχου. Το πρώτο επίπεδο αφορά την ασφάλεια και τη δομή, με ελέγχους για schema και frontmatter validation, ποιοτική βαθμολόγηση, έλεγχο για prompt injection και exfiltration δεδομένων, ανίχνευση μυστικών και προσωπικών δεδομένων, ελέγχους αδειοδότησης και linting σε scripts. Πρόκειται ουσιαστικά για ένα φίλτρο ποιότητας και ασφάλειας πριν φτάσει το skill σε πραγματικές δοκιμές. Με αυτόν τον τρόπο, η αξιολόγηση δεν ξεκινά από το τελικό αποτέλεσμα, αλλά από τη βασική αξιοπιστία του πακέτου.
Το δεύτερο επίπεδο εξετάζει τη διακριτότητα του skill μέσα στον κατάλογο. Χρησιμοποιεί ομοιότητα embeddings για να εντοπίζει επαναλαμβανόμενες οδηγίες μέσα στο ίδιο skill ή επικαλύψεις με άλλα skills του οικοσυστήματος. Αυτό μειώνει τον κίνδυνο πλεονασμού και βοηθά στη δημιουργία σαφέστερου καταλόγου δυνατοτήτων. Το τρίτο επίπεδο είναι η ζωντανή αξιολόγηση, όπου μετριέται η πραγματική διαφορά στην εκτέλεση εργασιών όταν το skill είναι εγκατεστημένο και όταν απουσιάζει.
Πώς λειτουργεί η ζωντανή αξιολόγηση
Για το τρίτο επίπεδο, η NVIDIA χρησιμοποιεί το Harbor, ένα open source framework για επαναλήψιμες αξιολογήσεις agents σε απομονωμένα περιβάλλοντα. Το SkillEvaluator αναλαμβάνει να στήσει αυτή τη διαδικασία, να μετατρέψει τα evaluation cases σε tasks, να εκτελέσει τους agents σε sandboxes, να συλλέξει τα αποτελέσματα και να υπολογίσει την επίδραση του skill. Το κρίσιμο σημείο είναι ότι κάθε αποτέλεσμα προκύπτει από ελεγχόμενη σύγκριση. Για κάθε δοκιμή, όλα μένουν ίδια — prompt, μοντέλο, είσοδοι και κριτήρια βαθμολόγησης — εκτός από μία μεταβλητή: αν το skill είναι εγκατεστημένο.
Η ίδια σύγκριση επαναλαμβάνεται σε δύο ανεξάρτητα agent harnesses, συγκεκριμένα στα Codex και Claude Code. Η διαφορά ανάμεσα στο σκορ με skill και χωρίς skill αποτυπώνεται ως Skill Lift, σε μονάδες βαθμών και όχι ως ποσοστιαία μεταβολή. Σύμφωνα με τη NVIDIA, η μέθοδος αυτή επιτρέπει πιο καθαρή απομόνωση της συμβολής του skill. Παράλληλα, απλοποιεί τη ροή για τον χρήστη, αφού το Harbor αναλαμβάνει το υπόβαθρο της εκτέλεσης και της απομόνωσης.
Τα βασικά αποτελέσματα των benchmarks
Τα στοιχεία που δημοσίευσε η NVIDIA βασίζονται σε snapshot της 12ης Αυγούστου 2026 και αφορούν μακρομέσους όρους από δημοσιευμένα αποτελέσματα skill-harness. Στις δοκιμές χωρίς skill, οι agents πέτυχαν κατά μέσο όρο 46 στην Ορθότητα, 42 στην Ανακαλυψιμότητα, 39 στην Αποτελεσματικότητα και 43 στην Αποδοτικότητα, σε κλίμακα 100 βαθμών. Η Ασφάλεια ήταν ήδη πολύ υψηλή, με μέσο σκορ 97. Η εικόνα αυτή δείχνει ότι, χωρίς εξειδικευμένη καθοδήγηση, υπάρχει σημαντικό περιθώριο βελτίωσης στις περισσότερες διαστάσεις.
Με εγκατεστημένο verified skill, οι επιδόσεις αυξήθηκαν αισθητά. Η Ορθότητα ανέβηκε από 46 σε 87, η Ανακαλυψιμότητα από 42 σε 82, η Αποτελεσματικότητα από 39 σε 78 και η Αποδοτικότητα από 43 σε 78. Το αντίστοιχο Skill Lift ήταν +41, +40, +39 και +35 βαθμοί, ενώ στην Ασφάλεια η βελτίωση ήταν μόλις +1, καθώς το σημείο εκκίνησης ήταν ήδη πολύ υψηλό. Συνολικά, ο μέσος όρος του Skill Lift σε όλες τις διαστάσεις ήταν +31 βαθμοί, ή +39 αν εξαιρεθεί η Ασφάλεια.
Τι δείχνουν οι διαφορές ανάμεσα στα harnesses
Η NVIDIA σημειώνει ότι τα δύο harnesses, Claude Code και OpenAI Codex, εμφάνισαν συνεπείς αλλά όχι ταυτόσημες βελτιώσεις. Στο σύνολο των διαστάσεων, το Claude Code εμφάνισε Skill Lift +34 βαθμών και το Codex +29. Αν αφαιρεθεί η Ασφάλεια, τα αντίστοιχα νούμερα διαμορφώνονται σε +42 και +36. Οι αποκλίσεις αυτές θεωρούνται αναμενόμενες, καθώς κάθε harness έχει διαφορετικά system prompts, διαφορετικό χειρισμό του context και διαφορετικό τρόπο κλήσης εργαλείων.
Ένα από τα πιο ουσιαστικά συμπεράσματα, πάντως, είναι ότι ο τύπος του προϊόντος φαίνεται να επηρεάζει περισσότερο το αποτέλεσμα από το ίδιο το agent harness. Η NVIDIA αναφέρει ότι η μέση διαφορά μεταξύ Claude Code και Codex είναι περίπου 5 βαθμοί, ενώ σε επίπεδο προϊόντος το Skill Lift κυμαίνεται περίπου από +2 έως +46. Αυτό υποδηλώνει ότι το πεδίο εφαρμογής, ο σχεδιασμός της εργασίας και η ποιότητα του evaluation dataset είναι κρισιμότεροι παράγοντες από την επιλογή μόνο του agent. Για ομάδες ανάπτυξης, το μήνυμα είναι ότι η καλή περιγραφή της εργασίας επηρεάζει άμεσα την ποιότητα της μέτρησης.
Περιορισμοί και πρακτικά συμπεράσματα
Η NVIDIA αναγνωρίζει ότι υπάρχουν περιορισμοί στα αποτελέσματα. Τα περισσότερα skills αξιολογήθηκαν με μία μόνο προσπάθεια ανά εργασία, συγκεκριμένα το 85% των δημοσιευμένων αποτελεσμάτων, ενώ το υπόλοιπο 15% με δύο προσπάθειες. Επειδή οι ζωντανές εκτελέσεις agents εμφανίζουν μεταβλητότητα από run σε run, οι επιδόσεις ενός μεμονωμένου skill μπορεί να διαφέρουν. Παρότι οι μέσοι όροι του καταλόγου στηρίζονται σε χιλιάδες δοκιμές, η ανάρτηση δεν δημοσιεύει confidence intervals.
Ένα ακόμη ενδιαφέρον εύρημα είναι ότι η εξοικονόμηση tokens δεν είναι αυτόματη συνέπεια της χρήσης skills. Το SkillEvaluator μετρά ξεχωριστά την κατανάλωση tokens και τον χρόνο εκτέλεσης, πέρα από τη γενική Αποδοτικότητα. Σε ένα παράδειγμα, το jetson-optimize-memory μείωσε τα tokens κατά 76,9% και τον χρόνο εκτέλεσης κατά 53,7%, ενώ σε άλλο το cuopt-install αύξησε tokens και χρόνο, δείχνοντας ότι υπάρχει περιθώριο βελτιστοποίησης. Άρα, το εργαλείο δεν λειτουργεί μόνο ως μέσο επιβεβαίωσης, αλλά και ως μηχανισμός εντοπισμού αδυναμιών σε ένα skill.
Πού στοχεύει το εργαλείο και τι ακολουθεί
Η NVIDIA διαθέτει plugins για Claude Code, Codex και Cursor, ενώ τα ίδια skills είναι διαθέσιμα και μέσω Skills.sh, ClawHub και Hermes Hub. Παράλληλα, αναφέρει πιλοτικές χρήσεις του SkillEvaluator από συνεργάτες, όπως το OpenClaw και το Nous Research. Σε αυτές τις ενσωματώσεις, η αξιολόγηση δεν περιορίζεται στην τελική βαθμολογία, αλλά εμφανίζεται μέσα στη ροή ανακάλυψης ή εγκατάστασης ενός skill. Αυτό έχει πρακτική αξία για προγραμματιστές που θέλουν να δουν άμεσα αν ένα skill προσφέρει μετρήσιμο όφελος πριν το υιοθετήσουν.
Σε ευρύτερο επίπεδο, η ανακοίνωση δείχνει μια μετατόπιση από την απλή διάθεση εργαλείων για agents προς τη συστηματική αξιολόγηση της χρησιμότητάς τους. Αν οι agents πρόκειται να αξιοποιηθούν σε πιο εξειδικευμένες εργασίες, δεν αρκεί να υπάρχουν skills· πρέπει και να αποδεικνύεται η αξία τους με σταθερό και επαναλήψιμο τρόπο. Το SkillEvaluator επιχειρεί να καλύψει ακριβώς αυτό το κενό, συνδέοντας τη σχεδίαση skills με μετρήσιμα κριτήρια απόδοσης. Για την αγορά των AI agents, αυτό είναι ίσως το πιο ουσιαστικό στοιχείο της ανακοίνωσης.
