Η αγορά της μετάφρασης με τεχνητή νοημοσύνη αγαπά τους αριθμούς. Σχεδόν κάθε πάροχος μπορεί να παρουσιάσει μια βαθμολογία, συνήθως σε κλίμακα έως το 100, για να αποδείξει ότι οι δικές του αποδόσεις είναι οι καλύτερες. Η εικόνα αυτή δίνει την εντύπωση μιας καθαρής και αντικειμενικής κατάταξης, όμως η πραγματικότητα είναι πιο σύνθετη. Καθώς τα μοντέλα βελτιώνονται, οι διαφορές στις τυπικές μετρήσεις μικραίνουν και γίνονται δυσκολότερο να ερμηνευθούν χωρίς συμφραζόμενα.
Στο νέο της κείμενο, η DeepL υποστηρίζει ότι η ποιότητα εξακολουθεί να μετρά, αλλά όχι με τον τρόπο που συνήθως παρουσιάζεται. Η εταιρεία αναφέρει ότι σε εσωτερική ανάλυση του Μαρτίου, με 48.000 blind tests από γλωσσικούς ειδικούς, επικράτησε στο 94% των ομάδων δοκιμών σε 16 γλωσσικά ζεύγη και απέναντι σε πέντε μεγάλους ανταγωνιστές, συμπεριλαμβανομένων ισχυρών LLMs. Παρ’ όλα αυτά, το βασικό της επιχείρημα δεν είναι ότι ένας ακόμη πίνακας αποτελεσμάτων λύνει το ζήτημα. Είναι ότι η τυπική αξιολόγηση συχνά παραβλέπει τα στοιχεία που έχουν τη μεγαλύτερη σημασία στην πραγματική χρήση.
Τα benchmark δείχνουν λιγότερα απ’ όσα φαίνονται
Η DeepL παραδέχεται ότι όποιος ρωτήσει έναν πάροχο για την ποιότητα της μετάφρασης, πιθανότατα θα ακούσει έναν εντυπωσιακό αριθμό. Αυτό συμβαίνει επειδή η συζήτηση γύρω από την AI παραμένει έντονα προσανατολισμένη στα μετρήσιμα αποτελέσματα. Όμως τα δεδομένα δεν είναι από μόνα τους ουδέτερα, αφού η επιλογή της μεθόδου, του συνόλου δοκιμών και του τρόπου στάθμισης επηρεάζει το τελικό συμπέρασμα. Έτσι εξηγείται και γιατί διαφορετικές κατατάξεις μπορούν να αναδεικνύουν διαφορετικούς νικητές.
Το ουσιαστικότερο σημείο είναι ότι η γενική ποιότητα των συστημάτων AI για γραπτό κείμενο έχει ανέβει σημαντικά. Οι εμφανείς αστοχίες είναι πια λιγότερες και ένας μη ειδικός συχνά δεν μπορεί να εντοπίσει εύκολα τα λάθη με μια πρώτη ανάγνωση. Οι αποκλίσεις ανάμεσα στα καλύτερα εργαλεία είναι πλέον οριακές, λεπτές και συχνά υποκειμενικές. Αυτό δεν σημαίνει ότι όλα τα συστήματα είναι ίδια, αλλά ότι το κλασικό benchmark δεν αποτυπώνει πλήρως την εμπειρία χρήσης.
Τι ακριβώς μετρούν τα συστήματα αξιολόγησης
Στην ανθρώπινη αξιολόγηση, ένα βασικό σημείο αναφοράς είναι το MQM, το Multidimensional Quality Metrics. Το πλαίσιο αυτό δεν εξετάζει μόνο την ακρίβεια, δηλαδή το κατά πόσο το νόημα του πρωτοτύπου μεταφέρεται σωστά στη γλώσσα-στόχο. Εξετάζει επίσης τη φυσικότητα της γλώσσας, την απόδοση της εξειδικευμένης ορολογίας, το ύφος, τις τοπικές συμβάσεις και άλλες διαστάσεις. Με βάση τη στάθμιση αυτών των παραμέτρων, προκύπτει τελικά μια συνολική βαθμολογία.
Η δυσκολία είναι ότι η ανθρώπινη αξιολόγηση κοστίζει και απαιτεί χρόνο. Γι’ αυτό πολλές συγκρίσεις που συνοδεύουν εμπορικές ανακοινώσεις βασίζονται σε αυτόματες μεθόδους. Η IBM είχε παρουσιάσει το BLEU το 2001, το οποίο συγκρίνει τη μηχανική μετάφραση με μια ανθρώπινη εκδοχή αναφοράς. Στη συνέχεια ήρθε το TER το 2006, που μετρά πόσες επεμβάσεις χρειάζονται ώστε η μηχανική μετάφραση να γίνει ίδια με την ανθρώπινη, ενώ το COMET του 2020 προσπάθησε να ενσωματώσει και το πρωτότυπο κείμενο στη σύγκριση.
Η εποχή των LLM δεν έλυσε το πρόβλημα της αξιολόγησης
Με την είσοδο των LLMs στη διαδικασία αξιολόγησης, εμφανίστηκαν νέα εργαλεία όπως το GEMBA το 2023. Η ιδέα είναι ότι ένα μεγάλο γλωσσικό μοντέλο μπορεί να εφαρμόσει τις διαστάσεις του MQM και να εκτιμήσει την ποιότητα μιας μετάφρασης. Η εξέλιξη αυτή έκανε την αυτόματη αξιολόγηση πιο εξελιγμένη και χρήσιμη. Ωστόσο, σύμφωνα με τη DeepL, δεν έχει φτάσει ακόμη στο επίπεδο της ανθρώπινης κρίσης.
Ένα βασικό πρόβλημα είναι η μεροληψία. Όταν ένα LLM καλείται να αξιολογήσει κείμενο που έχει παραχθεί από το ίδιο ή από συγγενές μοντέλο, υπάρχει ο κίνδυνος να ευνοήσει λύσεις που μοιάζουν με τη δική του «λογική». Η DeepL παραπέμπει και στο WMT25, τη δέκατη έκδοση ετήσιου συνεδρίου για την αυτόματη αξιολόγηση, όπου το συμπέρασμα ήταν σαφές: τα συστήματα που προηγούνταν στις αυτόματες μετρικές δεν κέρδιζαν σταθερά στην ανθρώπινη αξιολόγηση. Με άλλα λόγια, ο τελικός κριτής της ποιότητας παραμένει ο άνθρωπος.
Το κενό ανάμεσα στη δοκιμή και στην πραγματική χρήση
Κατά τη DeepL, η μεγάλη απόσταση δεν βρίσκεται μόνο στο ποιος βγαίνει πρώτος σε ένα τεστ, αλλά και στο τι δεν μετράται καθόλου. Τα περισσότερα πλαίσια αξιολόγησης εξετάζουν μεμονωμένα τμήματα κειμένου, συνήθως προτάσεις, σαν να ήταν αποκομμένα από το ευρύτερο σύνολο. Μια τέτοια προσέγγιση είναι αναλυτική, όχι ολιστική. Στην πράξη όμως, ο χρήστης διαβάζει ολόκληρα άρθρα, οδηγούς, σελίδες προϊόντων και μηνύματα υποστήριξης, όχι σκόρπιες προτάσεις.
Αυτό σημαίνει ότι η συνοχή από άκρο σε άκρο αποκτά τεράστια σημασία. Αν μια εταιρεία χρησιμοποιεί διαφορετικούς όρους για το ίδιο χαρακτηριστικό σε προϊόν, κέντρο βοήθειας και κουμπιά προτροπής, τότε η ποιότητα της μετάφρασης υπονομεύεται, ακόμη κι αν κάθε μεμονωμένη πρόταση είναι γλωσσικά σωστή. Η DeepL υποστηρίζει ότι στοιχεία όπως τα glossaries, οι κανόνες ύφους και οι translation memories γίνονται καθοριστικά σε αυτό το επίπεδο. Εκεί, η συνέπεια και όχι μόνο η επιμέρους ακρίβεια γίνεται ο πραγματικός δείκτης ποιότητας.
Γιατί η προβλεψιμότητα μετρά περισσότερο στις επιχειρήσεις
Ένα ακόμη σημείο που τονίζει η εταιρεία είναι η προβλεψιμότητα του αποτελέσματος. Τα γενικής χρήσης LLMs, όπως τα Claude, Gemini και ChatGPT, λειτουργούν με πιθανοκρατικό τρόπο και αυτό μπορεί να επηρεάσει τη σταθερότητα της ορολογίας, του ύφους και της συμμόρφωσης. Η DeepL υποστηρίζει ότι αυτή η φύση των μεγάλων μοντέλων οδηγεί σε λιγότερο προβλέψιμη συμπεριφορά. Για έναν οργανισμό που μεταφράζει σε μεγάλη κλίμακα, αυτό μπορεί να γίνει σοβαρό λειτουργικό πρόβλημα.
Η εταιρεία προσθέτει ότι ακόμη και όταν τα τελευταία γενικής χρήσης LLMs πετυχαίνουν ανταγωνιστική ποιότητα σε συγκεκριμένα γλωσσικά ζεύγη, αυτό έχει κόστος. Όπως αναφέρει, απαιτούν μεγαλύτερα μοντέλα, ευρύτερη επιχειρησιακή υποδομή και μεγαλύτερα context windows. Αυτό συνεπάγεται περισσότερα tokens, απρόβλεπτο κόστος και αισθητά χαμηλότερη ταχύτητα, από 4 έως 29 φορές πιο αργή σε σενάρια API. Άρα, η ποιότητα δεν αφορά μόνο το τελικό κείμενο, αλλά και το αν μπορεί να παραχθεί με σταθερό και κλιμακούμενο τρόπο.
Η πρόταση της DeepL για πιο ολιστική αξιολόγηση
Ως απάντηση σε αυτά τα όρια, η DeepL παρουσιάζει το TQE, ένα νέο μοντέλο Translation Quality Evaluation. Η λογική του δεν είναι να αποδίδει απλώς έναν αριθμό και να κλείνει εκεί η συζήτηση. Αντίθετα, σχεδιάστηκε για να εντοπίζει πιθανά λάθη και σημεία όπου χρειάζεται παρέμβαση από ανθρώπινους ειδικούς. Με αυτόν τον τρόπο, η αυτόματη αξιολόγηση λειτουργεί ως εργαλείο υποστήριξης και όχι ως τελικός κριτής.
Η εταιρεία σημειώνει επίσης ότι το TQE λαμβάνει υπόψη τις ρυθμίσεις προσαρμογής που χρησιμοποιεί ένας οργανισμός μέσα στο οικοσύστημα της DeepL. Δηλαδή, δεν εξετάζει τη μετάφραση απομονωμένα, αλλά ελέγχει αν εφαρμόζονται σωστά η ορολογία, το ύφος και ο τόνος στο συγκεκριμένο συγκείμενο. Αυτή είναι η «ολιστική» θεώρηση της ποιότητας που προτείνει η εταιρεία ως πιο χρήσιμη για πραγματική παραγωγική χρήση. Η βασική ιδέα είναι ότι η αξία της μετάφρασης κρίνεται τελικά εκεί όπου χρησιμοποιείται, όχι μόνο στον πίνακα ενός benchmark.
Τι σημαίνει αυτό για την επιλογή παρόχου μετάφρασης
Το συμπέρασμα του άρθρου δεν είναι ότι τα benchmark είναι άχρηστα. Αντιθέτως, μπορούν να προσφέρουν μια πρώτη εικόνα και να βοηθήσουν στον εντοπισμό τεχνολογικών τάσεων. Όμως δεν αρκούν για να απαντήσουν στο βασικό ερώτημα μιας επιχείρησης ή ενός οργανισμού: ποιο σύστημα θα αποδώσει καλύτερα στο δικό μου περιεχόμενο, με τις δικές μου απαιτήσεις συνέπειας και κλίμακας; Η απάντηση προϋποθέτει συνδυασμό μετρικών, πραγματικών σεναρίων χρήσης και ανθρώπινης αξιολόγησης.
Σε μια περίοδο όπου η ποιοτική διαφορά ανάμεσα στα κορυφαία συστήματα στενεύει, τα πιο κρίσιμα κριτήρια μετακινούνται. Η συνέπεια, η συμμόρφωση με την εταιρική ορολογία, η ταχύτητα και η προβλεψιμότητα γίνονται εξίσου σημαντικά με την καθαρή γλωσσική ορθότητα. Αυτό είναι και το κεντρικό μήνυμα της DeepL: η ποιότητα της μετάφρασης εξακολουθεί να έχει σημασία, αλλά πρέπει να αξιολογείται με όρους πραγματικής χρήσης. Για όσους επιλέγουν πλατφόρμα AI μετάφρασης, το ζητούμενο δεν είναι μόνο ποιος κερδίζει στα τεστ, αλλά ποιος παραμένει αξιόπιστος στην πράξη.
