Η διαφορά μεταξύ ανοιχτής κοινότητας AI και μεγάλων ιδιωτικών εταιρειών: Περισσότερο από την υπολογιστική ισχύ
Στην κοινότητα της ανοιχτής πηγής AI, πολλοί πιστεύουν ότι η διαφορά μεταξύ αυτών και των μεγάλων ιδιωτικών εταιρειών δεν περιορίζεται μόνο στην υπολογιστική ισχύ. Η Ai2 εργάζεται για να γεφυρώσει αυτό το χάσμα, αρχικά με πλήρως ανοιχτές βάσεις δεδομένων και μοντέλα, και τώρα με ένα ανοιχτό και εύκολα προσαρμόσιμο σύστημα μετά-εκπαίδευσης για να μετατρέψει τα “ακατέργαστα” μεγάλα γλωσσικά μοντέλα (LLMs) σε χρήσιμα εργαλεία.
Η σημασία της μετά-εκπαίδευσης στα γλωσσικά μοντέλα
Αντίθετα με ό,τι πιστεύουν πολλοί, τα “θεμελιώδη” γλωσσικά μοντέλα δεν είναι έτοιμα για χρήση αμέσως μετά την εκπαίδευση. Η προκαταρκτική εκπαίδευση είναι απαραίτητη, αλλά δεν είναι αρκετή από μόνη της. Ορισμένοι πιστεύουν ότι η μετά-εκπαίδευση μπορεί σύντομα να γίνει το πιο σημαντικό στάδιο. Κατά τη διάρκεια της μετά-εκπαίδευσης, το μοντέλο διαμορφώνεται από ένα τεράστιο, πολυδιάστατο δίκτυο σε ένα εργαλείο που μπορεί να παράγει αξιόπιστες και χρήσιμες απαντήσεις.
Η μυστικότητα των εταιρειών σχετικά με τις μεθόδους μετά-εκπαίδευσης
Οι εταιρείες είναι συχνά μυστικοπαθείς σχετικά με τις μεθόδους μετά-εκπαίδευσης, καθώς η διαδικασία αυτή προσθέτει πραγματική αξία στα μοντέλα. Ενώ όλοι μπορούν να χρησιμοποιήσουν τις τελευταίες μεθόδους για να δημιουργήσουν ένα μοντέλο, η μετατροπή αυτού του μοντέλου σε ένα εργαλείο χρήσιμο για ειδικούς, όπως θεραπευτές ή αναλυτές, είναι μια εντελώς διαφορετική πρόκληση.
Η δέσμευση της Ai2 για πλήρη διαφάνεια και ανοιχτότητα
Η Ai2, πρώην γνωστή ως Ινστιτούτο Allen για την AI, έχει εκφράσει την ανησυχία της για την έλλειψη διαφάνειας σε φαινομενικά “ανοιχτά” έργα AI, όπως το Llama της Meta. Παρόλο που το μοντέλο είναι ελεύθερο για χρήση και τροποποίηση, οι πηγές και η διαδικασία δημιουργίας του παραμένουν μυστικές. Η Ai2, αντίθετα, δεσμεύεται να είναι όσο το δυνατόν πιο ανοιχτή, αποκαλύπτοντας τις διαδικασίες συλλογής, επιμέλειας και καθαρισμού δεδομένων, καθώς και τις μεθόδους εκπαίδευσης που χρησιμοποιεί.
Η πρόκληση της μετά-εκπαίδευσης και η λύση της Ai2 με το Tülu 3
Η αλήθεια είναι ότι λίγοι προγραμματιστές έχουν τις ικανότητες να εκτελέσουν τα δικά τους LLMs, και ακόμα λιγότεροι μπορούν να κάνουν μετά-εκπαίδευση όπως οι μεγάλες εταιρείες. Η Ai2 επιδιώκει να εκδημοκρατίσει αυτή την πτυχή του οικοσυστήματος AI με το Tülu 3, μια σημαντική βελτίωση σε σχέση με προηγούμενες διαδικασίες μετά-εκπαίδευσης. Το Tülu 3 καλύπτει τα πάντα, από την επιλογή θεμάτων για το μοντέλο έως την επιμέλεια δεδομένων, την ενισχυτική μάθηση και την προσαρμογή προτιμήσεων.
Η σημασία της ανεξαρτησίας από τις μεγάλες εταιρείες
Η δυνατότητα δημιουργίας προσαρμοσμένων LLMs χωρίς εξάρτηση από μεγάλες εταιρείες ή μεσάζοντες είναι κρίσιμη για πολλές εταιρείες, ειδικά εκείνες που ασχολούνται με ευαίσθητα δεδομένα, όπως οι ιατρικές ερευνητικές εταιρείες. Η χρήση εξωτερικών υπηρεσιών μπορεί να είναι αναπόφευκτη, αλλά όταν υπάρχει μια εναλλακτική, όπως ένα πλήρες σύστημα προ- και μετά-εκπαίδευσης που μπορεί να εφαρμοστεί εσωτερικά, αποτελεί μια καλύτερη επιλογή.
Συμπέρασμα: Η πλήρης ανοιχτότητα της Ai2 και το μέλλον της AI
Η Ai2 χρησιμοποιεί το Tülu 3 για τις δικές της ανάγκες, το οποίο αποτελεί την καλύτερη εγγύηση για την αποτελεσματικότητά του. Παρόλο που τα αποτελέσματα των δοκιμών που δημοσιεύει σήμερα βασίζονται στο Llama, σχεδιάζει να κυκλοφορήσει σύντομα ένα μοντέλο βασισμένο στο OLMo και εκπαιδευμένο με το Tülu 3, το οποίο θα είναι πλήρως ανοιχτό από την αρχή μέχρι το τέλος.
