Οι AI Εργαλεία Αντιγραφής Τώρα Απαιτούν Άδεια: Πώς να την Αποκτήσετε
Από τις 15 Σεπτεμβρίου, οι αυτόματοι πράκτορες AI, οι οποίοι συλλέγουν σελίδες σε πραγματικό χρόνο για λογαριασμό ενός χρήστη που περιμένει απάντηση, θα αποκλείονται από ένα μέρος του διαδικτύου. Η Cloudflare ανακοίνωσε αυτή την αλλαγή την 1η Ιουλίου, και η συζήτηση έχει επικεντρωθεί κυρίως στην Google. Ωστόσο, το πιο ενδιαφέρον κομμάτι αφορά τις απαιτήσεις που θέτει σε όσους κατασκευάζουν τέτοιους πράκτορες και τι τους προσφέρει σε αντάλλαγμα.
Η Cloudflare αντικατέστησε τον μοναδικό διακόπτη αποκλεισμού AI bots με τρεις κατηγορίες. Η κατηγορία “Αναζήτηση” καλύπτει bots που καταλογογραφούν μια σελίδα για να απαντήσουν σε ερωτήσεις αργότερα. Η κατηγορία “Πράκτορας” καλύπτει αυτοματοποιημένα συστήματα που λειτουργούν σε πραγματικό χρόνο για έναν χρήστη, όπως το bot ανάκτησης του ChatGPT και οι πράκτορες που οδηγούν προγράμματα περιήγησης. Η κατηγορία “Εκπαίδευση” καλύπτει εργαλεία που αντλούν περιεχόμενο για να το ενσωματώσουν στα μοντέλα τους. Οι έλεγχοι τέθηκαν σε ισχύ την 1η Ιουλίου για όλους τους πελάτες, συμπεριλαμβανομένων αυτών της δωρεάν κατηγορίας.
Αλλαγές στις Προεπιλογές από τις 15 Σεπτεμβρίου
Από τις 15 Σεπτεμβρίου, οι προεπιλογές αλλάζουν. Οι κατηγορίες “Εκπαίδευση” και “Πράκτορας” θα αποκλείονται σε σελίδες που εμφανίζουν διαφημίσεις, ενώ η κατηγορία “Αναζήτηση” θα παραμένει επιτρεπτή. Οι νέες προεπιλογές ισχύουν για τομείς που εντάσσονται πρόσφατα στην Cloudflare, νέους ιστότοπους που δημιουργούνται από υπάρχοντες πελάτες, καθώς και για όλους τους υπάρχοντες πελάτες της δωρεάν κατηγορίας.
Όσοι δεν επιθυμούν αυτές τις αλλαγές μπορούν να επιλέξουν την εξαίρεση μέσω των ρυθμίσεων ασφαλείας τους πριν από την ημερομηνία αυτή. Η λογική της Cloudflare είναι ότι μια διαφήμιση αποτελεί απόδειξη ότι μια σελίδα δημιουργήθηκε για να την επισκεφθεί ένας άνθρωπος. Ένας crawler αναζήτησης που επιστρέφει έναν αναγνώστη είναι μια παραπομπή. Ένας bot που διαβάζει τη σελίδα και παραδίδει την απάντηση σε κάποιον άλλο δεν είναι.
Οι Προκλήσεις για τους AI Πράκτορες
Οι αναπτύξεις πρακτόρων έχουν βασιστεί στην υπόθεση ότι το ανοικτό διαδίκτυο παραμένει ανοικτό. Ένας ερευνητικός πράκτορας ανακτά μια σελίδα τιμών ανταγωνιστή. Ένα εργαλείο παρακολούθησης ελέγχει τις ανακοινώσεις ενός προμηθευτή. Ένας πράκτορας εξυπηρέτησης πελατών αντλεί ένα φύλλο προδιαγραφών κατασκευαστή. Τίποτα από αυτά δεν απαιτεί άδεια, και μέχρι τώρα, δεν χρειαζόταν.
Η Cloudflare βρίσκεται μπροστά από ένα μεγάλο μέρος της παγκόσμιας διαδικτυακής κίνησης, και οι αποκλεισμοί της λειτουργούν σε επίπεδο δικτύου, αντί για μια πρόταση robots.txt που μπορεί να αγνοηθεί από έναν crawler. Οι σελίδες που υποστηρίζονται από διαφημίσεις είναι ακριβώς οι σελίδες που επιθυμούν οι πράκτορες, επειδή εκεί βρίσκονται οι ειδήσεις, οι κριτικές, οι τιμές και η κάλυψη προϊόντων. Η αποτυχία για έναν επιχειρηματικό πράκτορα δεν είναι μια αγωγή. Είναι η σιωπή, ή μια απάντηση που βασίζεται σε ό,τι μπορούσε ακόμα να φτάσει.
Η Πολυπλοκότητα της Google και οι Άδειες για AI Πράκτορες
Υπάρχει μια πολυπλοκότητα που σχετίζεται με την Google. Το Googlebot συλλέγει δεδομένα τόσο για αναζήτηση όσο και για εκπαίδευση σε ένα μόνο bot, οπότε υπό τον πιο περιοριστικό κανόνα, ένας ιστότοπος που αποκλείει την “Εκπαίδευση” αποκλείει επίσης το Googlebot. Ο CEO της Cloudflare, Matthew Prince, δήλωσε ότι η εταιρεία ελπίζει ότι οι αλλαγές θα “ενθαρρύνουν τους μικτούς crawlers να διαχωρίσουν την αναζήτηση από τη χρήση πρακτόρων και την εκπαίδευση”, κάτι που υποδηλώνει ότι η πίεση είναι το ζητούμενο.
Όσοι διαχειρίζονται πράκτορες θα πρέπει να ξεκινήσουν κατανοώντας ποιοι από τους λογαριασμούς τους στην Cloudflare θα αναγνωρίζονται ως κατηγορία “Πράκτορας”. Η ταξινόμηση είναι συμπεριφορική και όχι κάτι στο οποίο εγγράφεσαι, οπότε ένας ερευνητικός πράκτορας που περιηγείται σε πραγματικό χρόνο θα εντοπιστεί, ανεξάρτητα από το αν ο χειριστής του το θεωρεί crawler.
Προσαρμογή και Οικονομικές Πτυχές
Οι εκδότες έχουν διαφορετικές υποχρεώσεις. Πρώτα, πρέπει να ελέγξουν την κατηγορία τους, καθώς οι υπάρχοντες πελάτες της δωρεάν κατηγορίας μεταφέρονται αυτόματα στις νέες προεπιλογές στις 15 Σεπτεμβρίου, μια λεπτομέρεια που παραλείφθηκε σε πολλές αναφορές. Στη συνέχεια, πρέπει να αποφασίσουν αν ο αποκλεισμός της “Εκπαίδευσης” αξίζει το κόστος, καθώς αυτό συμπεριλαμβάνει το Googlebot και την ορατότητα αναζήτησής τους.
Ο μηχανισμός που αξίζει να παρακολουθείται είναι το οικονομικό κομμάτι. Το Pay Per Crawl γίνεται Pay Per Use, με το Ceramic.ai να πληρώνει εκδότες όταν το περιεχόμενό τους εμφανίζεται σε αποτελέσματα αναζήτησης AI, και το You.com να πληρώνει όταν ένας πράκτορας φτάνει σε premium περιεχόμενο. Η Cloudflare αναφέρει ότι πάνω από το μισό της κίνησης των AI crawlers δαπανάται για την επαναφορά σελίδων που δεν έχουν αλλάξει, οπότε υπάρχει σπατάλη και στις δύο πλευρές που αξίζει να κοστολογηθεί.
Συμπέρασμα: Η Νέα Πραγματικότητα για τους AI Πράκτορες
Αυτή είναι η πρώτη φάση της μάχης για το περιεχόμενο, όπου η απάντηση που προσφέρεται είναι μια τιμή και όχι ένας τοίχος. Μια αδυναμία βρίσκεται στην ίδια την ταξινόμηση. Οι κατηγορίες “Αναζήτηση”, “Πράκτορας” και “Εκπαίδευση” είναι συμπεριφορές που οι εταιρείες AI δηλώνουν για τα δικά τους bots, και μια εταιρεία που δεν θα ήθελε η εκπαίδευσή της να ταξινομηθεί ως τέτοια έχει ένα προφανές κίνητρο. Η ανακοίνωση δεν εξηγεί τι το εμποδίζει αυτό.
Η πρόσβαση στο ανοικτό διαδίκτυο ήταν ελεύθερη και απεριόριστη για τριάντα χρόνια, και τώρα ο λογαριασμός είναι αναλυτικός. Οι δημιουργοί πρακτόρων που θα διευθετήσουν την πρόσβασή τους πριν από τον Σεπτέμβριο έχουν ένα διαχειρίσιμο πρόβλημα. Αυτοί που θα το ανακαλύψουν από ένα 403 θα αναγκαστούν να ανακατασκευάσουν εν κινήσει.
