Τέσσερα από τα πιο δημοφιλή chatbots τεχνητής νοημοσύνης στην Ευρώπη δεν παρέχουν στους χρήστες ακριβείς πληροφορίες για τις επερχόμενες εκλογές, σύμφωνα με μια νέα μελέτη.
Η Democracy Reporting International, μια μη κερδοσκοπική οργάνωση με έδρα το Βερολίνο, εισήγαγε διάφορες ερωτήσεις σχετικά με τις ευρωπαϊκές εκλογές μέσω του Gemini της Google, του ChatGPT 3.5 και 4.0 της OpenAI και του Copilot της Microsoft για να δει τι απαντήσεις θα έπαιρνε.
Μεταξύ 11 και 14 Μαρτίου, οι ερευνητές έθεσαν στα chatbots 400 ερωτήσεις σχετικά με τις εκλογές ή/και τη διαδικασία ψηφοφορίας σε 10 χώρες της ΕΕ. Οι ερωτήσεις ήταν γραμμένες σε απλή γλώσσα, κατάλληλη για τον μέσο χρήστη αυτών των chatbots τεχνητής νοημοσύνης.
Το συμπέρασμα: κανένα από τα τέσσερα chatbots δεν μπόρεσε να “δώσει αξιόπιστες απαντήσεις” σε τυπικές ερωτήσεις σχετικά με τις εκλογές. Αυτό παρά το γεγονός ότι είχαν γίνει ρυθμίσεις, ώστε να μην δίνονται απαντήσεις που υποστηρίζουν κομματικούς σχηματισμούς.
“Δεν εκπλαγήκαμε τόσο πολύ”, δήλωσε ο Michael-Meyer Resende, εκτελεστικός διευθυντής της Democracy Reporting International, στο Euronews Next σχετικά με τα αποτελέσματα της έρευνάς τους.
“Όταν ρωτάς [τα AI chatbots] κάτι για το οποίο δεν έχουν πολύ υλικό και για το οποίο δεν βρίσκεις πολλές πληροφορίες στο διαδίκτυο, απλά εφευρίσκουν κάτι”.
Η μελέτη είναι η τελευταία που διαπιστώνει ότι τα AI chatbots διαδίδουν παραπληροφόρηση σε αυτό που πολλοί αποκαλούν ως την πιο «σημαντική εκλογική χρονιά» στον κόσμο.
Τον περασμένο Δεκέμβριο, το AlgorithmWatch, μια μη κερδοσκοπική οργάνωση με έδρα το Βερολίνο, δημοσίευσε μια παρόμοια μελέτη που έδειξε ότι το Bing Chat, το chatbot με τεχνητή νοημοσύνη στη μηχανή αναζήτησης της Microsoft, απάντησε λάθος σε μία στις τρεις ερωτήσεις για τις εκλογές στη Γερμανία και την Ελβετία.
Υπό το πρίσμα των ευρημάτων της μελέτης, η Google – της οποίας το Gemini βρέθηκε να παρέχει τις περισσότερες παραπλανητικές ή ψευδείς πληροφορίες και τον μεγαλύτερο αριθμό αρνήσεων απάντησης σε ερωτήματα – επιβεβαίωσε στο Euronews Next ότι έχει πλέον θέσει περαιτέρω περιορισμούς στο μεγάλο γλωσσικό μοντέλο της (LLM).
Chatbots “χρήσιμα, παρά ακριβή”
Υπάρχουν αρκετοί τομείς στους οποίους τα chatbots είχαν κακές επιδόσεις, όπως οι ερωτήσεις σχετικά με την εγγραφή ψηφοφόρων και την ψήφο εκτός χώρας, δήλωσε ο Resende.
Για παράδειγμα, η μελέτη διαπίστωσε ότι τα chatbots υποστηρίζουν την συμμετοχή όμως τόνισαν ότι είναι προσωπική επιλογή: παρά το γεγονός ότι η ψηφοφορία είναι υποχρεωτική στην Ελλάδα, το Βέλγιο, το Λουξεμβούργο και τη Βουλγαρία.
Η μελέτη διαπίστωσε επίσης ότι τα chatbots συχνά κατασκευάζουν πληροφορίες, εάν δεν γνωρίζουν την απάντηση. Αυτό αφορά και λανθασμένες ημερομηνίες εκλογών.
Για παράδειγμα, τρία από τα chatbots έκαναν το ίδιο λάθος, λέγοντας στους χρήστες ότι μπορούσαν να ψηφίσουν μέσω ταχυδρομείου στην Πορτογαλία, αλλά στην πραγματικότητα, αυτό δεν αποτελεί επιλογή για το πορτογαλικό εκλογικό σώμα.
Στη Λιθουανία, το Gemini ισχυρίστηκε ότι το Ευρωπαϊκό Κοινοβούλιο θα έστελνε μια αποστολή παρατηρητών – κάτι που δεν είναι αληθές (η μόνη αποστολή της ΕΕ για τις εκλογές του 2024 που έχει προγραμματιστεί μέχρι στιγμής είναι για το Μπαγκλαντές).
Ο Resende ερμηνεύει αυτά τα αποτελέσματα ως “την τάση των chatbots που θέλουν να είναι “χρήσιμα” παρά ακριβή”.
Ακόμη και στις πιο ισχυρές απαντήσεις των chatbots, η έκθεση διαπίστωσε ότι οι απαντήσεις συχνά περιείχαν σπασμένους ή άσχετους συνδέσμους, γεγονός που σύμφωνα με τη μελέτη “αποδυναμώνει” την ποιότητά τους.
Τα πράγματα έγιναν πιο περίπλοκα όταν οι ερευνητές αναζήτησαν απαντήσεις σε διάφορες ευρωπαϊκές γλώσσες.
Οι ερευνητές έθεσαν την ίδια ερώτηση σε 10 από τις επίσημες γλώσσες της ΕΕ και, σε ορισμένες από αυτές, οι πλατφόρμες αρνούνταν να απαντήσουν (όπως το Gemini στα ισπανικά) ή μπέρδευαν πληροφορίες σχετικά με τις τοπικές εκλογές με την πανευρωπαϊκή διαδικασία.
Αυτό συνέβη όταν οι ερωτήσεις τέθηκαν στα τουρκικά, τη γλώσσα που προκάλεσε τον μεγαλύτερο αριθμό ανακριβειών και ψευδών απαντήσεων.
Τα chatbots έδιναν επίσης διαφορετικές απαντήσεις όταν η ίδια ερώτηση γινόταν πολλές φορές στην ίδια γλώσσα, κάτι που οι ερευνητές χαρακτήρισαν ως “τυχαίο”.
Ο Resende αναγνωρίζει ότι αυτό καθιστά δύσκολη την αναπαραγωγή της μελέτης της Democracy Reporting International.
Οι επιδόσεις ποικίλλουν μεταξύ των chatbots
Η έκθεση διαπίστωσε ότι το Gemini της Google είχε τις χειρότερες επιδόσεις όσον αφορά την παροχή ακριβών και αξιοποιήσιμων πληροφοριών, καθώς και τον υψηλότερο αριθμό αρνήσεων.
Ωστόσο, εξακολουθεί να απαντά σε ορισμένες ερωτήσεις σχετικά με τις εκλογές, παρά το γεγονός ότι η Google περιόρισε το Gemini τον Μάρτιο σε μια προσπάθεια να αποφύγει “πιθανά λάθη” στον τρόπο χρήσης της τεχνολογίας.
Εκπρόσωπος της Google δήλωσε στο Euronews Next ότι επέκτεινε αυτούς τους περιορισμούς σε όλες τις ερωτήσεις που εξετάστηκαν σε αυτή τη μελέτη και στις 10 γλώσσες που χρησιμοποιήθηκαν, επειδή είναι η “υπεύθυνη προσέγγιση” στην αντιμετώπιση των περιορισμών των μεγάλων γλωσσικών μοντέλων.
Η Google ενθάρρυνε τους χρήστες της να χρησιμοποιούν την αναζήτηση Google αντί για το Gemini για να βρουν ακριβείς πληροφορίες σχετικά με τις επερχόμενες εκλογές.
Ο Resende με τη Democracy Reporting International δήλωσε ότι αυτός είναι ο τρόπος που πρέπει να ακολουθήσουν και οι άλλες πλατφόρμες.
“Νομίζουμε ότι είναι καλύτερα να αρνηθούν να απαντήσουν παρά να δώσουν ψευδείς απαντήσεις”, δήλωσε ο Resende.
Ο μη κερδοσκοπικός οργανισμός θα διεξάγει εκ νέου τις δοκιμές του Gemini τις επόμενες εβδομάδες για να δει αν η Google τηρεί τις δεσμεύσεις της, δήλωσε ο Resende.
Σε δήλωσή της στο Euronews Next, η Microsoft περιέγραψε τις ενέργειές της ενόψει των ευρωπαϊκών εκλογών, συμπεριλαμβανομένης μιας σειράς δεσμεύσεων για την προστασία των εκλογών που “συμβάλλουν στη διασφάλιση των ψηφοφόρων, των υποψηφίων, των εκστρατειών και των εκλογικών αρχών”.
Στο πλαίσιο αυτών των δεσμεύσεων είναι η παροχή στους ψηφοφόρους “έγκυρων εκλογικών πληροφοριών” στο Bing.
“Ενώ κανένα πρόσωπο, θεσμός ή εταιρεία δεν μπορεί να εγγυηθεί ότι οι εκλογές είναι ελεύθερες και δίκαιες, μπορούμε να σημειώσουμε ουσιαστική πρόοδο στην προστασία του δικαιώματος όλων μας σε ελεύθερες και δίκαιες εκλογές”, αναφέρεται στη δήλωση της Microsoft.
Η OpenAI δεν απάντησε στο αίτημα του Euronews Next για σχολιασμό.
Η εταιρεία εξήγησε σε μια δήλωση στον ιστότοπό της ότι η προσέγγισή της στο περιεχόμενο που σχετίζεται με τις εκλογές είναι να “συνεχίσει το έργο της ασφάλειας της πλατφόρμας με την ανύψωση ακριβών πληροφοριών για την ψηφοφορία” και τη βελτίωση της διαφάνειας της εταιρείας τους.
Οι αξιολογήσεις κινδύνου θα πρέπει να δημοσιεύονται
Τον Φεβρουάριο, η Ευρωπαϊκή Επιτροπή ψήφισε τον νόμο για τις ψηφιακές υπηρεσίες (DSA), ο οποίος απαιτεί από τις πολύ μεγάλες διαδικτυακές πλατφόρμες (VLOP), όπως η Google, η Microsoft και η OpenAI, να διενεργούν αξιολογήσεις κινδύνου για τη διάδοση ψευδών ειδήσεων και παραπληροφόρησης στις πλατφόρμες τους.
Αυτές οι αξιολογήσεις κινδύνου θα περιλαμβάνουν τυχόν “σκόπιμες χειραγωγήσεις” των υπηρεσιών τους και τις πιθανές επιπτώσεις τους στις “εκλογικές διαδικασίες”.
Η DSA διαφημίστηκε τότε από την Margrethe Vestager, εκτελεστική αντιπρόεδρο της Ευρωπαϊκής Επιτροπής για μια Ευρώπη που είναι κατάλληλη για την ψηφιακή εποχή, ως “μεγάλο ορόσημο” και σημαντικό μέρος της στρατηγικής της Ευρωπαϊκής Ένωσης για τη “διαμόρφωση ενός ασφαλέστερου και πιο διαφανούς διαδικτυακού κόσμου”.
Ωστόσο, η έκθεση της Democracy Reporting International υποδηλώνει ότι οι απαιτήσεις για την DSA, συμπεριλαμβανομένων αυτών των αξιολογήσεων κινδύνου, των δοκιμών και της κατάρτισης για τον μετριασμό των κινδύνων που σχετίζονται με τις εκλογές, δεν πληρούνται.
Έτσι, ο Resende δήλωσε ότι η Επιτροπή ή οι εταιρείες που βρίσκονται πίσω από τα chatbots θα πρέπει να δημοσιεύσουν αυτές τις αξιολογήσεις.
“Φοβάμαι ότι διστάζουν να μοιραστούν [τις αξιολογήσεις κινδύνου] με το κοινό είτε επειδή δεν το έκαναν είτε επειδή δεν είναι σίγουροι για το επίπεδο λεπτομέρειας που έχουν επενδύσει σε αυτό”, δήλωσε ο Resende.
Αν και δεν απάντησαν άμεσα σε αυτή τη μελέτη, ένας εκπρόσωπος δήλωσε σε ηλεκτρονικό μήνυμα ότι η Επιτροπή “παραμένει σε εγρήγορση όσον αφορά τις αρνητικές επιπτώσεις της διαδικτυακής παραπληροφόρησης, συμπεριλαμβανομένης της παραπληροφόρησης με τεχνητή νοημοσύνη”.
Ένα μήνα μετά την επίσημη έναρξη της DSA, η Επιτροπή ξεκίνησε έρευνα για πληροφορίες προς τις εταιρείες Bing και Google Search για να συγκεντρώσει περισσότερες πληροφορίες σχετικά με τους “κινδύνους μετριασμού που συνδέονται με τη τεχνητή νοημοσύνη”.
Η Επιτροπή επιβεβαίωσε στο Euronews Next ότι εξετάζει τις πληροφορίες που έλαβε στο πλαίσιο αυτής της έρευνας, αλλά δεν έδωσε περαιτέρω διευκρινίσεις.
Η Επιτροπή υπέγραψε επίσης τον Μάρτιο έναν Κώδικα Πρακτικής για την παραπληροφόρηση με πλατφόρμες όπως η Google και η Microsoft, όπου συμφώνησαν να προωθήσουν “υψηλής ποιότητας και έγκυρες πληροφορίες για τους ψηφοφόρους”.
