Πανεπιστήμιο της Ουάσινγκτον για το ChatGPT: «Μην το παίρνετε ως αυθεντία – Πολλές οι ασυνεπείς απαντήσεις του»

Tο Πανεπιστήμιο της Πολιτείας της Ουάσινγκτον εφιστά την προσοχή σε όσα άτομα χρησιμοποιούν το ChatGPT, τονίζοντας ότι οι ασυνεπείς και ανακριβείς απαντήσεις του είναι πολλές.

Η έρευνα του Πανεπιστημίου, με επικεφαλής τον αναπληρωτή καθηγητή Mesut Cicek, καταλήγει στο συμπέρασμα ότι, παρά τις βελτιώσεις στην απόδοση, η αξιοπιστία του εργαλείου παραμένει περιορισμένη, ειδικά σε πιο σύνθετες γνωστικές διεργασίες.

Οι ερευνητές δοκίμασαν το ChatGPT τροφοδοτώντας το με εκατοντάδες υποθέσεις από επιστημονικά άρθρα και ζητώντας του να κρίνει αν οι συγκεκριμένες δηλώσεις είχαν επιβεβαιωθεί από την έρευνα.

Συνολικά χρησιμοποιήθηκαν 719 υποθέσεις από επιστημονικές δημοσιεύσεις του 2021, ενώ κάθε ερώτηση επαναλήφθηκε 10 φορές, ώστε να εξεταστεί και η συνέπεια των απαντήσεων.

Το πείραμα πραγματοποιήθηκε σε δύο φάσεις, το 2024, με τη δωρεάν έκδοση ChatGPT-3 και το 2025, με την ενημερωμένη έκδοση ChatGPT-5 mini.

Σύμφωνα με τα ευρήματα, η τεχνητή νοημοσύνη απάντησε σωστά στο 76,5% των περιπτώσεων το 2024, ενώ το 2025 η ακρίβεια αυξήθηκε στο 80%.

Ωστόσο, όταν οι ερευνητές συνυπολόγισαν την πιθανότητα τυχαίας εικασίας – δεδομένου ότι πρόκειται για ερωτήσεις σωστού/λάθους με 50% πιθανότητα επιτυχίας – διαπίστωσαν ότι η πραγματική απόδοση του μοντέλου ήταν μόλις περίπου 60% καλύτερη από την τύχη.

Το ποσοστό αυτό, όπως σημειώνεται, αντιστοιχεί περισσότερο σε χαμηλή παρά σε υψηλή αξιοπιστία.

• Δυσκολία στον εντοπισμό λανθασμένων υποθέσεων

Ένα από τα πιο χαρακτηριστικά ευρήματα της μελέτης είναι ότι το ChatGPT δυσκολεύεται ιδιαίτερα όταν η σωστή απάντηση είναι «λάθος».

Συγκεκριμένα, αναγνώρισε σωστά τις λανθασμένες υποθέσεις μόνο στο 16,4% των περιπτώσεων, γεγονός που αναδεικνύει σημαντικό περιορισμό στην κριτική αξιολόγηση πληροφοριών.

Πέρα από την ακρίβεια, οι ερευνητές εντόπισαν και έντονη ασυνέπεια στις ίδιες ερωταπαντήσεις.

Σε επαναλαμβανόμενες, πανομοιότυπες ερωτήσεις, το ChatGPT έδινε συνεπείς απαντήσεις μόνο στο 73% των περιπτώσεων.

Όπως δήλωσε ο Cicek: «Δεν μιλάμε απλώς για ανακρίβεια, μιλάμε για ασυνέπεια, διότι αν κάνεις την ίδια ερώτηση ξανά και ξανά, καταλήγεις σε διαφορετικές απαντήσεις».

Πρόσθεσε πως «χρησιμοποιήσαμε 10 ερωτήσεις με την ίδια ακριβώς διατύπωση. Όλα ήταν πανομοιότυπα.

Απαντούσε “αληθές”. Στη συνέχεια έλεγε ότι είναι ψευδές. Αληθές, ψευδές, ψευδές, αληθές. Υπήρχαν περιπτώσεις με πέντε “αληθή” και πέντε “ψευδή”».

• Τα συμπεράσματα των ερευνητών

Τα ευρήματα της μελέτης δημοσιεύτηκαν στο Rutgers Business Review και ενισχύουν την ανάγκη για προσοχή και σκεπτικισμό στη χρήση της τεχνητής νοημοσύνης, ιδιαίτερα σε κρίσιμες εργασίες που απαιτούν σύνθετη σκέψη.

Οι ερευνητές επισημαίνουν ότι η ικανότητα παραγωγής εύγλωσσου λόγου δεν συνεπάγεται και πραγματική κατανόηση ή συλλογισμό.

Όπως ανέφερε χαρακτηριστικά ο Cicek: «Τα τρέχοντα εργαλεία τεχνητής νοημοσύνης δεν κατανοούν τον κόσμο όπως εμείς – δεν έχουν “εγκέφαλο”.

Απλώς απομνημονεύουν και μπορούν να σου δώσουν κάποια εικόνα, αλλά δεν καταλαβαίνουν για τι μιλάνε».

Η μελέτη καταλήγει ότι η ανάπτυξη γενικής τεχνητής νοημοσύνης, που θα μπορεί να «σκέφτεται» με τρόπο παρόμοιο με τον άνθρωπο, ενδέχεται να απέχει περισσότερο απ’ όσο εκτιμούν ορισμένοι.

Παρά την πρόοδο, τα σημερινά εργαλεία φαίνεται να έχουν ακόμη σημαντικούς περιορισμούς σε ζητήματα κατανόησης, λογικής και συνέπειας.