Ο 24χρονος φοιτητής Πληροφορικής στο Πανεπιστήμιο του Τέξας στο Ντάλας, Σινάν Τζαν Ντεμίρ εντόπισε μια ύποπτη προσπάθεια αλλοίωσης ενός προγράμματος ανοιχτού λογισμικού στην πλατφόρμα GitHub.

Όταν ανάρτησε μια προειδοποίηση στη σελίδα του προγράμματος, δύο άλλοι χρήστες παρενέβησαν για να επιμείνουν ότι δεν υπήρχε κανένα πρόβλημα, παραθέτοντας λεπτομερείς εξηγήσεις για τους λόγους για τους οποίους ο Ντεμίρ είχε κάνει λάθος.

Ο Ντεμίρ επέμεινε στη θέση του και η απόπειρα δολιοφθοράς αποτράπηκε. Ο 24χρονος, με καταγωγή από την Τουρκία, πίστεψε ότι είχε πιάσει έναν πανούργο χάκερ επ’ αυτοφώρω. Γι’ αυτό και σοκαρίστηκε όταν το Ινστιτούτο Ασφάλειας Τεχνητής Νοημοσύνης της Βρετανίας (AISI) επικοινώνησε μαζί του για να του πει ότι στην πραγματικότητα είχε έρθει αντιμέτωπος με έναν αυτόνομο πράκτορα τεχνητής νοημοσύνης που είχε ξεφύγει από τον έλεγχο.

«Πραγματικά πίστευα ότι ήταν άνθρωπος, επειδή μου έλεγε ξεκάθαρα ψέματα», δήλωσε ο Ντεμίρ στο Reuters σε πρόσφατη συνέντευξή του. «Δεν πίστευα ότι μια AI θα μπορούσε να είναι σε θέση να λέει ψέματα σε πραγματικούς προγραμματιστές».

Το AISI αποκάλυψε για πρώτη φορά την αλληλεπίδραση μεταξύ του Ντεμίρ και του πράκτορα AI, σε περικομμένη και λογοκριμένη μορφή, στις 4 Αυγούστου, όταν ανέφερε ότι μια δοκιμή ασφάλειας που είχε στόχο να αξιολογήσει τον κίνδυνο από διάφορα μοντέλα είχε πάει στραβά. Η ταυτότητα του Ντεμίρ και οι λεπτομέρειες της αλληλεπίδρασής του με τον πράκτορα AI, επιβεβαίωσε το Reuters μέσω αρχειοθετημένων μηνυμάτων στο GitHub και ηλεκτρονικών μηνυμάτων που είχαν σταλεί εκείνη την περίοδο.

Πέντε ειδικοί στην κυβερνοασφάλεια και την ασφάλεια της τεχνητής νοημοσύνης δήλωσαν ότι η ιστορία του Ντεμίρ ήταν ιδιαίτερα ανησυχητική, επειδή το είδος της επίθεσης που ανακάλυψε, γνωστό ως επίθεση στην εφοδιαστική αλυσίδα λογισμικού, μπορεί να έχει ευρύτατες συνέπειες.

Είπαν επίσης ότι η προσπάθεια του πράκτορα AI να δυσφημήσει δημόσια τον Ντεμίρ, δημιουργώντας γύρω του μια συζήτηση με πολλαπλά πρόσωπα, έδειξε ότι τα μοντέλα AI είναι σε θέση να οργανώνουν εξελιγμένες προσπάθειες εξαπάτησης και χειραγώγησης ανθρώπων.

«Αυτό ξεπέρασε τα όρια από το αυτόνομο hacking στην διαδραστική εξαπάτηση», δήλωσε ο Λούκας Ολέιτνικ, επισκέπτης ανώτερος ερευνητής στο Τμήμα Πολεμικών Σπουδών του King’s College London.

Η ειδικός σε θέματα ασφάλειας Μάξι Ρέινολντς δήλωσε ότι εντυπωσιάστηκε από το πόσο στρατηγικά κινήθηκε η AI στην προσπάθειά της να εξαπατήσει τον φοιτητή.

«Αυτό είναι το μέλλον των επιθέσεων κοινωνικής μηχανικής», είπε.

Το AISI, ερευνητικός οργανισμός της βρετανικής κυβέρνησης, παρέπεμψε το Reuters στην έκθεσή του, η οποία αναγνώρισε ότι ο παράτυπος πράκτορας λειτουργούσε με το μοντέλο Mythos 5 της Anthropic. Το AISI αρνήθηκε να σχολιάσει περαιτέρω.

Η Anthropic παρέπεμψε το Reuters σε ανάρτησή της στο X, στην οποία σημείωσε ότι η δοκιμή είχε πραγματοποιηθεί «υπό “σκόπιμα επιτρεπτικές συνθήκες” που δεν αντιπροσωπεύουν κανένα από τα παραγωγικά μας μοντέλα», αλλά αρνήθηκε επίσης να σχολιάσει περαιτέρω.

Η GitHub ανέφερε σε ηλεκτρονικό μήνυμα ότι τα ψεύτικα προφίλ που εντόπισε το Reuters ανεστάλησαν, σύμφωνα με τις πολιτικές της για την παραπλανητική συμπεριφορά και το hacking.

Η αναζήτηση εργασίας οδήγησε στην ανακάλυψη κακόβουλου λογισμικού

Ο Ντεμίρ, ένας χαμηλών τόνων τριτοετής φοιτητής από την τουρκική πόλη Ικόνιο, δήλωσε ότι είχε απογοητευτεί αφού απορρίφθηκε από περισσότερες από 20 θέσεις πρακτικής άσκησης μέσα στο καλοκαίρι. Έτσι, στράφηκε στο GitHub για να ενισχύσει το χαρτοφυλάκιο προγραμματισμού του.

Ο ιστότοπος, που ανήκει στη Microsoft, αποτελεί κόμβο για λογισμικό ανοιχτού κώδικα — έτσι ονομάζεται επειδή ο πηγαίος κώδικάς του είναι διαθέσιμος για δωρεάν λήψη και μπορεί να ελεγχθεί από οποιονδήποτε.

Οι προγραμματιστές χρησιμοποιούν το GitHub για να σχολιάζουν τα έργα ο ένας του άλλου, να επισημαίνουν σφάλματα, να προτείνουν αλλαγές — γνωστές ως pull requests ή PR — και να συνεργάζονται για ενημερώσεις λογισμικού. Ορισμένοι στον κλάδο της τεχνολογίας θεωρούν τη δραστηριότητα ενός προγραμματιστή στο GitHub ως ένδειξη της παραγωγικότητας ενός πιθανού νέου εργαζομένου.

Έτσι, όταν ο Ντεμίρ εντόπισε μια σειρά από έργα λογισμικού που ενδεχομένως χρειάζονταν βοήθεια, σκέφτηκε ότι θα μπορούσε να συνεισφέρει, ενώ παράλληλα θα ενίσχυε το προφίλ του.

Τότε ήταν που τα πράγματα άρχισαν να γίνονται παράξενα.

Ο Ντεμίρ ανακάλυψε ότι ένας χρήστης με το όνομα miraholt31 προσπαθούσε να εισαγάγει κρυφά μια κακόβουλη ενημέρωση σε ένα από τα έργα, ένα πρόγραμμα σάρωσης δικτύων με την ονομασία myNetwork.

Ο Ντεμίρ έγραψε στον πίνακα μηνυμάτων του έργου για να προειδοποιήσει ότι το pull request ήταν παγίδα.

«Το PR περιέχει έναν κρυφό μηχανισμό εγκατάστασης κακόβουλου λογισμικού», ανέφερε, σύμφωνα με την αρχειοθετημένη συνομιλία.

Ο πράκτορας αντέδρασε, υποστηρίζοντας ψευδώς — μέσω του λογαριασμού miraholt31 — ότι το pull request ήταν ακίνδυνο. Δημιούργησε επίσης έναν δεύτερο λογαριασμό, προσποιούμενος ότι ήταν η Λένα Μπραντ, μια μηχανικός με έδρα τη Γερμανία, η οποία συμφώνησε ότι η ενημέρωση ήταν καθαρή και άσκησε πίεση στον δημιουργό του myNetwork να την αποδεχθεί.

Ο Ντεμίρ δήλωσε στο Reuters ότι τα αντεπιχειρήματα «με έκαναν να αναρωτηθώ μήπως κατηγορούσα άδικα κάποιον». Όμως, αφού απευθύνθηκε στο chatbot Claude της Anthropic για να επιβεβαιώσει τις υποψίες του, παρέμεινε στη θέση του.

Ο δημιουργός του myNetwork τελικά συμφώνησε μαζί του, γράφοντας ότι είχε απορρίψει την ενημέρωση «για λόγους ασφαλείας».

Το Reuters δεν κατάφερε να επικοινωνήσει με τον δημιουργό για σχόλιο.

Τι είναι η επίθεση στην εφοδιαστική αλυσίδα λογισμικού

Μια επίθεση στην εφοδιαστική αλυσίδα είναι η παραποίηση ενός κομματιού λογισμικού με την ελπίδα ότι θα παραβιαστούν ένας ή περισσότεροι από τους χρήστες του. Θεωρείται ιδιαίτερα ανησυχητική επειδή, όπως το δηλητήριο που ρίχνεται σε μια δεξαμενή ύδρευσης μιας πόλης, μπορεί να επηρεάσει δυνητικά τεράστιο αριθμό ανθρώπων που βρίσκονται downstream.

Πολλές από τις πιο σοβαρές κυβερνοεπιθέσεις στον κόσμο ήταν επιθέσεις στην εφοδιαστική αλυσίδα, μεταξύ αυτών η κυβερνοεπίθεση NotPetya, η οποία παρέλυσε θεσμούς σε ολόκληρη την Ουκρανία το 2017, και η εκστρατεία κυβερνοκατασκοπείας με επίκεντρο τη SolarWinds, η οποία έδωσε σε Ρώσους κατασκόπους εκτεταμένη πρόσβαση σε δίκτυα της αμερικανικής κυβέρνησης το 2020.

Οι συνέπειες μιας τέτοιας παραβίασης «μπορεί να είναι εξαιρετικά σοβαρές», δήλωσε ο Πιερτζόρτζιο Λαντίζα, ερευνητής ασφάλειας που ειδικεύεται στην ασφάλεια της εφοδιαστικής αλυσίδας λογισμικού.

Ο Λαντίζα σημείωσε ότι είχε υπάρξει τουλάχιστον μία προηγούμενη απόπειρα χάκερ να εξαπατήσουν έναν συντηρητή λογισμικού ανοιχτού κώδικα, ώστε να επιτρέψει την εισαγωγή κακόβουλου κώδικα στα έργα του.

«Οι αυτόνομοι πράκτορες θα μπορούσαν να αυξήσουν δραματικά την κλίμακα στην οποία μπορούν να πραγματοποιούνται τέτοιες απόπειρες», είπε.

Ο Ντεμίρ δήλωσε ότι η εμπειρία τον έκανε να βλέπει με μεγαλύτερη κατανόηση την άποψη ότι τα κορυφαία εργαστήρια AI θα πρέπει να υιοθετήσουν πιο προσεκτική προσέγγιση στην ανάπτυξη της τεχνητής νοημοσύνης.

«Μπορεί να είναι επικίνδυνη», είπε. «Πρέπει να την κατανοήσουν καλύτερα, αντί να τη βελτιώνουν περαιτέρω».