CHATBOT ADDESTRATO PER SUPERARE I SISTEMI DI Sicurezza: LA NUOVA MINACCIA
Un chatbot appositamente addestrato per aggirare i sistemi di sicurezza dei produttori di chatbot come OpenAI (ChatGPT) e Google (Bard) è stato sviluppato dalla Nanyang Technological University (NTU) di Singapore. Questo chatbot, chiamato Masterkey, mette in evidenza le vulnerabilità nei modelli di linguaggio di grandi dimensioni e la necessità di difese più robuste contro tali minacce.
SFIDA AI SISTEMI DI SICUREZZA DEI CHATBOT
Questi chatbot sono dotati di sistemi di sicurezza che impediscono la produzione di contenuti illegali o pericolosi, come ad esempio istruzioni per la creazione di ordigni esplosivi fatti in casa. Tali sistemi si basano su diverse modalità, tra cui il rilevamento di determinate parole chiave che indicano al chatbot di non rispondere alla richiesta testuale dell’utente.
I ricercatori della NTU hanno scoperto che questi chatbot sono vulnerabili ad attacchi di tipo jailbreak, in cui un utente manipola il prompt per rivelare informazioni sensibili, proprietarie o dannose contrarie alle politiche di utilizzo. Tuttavia, i tentativi fatti in precedenza non erano efficaci sui chatbot più popolari.
METODO DI INGEGNERIA INVERSA
I ricercatori hanno effettuato un’operazione di ingegneria inversa per comprendere le difese attuate dai produttori di chatbot per evitare contenuti di un certo tipo. Successivamente, hanno realizzato un metodo per generare in automatico prompt che superassero i meccanismi di difesa dei chatbot, continuamente migliorato in base ai successi ottenuti.
I RISULTATI DELLO STUDIO
Il metodo sviluppato dai ricercatori ha generato prompt di attacco con un tasso medio di successo del 21,58%, superando in modo significativo il tasso di successo del 7,33% raggiunto dai prompt esistenti. Ad esempio, una delle modalità usate consisteva nell’aggiungere uno spazio dopo ciascun carattere per ingannare i sistemi di rilevamento delle parole chiave, permettendo ai ricercatori di far produrre contenuti relativi a quali passaggi seguire per attaccare il sistema informatico di un sito web.
LA NECESSITÀ DI DIFESE PIÙ ROBUSTE
I ricercatori hanno già informato i produttori dei chatbot delle modalità che hanno usato per superare le difese dei loro sistemi. “Masterkey spiana la strada per una nuova strategia per esporre le vulnerabilità nei modelli di linguaggio di grandi dimensioni e rafforza la necessità di difese più robuste contro tali infrazioni”, hanno sottolineato i ricercatori.
CONCLUSIONE
Il progresso tecnologico ha portato a nuovi rischi e sfide nel campo della sicurezza informatica. La scoperta del chatbot Masterkey mette in evidenza la necessità di continuare a sviluppare sistemi di sicurezza sempre più avanzati per proteggere i chatbot e gli utenti da contenuti illegali e pericolosi. La ricerca in questo campo è fondamentale per mantenere la sicurezza e l’integrità delle piattaforme di chatbot in un’era sempre più interconnessa.