L’emergere dell’intelligenza artificiale generativa e, in particolare, di ChatGPT ha portato alla luce incredibili opportunità, consentendo agli utenti di esplorare potenzialità non sfruttate, ma ha anche i suoi ostacoli in egual misura. La Sicurezza e la privacy dell’intelligenza artificiale sono alcune delle principali preoccupazioni degli utenti, impedendo alla Tecnologia di realizzare il suo pieno potenziale. Tuttavia, il presidente Biden ha recentemente emesso un ordine esecutivo che affronta alcune di queste preoccupazioni.
Anche l’autenticità e l’accuratezza fanno parte di queste preoccupazioni. Se i recenti rapporti secondo cui ChatGPT sta diventando più stupido e sta perdendo precisione sono qualcosa su cui basarsi, allora queste preoccupazioni sono fondate. Finora non c’è viale ignifugo che può essere esplorato per rilevare il testo generato dall’intelligenza artificiale con una precisione senza precedenti.
Fortunatamente, un gruppo di ricercatori è sull’orlo di una svolta, che sembra realizzarsi è più semplice identificare il testo generato dall’intelligenza artificiale. Con aggiornamenti significativi inviati sempre più spesso ai chatbot basati sull’intelligenza artificiale come Bing Chat e ChatGPT, è sempre più difficile demistificare il testo generato utilizzando questi strumenti dal testo umano.
Secondo il rapporto, il rilevatore AI è progettato per determinare il testo generato dall’IA nelle riviste scientifiche. Eseguire test su questo tipo di riviste è un’impresa seria, a seconda della complessità dell’argomento e della disponibilità delle informazioni sul web.
Secondo i ricercatori, il rilevatore AI è stato utilizzato per aiutare a distinguere gli scrittori umani da ChatGPT (GPT-3.5). Hanno inoltre rivelato che la metodologia dipendeva da 20 funzionalità e da un algoritmo di apprendimento automatico, che non prevedeva una misura di “perplessità”. Questo perché l’hanno classificato come una “metrica problematica”, che introdurrebbe pregiudizi verso i non madrelingua inglesi in altri strumenti.
Inoltre, il modello dimostra un’accuratezza del 99% nel differenziare la scrittura umana dai testi prodotti da ChatGPT e supera significativamente le prestazioni del GPT-2 Output Detector, il Software di rilevamento AI offerto da OpenAI, creatori di ChatGPT.
Recentemente abbiamo appreso che OpenAI stava lavorando su un nuovo strumento per aiutare gli utenti a identificare le Immagini generate dall’intelligenza artificiale. L’azienda ha promesso una precisione del 99%, anche se non è ancora chiaro quando sarà disponibile su larga scala.
I ricercatori ammettono che la portata del lavoro originale era limitata, poiché hanno testato solo un tipo di suggerimento da una rivista. Inoltre, non era esclusivamente una rivista di chimica, per non parlare del fatto che è stato testato un solo modello linguistico.
Secondo i ricercatori:
“…espandiamo radicalmente l’ambito di applicazione del nostro rilevatore di intelligenza artificiale recentemente descritto applicandolo a nuove circostanze con variabilità nella scrittura umana, tra cui 13 diverse riviste e 3 diversi editori, variabilità nei suggerimenti dell’intelligenza artificiale e variabilità nel testo dell’intelligenza artificiale che genera modello utilizzato. Utilizzando le stesse 20 funzionalità descritte in precedenza, addestriamo un classificatore XGBoost con testi umani di esempio e testo AI comparatore. Quindi valutiamo il modello utilizzando nuovi esempi di scrittura umana, molteplici suggerimenti AI stimolanti e sia GPT-3.5 che GPT-4 per produrre il testo AI.”
Il rilevatore AI promette una precisione del 99%.
I ricercatori hanno indicato che i test hanno dimostrato che la loro metodologia era semplice ed efficace. Hanno sottolineato che lo strumento mostrava una precisione del 98%-100% nell’identificazione del testo generato dall’intelligenza artificiale, ma ciò dipendeva dal prompt e dal modello.
I ricercatori hanno indicato che lo strumento è molto più avanti rispetto al classificatore aggiornato di OpenAI, che varia dal 10% al 56% in termini di precisione. I ricercatori hanno inoltre rivelato che l’obiettivo alla base di questo studio e dell’invenzione è fornire alla comunità scientifica una strada che consenta loro di valutare “l’infiltrazione di ChatGPT nelle riviste di chimica, identificare le conseguenze del suo utilizzo e introdurre rapidamente strategie di mitigazione quando sorgono problemi”. .”
Cosa hanno utilizzato i ricercatori come classificatore per i test?
I ricercatori hanno implementato XGBoost per tutti gli esperimenti e i test, che si basavano sul pacchetto R, xgboost. Ha fornito un modo sofisticato per valutare l’ottimizzazione del modello, poiché l’accuratezza a livello di paragrafo è stata misurata utilizzando la convalida incrociata “lascia una introduzione” sul set di addestramento.
Il gruppo di ricerca ha affermato che:
“In questo paradigma, tutti i dati di formazione, ad eccezione di quelli provenienti dai paragrafi dell’introduzione da classificare, verrebbero sfruttati per costruire un modello di classificazione. Questo modello verrebbe poi utilizzato per classificare tutti i paragrafi da sinistra a la nostra introduzione.”
Lo studio evidenzia che queste condizioni “hanno prodotto la migliore precisione complessiva a livello di paragrafo”, che è stata poi utilizzata in tutti i test.
I risultati sono promettenti?
Certo, il rilevatore AI ha registrato risultati impressionanti, ma c’è margine di miglioramento. La tecnologia è relativamente nuova, quindi era previsto un divario di errore. Tuttavia, classificare erroneamente il 6% del testo umano testato fa alzare le sopracciglia.
Utenti Reddit nel subreddit r/science sollevare preoccupazioni fondate su questo problema. Un utente preoccupato ha presentato una situazione ipotetica in cui questo strumento veniva utilizzato a scuola, affermando che i risultati indicano che su 100 studenti, 6 di loro sarebbero falsamente accusati di sfruttare strumenti basati sull’intelligenza artificiale per svolgere i propri corsi. E conosciamo tutti gli ostacoli significativi che derivano dall’invio di lavori che hai raccolto da qualche altra parte.
Ciò dimostra l’importanza di disporre di strumenti affidabili e accurati come AI Detector, ma allo stesso tempo è quasi impossibile affermare l’accuratezza di questi strumenti. Un altro utente ha presentato un caso in cui un facilitatore del corso aveva contrassegnato un compito come generato dall’intelligenza artificiale. Tuttavia, dopo aver condiviso questo studio con l’insegnante e aver utilizzato lo strumento anche per scorrere il programma, è stato contrassegnato come contenuto generato dall’intelligenza artificiale.
Anche se questa è stata una rasatura davvero ravvicinata, cosa succede quando non puoi sostenere le tue affermazioni? Pensi che si arriverà a un punto in cui i rilevatori di intelligenza artificiale potranno promettere una precisione assoluta? Per favore condividi i tuoi pensieri con noi nei commenti.