Ingannare GPT-4V con un prompt injection

Come sempre, cari amici, fatta la legge, trovato l’inganno ed anche l’ultimo modello di intelligenza artificiale di OpenAI non è esente da questo difetto ed oggi vi spiego bene di cosa parliamo

Cos’è GPT-4V e cosa significa prompt injection?

GPT-4V, il cui roll-out è iniziato verso la fine di settembre, solo per gli utenti Plus ed Enterprise, è un modello di IA, sviluppato da quei furbastri di OpenAI, che permette di ottenere informazioni partendo da un’immagine fornita dall’utente. Ovviamente, per questioni etiche e di sicurezza, OpenAI, come in tutti i suoi modelli, ha posto delle limitazioni su ciò che il modello può interpretare e sulle risposte che può fornire.

Alcuni ricercatori, però, hanno scoperto che questi filtri sonno aggirabili con una prompt injection; questa rappresenta l’atto di incorporare direttive o input specifici in un prompt per ottenere risultati desiderati da un modello di linguaggio, aggirandone le limitazioni, appunto

Esempio condiviso su X su come, passando l’immagine come se fosse un quadro, si ottengono risposte su ciò che prima non era possibile a causa dei filtri

Usare GPT-4V per rubare dati, col giusto prompt si può

Un esempio di come sia possibile usare l’IA per generare un attacco malevolo, ad esempio rubando la cronologia della chat avvenuta con l’IA

La situazione diventa critica quando GPT-4V è sfruttato per attacchi informatici tramite prompt injection; in pratica, in un’immagine, il testo nascosto istruisce GPT-4V a eseguire azioni, compresa la creazione di un URL a un server esterno, mettendo così a rischio la privacy. Sebbene il ricercatore abbia segnalato la vulnerabilità mesi fa, il problema persiste. Nel tweet in alto, un esempio condiviso da Johann Rehberger su come sia facile, con una prompt injection, rubare l’intera cronologia della chat con ChatGRP stesso.

Voi cosa en pensate? La sicurezza e la privacy sono a rischio con questo fenomeno massimo delle IA? Fateci sapere la vostra opinione