ChatGPT ha una capacità sorprendente. Se si preme il pulsante “rigenera risposta”, ChatGPT proporrà una risposta nuova di zecca. Almeno in apparenza. Perché, in realtà, i risultati pubblicati in questo articolo mostrano che ChatGPT ha diverse ripetizioni. Tanto che anche le risposte a domande diverse sembrano uguali! Questo conferma la prima ricerca che abbiamo pubblicato sull’argomento. Oggi dimostriamo inoltre che quanto meno precisa è la vostra domanda a ChatGPT, tanto più simili saranno le risposte. Il tasso di somiglianza raggiunge in media il 77,91%.
I dati sono stati preparati e arricchiti per questo progetto con la soluzione ETL di Timi: Anatella. La visualizzazione dei dati è stata effettuata con Tableau.
Cosa si può imparare da questa ricerca sul funzionamento di ChatGPT
- 1parole: la lunghezza media dei 1000 testi prodotti da ChatGPT basata su una lunghezza target di 500 parole.
- 1%: il rispetto da parte di ChatGPT dei dati forniti in termini di lunghezza del testo. I testi prodotti da ChatGPT con istruzioni minime sono significativamente più simili (77,91%) rispetto a quando vengono fornite istruzioni più dettagliate (73.17%)
- Quando le istruzioni fornite a ChatGPT sono poco dettagliate, le risposte a domande diverse sono più simili (65,44%) rispetto a quando vengono fornite istruzioni dettagliate (60,93%)
- Indipendentemente dalla domanda, ChatGPT mostra una sorprendente capacità di produrre risposte simili quando gli chiedi di rigenerare la sua risposta (tra il 76,02% e l’80,04% di somiglianza media a seconda della domanda). Quindi, aspettati di ricevere risposte solo parzialmente diverse da una rigenerazione all’altra.
Metodologia
Ho posto a ChatGPT 20 domande. Per ogni domanda, gli ho chiesto di rigenerare la risposta 50 volte, corrispondenti a 50 iterazioni.
Ho così analizzato 1000 risposte.
Ecco un esempio.
Per rigenerare una risposta, premere il pulsante qui sotto:
Le domande erano tutte identiche nella forma:
Scrivimi un articolo ottimizzato per il SEO di 500 parole su “PAROLA CHIAVE”.
Solo la “parola chiave” differiva da una serie all’altra. L’elenco delle parole chiave è disponibile alla fine di questo articolo.
In definitiva, sono state analizzate 20 domande x 50 iterazioni = 1000 testi.
Una volta estratti i dati da ChatGPT, questi sono stati preparati con il software ETL. Per la preparazione dei dati, utilizzo esclusivamente Anatella, il migliore nella sua categoria (vedi qui i miei consigli per la scelta di un ETL). La visualizzazione dei dati è stata effettuata con Tableau.
ChatGPT rispetta le indicazioni sulla lunghezza del testo
La prima lezione di questa ricerca è che ChatGPT rispetta relativamente bene le istruzioni sul numero di parole. Sui 1000 testi prodotti, il numero medio di parole per testo è stato di 505,1. Questo è un risultato incredibile perché significa che i dati forniti a ChatGPT vengono rispettati con una tolleranza di appena l’1%. Si tratta di una performance incredibile, perché significa che i dati forniti a ChatGPT vengono rispettati con una tolleranza di appena l’1%. I creatori di contenuti ne saranno entusiasti, perché lo troveranno un modo ultra-semplice per produrre contenuti generici per i loro siti web.
Questo è ciò che si vede nel grafico sottostante con la linea viola. Le barre indicano la deviazione media da un’iterazione all’altra. Ad esempio, ci sono 24 parole in meno tra la prima e la seconda iterazione.
Nel nostro precedente esperimento, non abbiamo dato a ChatGPT alcuna istruzione sulla lunghezza del testo. La media è stata di 253,7 parole con tolleranze di +8,3%/-7,6%. Possiamo quindi ipotizzare che materializzare l’obiettivo nelle istruzioni a ChatGPT ci permetta di ottenere un risultato molto più accurato.
Somiglianza del 77,9%: le risposte di ChatGPT alla stessa domanda sono molto simili
Nella nostra prima ricerca, abbiamo misurato un tasso di somiglianza del 72%. Abbiamo poi dato a ChatGPT istruzioni precise sulla struttura del testo da produrre. Dando istruzioni più vaghe, vediamo che il tasso di somiglianza medio aumenta al 77,9%.
La mappa di calore sottostante rappresenta il tasso di somiglianza medio tra le due iterazioni. In altre parole, ogni quadrato colorato serve a valutare quanto sia simile il risultato prodotto da ChatGPT tra due iterazioni. Il tasso di somiglianza è stato calcolato grazie ad Anatella (il mio ETL preferito ? ) utilizzando il metodo Sorensen-Dice. Esistono molti altri metodi, ma questo dà risultati eccellenti (vedere qui un benchmark di 4 algoritmi di corrispondenza fuzzy disponibili nativamente in Anatella).
Naturalmente, è anche possibile rappresentare i risultati per ciascuna delle 20 domande poste. Questo è ciò che ho fatto di seguito. Noterete che le medie per ogni serie sono molto vicine. Ciò significa che quando si chiede a ChatGPT di rigenerare il suo testo, il risultato sarà, in media, molto vicino a quello precedente, indipendentemente dalla domanda. Questo non impedisce alcuni incidenti (le serie M e R, per esempio). In questi due casi, un’analisi più dettagliata mostra che ChatGPT ha prodotto due testi di lunghezza molto diversa (200 parole di differenza) tra due iterazioni successive. Il tasso di somiglianza è necessariamente influenzato da questo fatto.
Cosa possiamo imparare da questi grafici? Che ChatGPT è sorprendentemente stabile quando gli si chiede di rigenerare una risposta. Anche se il testo che propone sembra diverso, alla fine si tratta solo delle stesse parole messe in un ordine diverso. Sto facendo un po’ la caricatura, ma questo è lo spirito dei risultati.
Somiglianza del 65,44% tra le risposte a domande diverse
L’ultima analisi che abbiamo effettuato è stata la ricerca della somiglianza delle risposte alle diverse domande. In altre parole, abbiamo calcolato la somiglianza media tra tutte le risposte alla domanda A e tutte le risposte alla domanda B. E abbiamo ripetuto questa analisi incrociata per ogni domanda.
L’esercizio era semplice, ma presentava alcune sfide tecniche dovute ai limiti del software di visualizzazione (Tableau). Anatella mi ha permesso di aggirare i problemi preparando i dati al di fuori di Tableau (e molto rapidamente, come ho già mostrato qui). Il risultato è ancora una volta presentato come una mappa di calore (vedi sotto).
I risultati parlano da soli. La somiglianza media tra le domande è del 65,44%. In altre parole, le risposte di ChatGPT a domande diverse sono simili per 2/3. Naturalmente, la formulazione delle domande era la stessa, ma questo risultato è comunque interessante. La domanda posta è relativamente concisa, senza altre istruzioni oltre al conteggio delle parole. Sebbene gli argomenti siano diversi, le risposte fornite da ChatGPT sono dello stesso stampo.
Questo dovrebbe incoraggiarvi a essere molto dettagliati nelle vostre richieste a ChatGPT. Più si è specifici, più è probabile che si ottengano risposte uniche e non ripetitive..
Processo di trasformazione dei dati
Tutta la preparazione dei dati è stata effettuata con Anatella. Si tratta di una soluzione software ETL (Extract – Transform – Load). Con un ETL, è possibile estrarre i dati, trasformarli (correzioni, arricchimenti, …) e reinserirli in un altro software.
Le ragioni che mi hanno spinto a scegliere Anatella per questo progetto sono tre:
- velocità (un benchmark qui):
- strumenti disponibili per calcolare la similitudine
- reattività dell’editore (Timi) che mi ha proposto uno sciluppo client per rispondere alle esigenze che non erano colmate
Con Anatella sono stati creati tre diversi flussi di preparazione dei dati. Ogni flusso mi ha permesso di condurre ulteriori analisi e di esplorare le risposte di ChatGPT in modo diverso.
Flusso 1: calcolo delle somiglianze all’interno di una serie
In questo primo flusso, calcolo le somiglianze tra ogni iterazione in modo sequenziale. Anatella ha una funzione pronta all’uso per questo scopo. È molto comoda e bisogna assemblare le caselle per ottenere il risultato desiderato.
Flusso 2: Calcolo delle somiglianze tra ogni coppia di testi
Per effettuare questa operazione, l’azienda Timi mi ha fornito una funzione personalizzata. Si tratta di una “scatola” che permette di calcolare le somiglianze tra ogni testo in una sola volta. In questo modo, il box permette di calcolare facilmente 1.000.000 di somiglianze (1000 colonne x 1000 righe) in una sola volta.
Un punto tecnico estremamente importante riguarda l’ingestione dei dati in Tableau. Tableau può gestire solo 700 colonne. È quindi impossibile ruotare questi dati direttamente in Tableau. Pertanto, l’utilizzo di Anatella è stato un aiuto molto prezioso, essenziale per il successo del progetto.
Flusso 3: calcolo della somiglianza tra le serie
L’ultimo flusso ci permette di calcolare la somiglianza tra le risposte alle diverse domande.
Lista di topic
Voici la liste des sujets qui ont été soumis à ChatGPT.
| Référence | Ecco l’elenco degli argomenti che sono stati inviati a ChatGPT. |
| A | Activation marketing |
| B | Astroturfing |
| C | Gender marketing |
| D | Marketing come servizio |
| E | Marketing automation |
| F | Emoji marketing |
| G | Reactive marketing |
| H | Street marketing |
| I | Net Promoter Score |
| J | Customer experience |
| K | Customer Lifetime Value |
| L | Brand safety |
| M | Celebrity marketing |
| N | Buzz marketing |
| O | call to action |
| P | Newsjacking |
| Q | Microblogging |
| R | Social CRM |
| S | Social media planning |
| T | churn rate |
Posted in Ricerca.
