Il rilevatore che abbiamo addestrato da zero: AUC 0,970 e 0 % di falsi positivi su saggi TOEFL.
Per capire se un testo è stato scritto da una persona o da una macchina, abbiamo addestrato un rilevatore, pubblicato ricerche e misurato dove sbagliano i rilevatori.
Una versione semplice di quanto emerge dal nostro articolo: il testo degli LLM è più auto-simile del testo umano, con lunghezze di frase più uniformi. Qui è calcolato con vettori di parole; nella ricerca abbiamo usato embedding di frasi.
Quando i modelli aperti pronti all'uso non riuscivano a superare il gate, abbiamo addestrato un nostro classificatore. I falsi positivi sui saggi degli studenti sono scesi dal 16.7% allo 0.5%.
Abbiamo portato sul testo la matrice di auto-similarità della musica. Il testo degli LLM risulta più coerente di quello umano e aggiunge un contributo significativo alle misure classiche.
Chi scrive costruisce la sorpresa come un arco musicale? Un no ben controllato. Il segnale vero sta nel livello e nell'uniformità; la misura che resiste agli attacchi di parafrasi è la burstiness.
In un paragrafo accademico riscritto, numeri, citazioni e significato vengono preservati? Lo misuriamo frase per frase. Un livello di protezione delle citazioni ha ridotto le invenzioni di circa il 30%.