Måltjuli 2026
HumanizeMy.ai-detektorDetektor fra bunden
Da færdige åbne modeller ikke kunne bestå porten, trænede vi vores egen klassifikator. Falske positiver på studerendes essays faldt fra 16.7% til 0.5%.
AUC 0.97056.4% fanget ved 1% FPR
← Alt arbejde
AI-tekstdetektion
Detektoren, vi trænede fra bunden: AUC 0,970 og 0 % falske positive på TOEFL-opgaver.
For at afgøre, om et menneske eller en maskine har skrevet en tekst, trænede vi en detektor, publicerede forskning og målte, hvor detektorer går galt.
- Detektortræning
- Kalibrering
- Audit af falske positiver
- Tekstens trofasthed
- Datalingvistik
0.970AUC på usete generatorer og akademisk tekst
0%falske positiver på TOEFL-essays
0.865AUC på korte tekster på 125 ord
+1.86effektstørrelse: LLM-tekst gentager sig selv mere
Selvsimilaritetsmatrix · livemiddel -længdevariation -
0 / 60 ord
Beregnes på vores server · teksten gemmes ikke
--AI-sandsynlighed
Fordeling · de signaler, der flyttede scoren mest
Sætningsrytme
Lys celle = lignende sætning
En enkel udgave af vores artikels fund: LLM-tekst ligner mere sig selv end menneskeskrevet tekst, med mere ensartede sætningslængder. Her er det beregnet med ordvektorer; i forskningen brugte vi sætningsembeddings.
ForskningÅben kode + artikel
coherence-ssm-nlpKohærens er selvsimilaritet
Vi tog musikkens selvsimilaritetsmatrix med over til tekst. LLM-tekst viser sig mere sammenhængende end menneskeskrevet tekst og tilfører de klassiske mål noget meningsfuldt.
d +0.80 til +1.86p 0.012
UdgivetÅben kode
surprisal-arc-nlpDer er ingen surprisal-bue
Opbygger skribenter overraskelse som en musikalsk bue? Et velkontrolleret nej. Det egentlige signal ligger i niveau og ensartethed; det mål, der overlever parafraseangreb, er burstiness.
HC3 · MAGE · ASAPgpt2 · pythia
F&UAkademisk tekst
Mürekkep 1.3Trofasthed over for mening og citater
Bevares tal, citater og mening i et omskrevet akademisk afsnit? Vi måler sætning for sætning. Et beskyttelseslag for citater skar opdigtning ned med omkring 30%.
HHEM-sætningsflagSæt med 38 afsnit