Der Detektor, den wir von Grund auf trainiert haben: AUC 0,970 und 0 % Fehlalarme bei TOEFL-Aufsätzen.
Um zu erkennen, ob ein Mensch oder eine Maschine einen Text geschrieben hat, haben wir einen Detektor trainiert, Forschung veröffentlicht und gemessen, wo Detektoren irren.
Eine einfache Fassung des Befunds unserer Arbeit: LLM-Text ist selbstähnlicher als menschlicher Text, mit gleichmäßigeren Satzlängen. Hier wird sie mit Wortvektoren berechnet; in der Forschung haben wir Satz-Embeddings verwendet.
Als fertige offene Modelle die Schranke nicht passierten, haben wir einen eigenen Klassifikator trainiert. Die Falsch-Positiven bei Studentenaufsätzen sanken von 16.7% auf 0.5%.
Wir haben die Selbstähnlichkeitsmatrix der Musik auf Text übertragen. LLM-Text erweist sich als kohärenter als menschlicher Text und trägt über die klassischen Maße hinaus bedeutsam bei.
Bauen Schreibende Überraschung wie einen musikalischen Spannungsbogen auf? Ein sauber kontrolliertes Nein. Das eigentliche Signal liegt in Niveau und Gleichmäßigkeit; das Maß, das Paraphrasierungsangriffe übersteht, ist die Burstiness.
Bleiben Zahlen, Zitate und Bedeutung in einem umgeschriebenen wissenschaftlichen Absatz erhalten? Wir messen Satz für Satz. Eine Schutzschicht für Zitate senkte das Erfundene um etwa 30%.