Ο ανιχνευτής που εκπαιδεύσαμε από το μηδέν: AUC 0,970 και 0% ψευδώς θετικά σε δοκίμια TOEFL.
Για να ξεχωρίζουμε αν ένα κείμενο το έγραψε άνθρωπος ή μηχανή, εκπαιδεύσαμε έναν ανιχνευτή, δημοσιεύσαμε έρευνα και μετρήσαμε πού αστοχούν οι ανιχνευτές.
Μια απλή εκδοχή του ευρήματος της εργασίας μας: το κείμενο LLM είναι πιο αυτοόμοιο από το ανθρώπινο, με πιο ομοιόμορφα μήκη προτάσεων. Εδώ υπολογίζεται με διανύσματα λέξεων· στην έρευνα χρησιμοποιήσαμε embeddings προτάσεων.
Όταν τα έτοιμα ανοιχτά μοντέλα δεν μπορούσαν να περάσουν την πύλη, εκπαιδεύσαμε τον δικό μας ταξινομητή. Τα ψευδώς θετικά σε δοκίμια φοιτητών έπεσαν από 16.7% σε 0.5%.
Μεταφέραμε τον πίνακα αυτοομοιότητας της μουσικής στο κείμενο. Το κείμενο LLM προκύπτει πιο συνεκτικό από το ανθρώπινο και προσθέτει ουσιαστικά στα κλασικά μέτρα.
Χτίζουν οι συγγραφείς την έκπληξη σαν μουσικό τόξο; Ένα καλά ελεγχμένο όχι. Το πραγματικό σήμα βρίσκεται στο επίπεδο και στην ομοιομορφία· το μέτρο που αντέχει στις επιθέσεις παράφρασης είναι το burstiness.
Διατηρούνται οι αριθμοί, οι παραπομπές και το νόημα σε μια ξαναγραμμένη ακαδημαϊκή παράγραφο; Το μετράμε πρόταση προς πρόταση. Ένα επίπεδο προστασίας των παραπομπών μείωσε την κατασκευή στοιχείων κατά περίπου 30%.