Bộ phát hiện chúng tôi huấn luyện từ đầu: AUC 0,970 và 0% dương tính giả trên bài luận TOEFL.
Để biết một văn bản do người hay máy viết, chúng tôi đã huấn luyện một bộ phát hiện, công bố nghiên cứu và đo xem các bộ phát hiện sai ở đâu.
Một phiên bản đơn giản của phát hiện trong bài báo của chúng tôi: văn bản LLM tự tương đồng hơn văn bản của con người, với độ dài câu đồng đều hơn. Ở đây được tính bằng vector từ; trong nghiên cứu, chúng tôi dùng embedding câu.
Khi các mô hình mở có sẵn không vượt qua được cổng, chúng tôi tự huấn luyện bộ phân loại của riêng mình. Dương tính giả trên bài luận của sinh viên giảm từ 16.7% xuống 0.5%.
Chúng tôi đưa ma trận tự tương đồng của âm nhạc vào văn bản. Văn bản LLM cho thấy mạch lạc hơn văn bản của con người và bổ sung đáng kể cho các thước đo cổ điển.
Người viết có xây dựng sự bất ngờ như một cung nhạc không? Một câu trả lời “không” được kiểm soát chặt chẽ. Tín hiệu thật nằm ở mức độ và sự đồng đều; thước đo đứng vững trước các cuộc tấn công diễn đạt lại là burstiness.
Số liệu, trích dẫn và ý nghĩa có được giữ nguyên trong một đoạn học thuật đã viết lại không? Chúng tôi đo từng câu một. Một lớp bảo vệ trích dẫn đã giảm khoảng 30% tình trạng bịa đặt.