تشخیصدهنده از صفر
وقتی مدلهای باز آماده نتوانستند از دروازه عبور کنند، طبقهبند خودمان را آموزش دادیم. مثبت کاذب روی مقالههای دانشجویی از 16.7% به 0.5% کاهش یافت.
آشکارسازی که از صفر آموزش دادیم: AUC برابر 0.970 و 0% مثبت کاذب روی مقالههای TOEFL.
برای تشخیص اینکه متنی را انسان نوشته یا ماشین، یک تشخیصدهنده آموزش دادیم، پژوهش منتشر کردیم و سنجیدیم که تشخیصدهندهها کجا خطا میکنند.
نسخهای ساده از یافتهی مقالهی ما: متن LLM از متن انسانی خودشبیهتر است و طول جملههایش یکنواختتر. اینجا با بردارهای واژه محاسبه شده است؛ در پژوهش از امبدینگهای جمله استفاده کردیم.
وقتی مدلهای باز آماده نتوانستند از دروازه عبور کنند، طبقهبند خودمان را آموزش دادیم. مثبت کاذب روی مقالههای دانشجویی از 16.7% به 0.5% کاهش یافت.
ماتریس خودشباهتی موسیقی را به متن آوردیم. متن LLM منسجمتر از متن انسانی از آب درمیآید و به سنجههای کلاسیک ارزش معناداری میافزاید.
آیا نویسندهها شگفتی را مثل یک قوس موسیقایی میسازند؟ پاسخ، با کنترل دقیق، منفی است. سیگنال واقعی در سطح و یکنواختی است؛ سنجهای که از حملههای بازنویسی جان به در میبرد burstiness است.
آیا در یک بند دانشگاهی بازنویسیشده عددها، ارجاعها و معنا حفظ میشوند؟ جمله به جمله میسنجیم. یک لایهی حفاظت از ارجاع، جعل را حدود 30% کاهش داد.