MIHCI AI STUDIOS FA درباره‌ی ما تماس
← همه کارها

تشخیص متن هوش مصنوعی

آشکارسازی که از صفر آموزش دادیم: AUC برابر 0.970 و 0% مثبت کاذب روی مقاله‌های TOEFL.

برای تشخیص اینکه متنی را انسان نوشته یا ماشین، یک تشخیص‌دهنده آموزش دادیم، پژوهش منتشر کردیم و سنجیدیم که تشخیص‌دهنده‌ها کجا خطا می‌کنند.

  • آموزش تشخیص‌دهنده
  • کالیبراسیون
  • ممیزی مثبت کاذب
  • وفاداری متن
  • زبان‌شناسی محاسباتی
0.970AUC روی مولدهای دیده‌نشده و متن دانشگاهی
0%مثبت کاذب روی مقاله‌های TOEFL
0.865AUC روی متن‌های کوتاه 125 کلمه‌ای
+1.86اندازه‌ی اثر: متن LLM بیشتر خودش را تکرار می‌کند
ماتریس خودشباهتی · زندهمیانگین -تغییرپذیری طول -
    خانه‌ی روشن = جمله‌ی مشابه

    نسخه‌ای ساده از یافته‌ی مقاله‌ی ما: متن LLM از متن انسانی خودشبیه‌تر است و طول جمله‌هایش یکنواخت‌تر. اینجا با بردارهای واژه محاسبه شده است؛ در پژوهش از امبدینگ‌های جمله استفاده کردیم.

    اندازه‌گیری‌شدهژوئیه 2026
    تشخیص‌دهنده‌ی HumanizeMy.ai

    تشخیص‌دهنده از صفر

    وقتی مدل‌های باز آماده نتوانستند از دروازه عبور کنند، طبقه‌بند خودمان را آموزش دادیم. مثبت کاذب روی مقاله‌های دانشجویی از 16.7% به 0.5% کاهش یافت.

    AUC 0.970شناسایی 56.4% در FPR 1%
    پژوهشکد باز + مقاله
    coherence-ssm-nlp

    انسجام همان خودشباهتی است

    ماتریس خودشباهتی موسیقی را به متن آوردیم. متن LLM منسجم‌تر از متن انسانی از آب درمی‌آید و به سنجه‌های کلاسیک ارزش معناداری می‌افزاید.

    d از +0.80 تا +1.86p 0.012
    منتشر شدهکد باز
    surprisal-arc-nlp

    قوس surprisal وجود ندارد

    آیا نویسنده‌ها شگفتی را مثل یک قوس موسیقایی می‌سازند؟ پاسخ، با کنترل دقیق، منفی است. سیگنال واقعی در سطح و یکنواختی است؛ سنجه‌ای که از حمله‌های بازنویسی جان به در می‌برد burstiness است.

    HC3 · MAGE · ASAPgpt2 · pythia
    R&Dمتن دانشگاهی
    Mürekkep 1.3

    وفاداری به معنا و ارجاع

    آیا در یک بند دانشگاهی بازنویسی‌شده عددها، ارجاع‌ها و معنا حفظ می‌شوند؟ جمله به جمله می‌سنجیم. یک لایه‌ی حفاظت از ارجاع، جعل را حدود 30% کاهش داد.

    پرچم‌های جمله‌ی HHEMمجموعه‌ی 38 بندی

    چیزی شبیه این می‌خواهید؟

    برایمان بنویسیدهمه کارها