Виявлення тексту ШІ

Детектор, який ми навчили з нуля: AUC 0,970 і 0% хибних спрацювань на есеях TOEFL.

Щоб визначити, людина чи машина написала текст, ми навчили детектор, опублікували дослідження й виміряли, де детектори помиляються.

Навчання детектора
Калібрування
Аудит хибнопозитивних спрацювань
Вірність тексту
Комп’ютерна лінгвістика

0.970AUC на невідомих генераторах і академічних текстах

0%хибнопозитивних спрацювань на есе TOEFL

0.865AUC на коротких текстах по 125 слів

+1.86розмір ефекту: текст LLM повторюється частіше

Матриця самоподібності · наживосереднє -мінливість довжини -

Яскрава клітинка = схоже речення

Спрощена версія висновку нашої статті: текст LLM самоподібніший за людський, із рівномірнішою довжиною речень. Тут це обчислено за допомогою векторів слів; у дослідженні ми використовували ембедінги речень.

ВиміряноЛипень 2026

Детектор HumanizeMy.ai

Детектор з нуля

Коли готові відкриті моделі не пройшли бар’єр, ми навчили власний класифікатор. Хибнопозитивні спрацювання на студентських есе впали з 16.7% до 0.5%.

AUC 0.97056.4% виявлення при 1% FPR

ДослідженняВідкритий код і стаття

coherence-ssm-nlp

Когерентність є самоподібністю

Ми застосували до тексту матрицю самоподібності з музики. Текст LLM виявляється когерентнішим за людський і суттєво доповнює класичні міри.

d від +0.80 до +1.86p 0.012

ОпублікованоВідкритий код

surprisal-arc-nlp

Дуги несподіваності не існує

Чи будують автори несподіванку, як музичну арку? Добре контрольована відповідь: ні. Справжній сигнал у рівні та рівномірності; міра, що переживає атаки парафразуванням, це burstiness.

HC3 · MAGE · ASAPgpt2 · pythia

R&DАкадемічний текст

Mürekkep 1.3

Вірність змісту й цитат

Чи зберігаються числа, цитати та зміст у переписаному академічному абзаці? Ми вимірюємо речення за реченням. Шар захисту цитат скоротив кількість вигадок приблизно на 30%.

позначок речень HHEMнабір із 38 абзаців

Хочете щось подібне?

Напишіть нам Усі роботи