Почему детекторы ИИ ошибаются и как проверить текст самому

Преподаватель загоняет эссе студента в онлайн-детектор, видит «97% сгенерировано ИИ» и ставит незачёт. А студент писал сам, ночью, своими руками. Или наоборот: редактор прогоняет статью фрилансера, детектор показывает «текст написан человеком» — и пропускает материал, который целиком собрала нейросеть за минуту. Оба верят цифре на экране. Оба могут ошибаться. Разберём, почему проверка «человек или машина» устроена сложнее, чем кажется, и что реально помогает отличить одно от другого.

Почему детекторы ИИ ошибаются в обе стороны

Детектор не «читает» текст и не понимает смысла. Он оценивает, насколько предсказуемо одно слово следует за другим — грубо говоря, насколько текст «гладкий» и усреднённый. Проблема в том, что гладко и предсказуемо пишут и нейросети, и живые люди: студент, который старается писать «правильно» и по шаблону, аккуратный юрист, автор официального письма. Их тексты детектор регулярно записывает в машинные.

Обратная ошибка не менее частая. Достаточно попросить нейросеть писать проще, с ошибками и разговорными оборотами — и «оценка человечности» подскакивает. Есть отдельные сервисы-«очеловечиватели», которые специально ломают ровный ритм, чтобы обойти проверку. Поэтому цифра «85% ИИ» — это не приговор и не доказательство. Это вероятность, посчитанная по косвенным признакам, и ошибается она особенно охотно на коротких текстах и на переводах.

Что выдаёт машинный текст глазами, а не сервисом

Живой читатель ловит нейросеть быстрее любого детектора — если знает, куда смотреть. Не по одному признаку, а по их скоплению:

• Идеально ровный ритм: все абзацы примерно одной длины, предложения одинаково «причёсанные», нет ни одной корявой живой фразы.
• Много слов — мало конкретики. Текст звучит уверенно, но в нём нет имён, цифр, дат, живых деталей, которые может знать только тот, кто был внутри ситуации.
• Обтекаемые связки-штампы: «важно отметить», «играет ключевую роль», «в современном мире». Нейросети обожают такие фразы, а живой человек в личном тексте их почти не пишет.
• Аккуратные, но пустые примеры вроде «компания N повысила эффективность» вместо настоящей истории с деталями.
• Странная фактура: текст красиво рассуждает, но при проверке фактов всплывают выдуманные цитаты, несуществующие книги или перепутанные детали.

Один такой признак ничего не значит — люди тоже пишут штампами. А вот пять сразу — уже повод присмотреться.

Проверка фактов работает лучше проверки стиля

Самый надёжный способ проверки — не про стиль, а про правду. Нейросеть уверенно придумывает то, чего не было: приписывает цитату не тому человеку, ссылается на несуществующее исследование, путает годы. Живой автор ошибается иначе — по невнимательности, а не «выдумывает мир целиком».

Возьмите из текста два-три конкретных утверждения — цитату, цифру, ссылку на источник — и проверьте их вручную. Если цитата гуглится и подтверждается, а источник существует, текст, скорее всего, писал человек или как минимум человек его проверял. Если же красивая цитата не находится нигде, а «известное исследование» никто, кроме этого текста, не упоминает — перед вами почти наверняка машинная выдумка.

Спросите автора про детали, которых нет в тексте

Если нужно проверить конкретного человека — не гоняйте текст через сервис, а поговорите. Нейросеть пишет готовый результат, но за ним нет опыта. Попросите автора рассказать, как он к этим выводам пришёл, что убрал из черновика, почему выбрал именно этот пример. Живой человек ответит с подробностями и сомнениями. Тот, кто просто вставил сгенерированный текст, поплывёт на первом же уточняющем вопросе.

Для учёбы и работы это честнее любого детектора: вы проверяете не «процент ИИ», а понимает ли человек то, что сдал. А это в итоге и есть главное.

Стоит ли вообще ловить нейросеть

Иногда охота за «машинным текстом» бьёт мимо цели. Если человек взял нейросеть как черновик, а потом переписал, проверил факты и добавил свой опыт — какая разница, чем он пользовался? Важно не орудие, а результат: текст точный, полезный и честный или пустой и с выдумками.

Поэтому вместо вопроса «писала это машина или нет» чаще полезнее другой: «этому тексту можно доверять?» Ответ на него не зависит от процента на экране детектора — он зависит от фактов, деталей и того, отвечает ли автор за каждое слово.

С чего начать

В следующий раз, когда захотите проверить подозрительный текст, не верьте одной цифре детектора. Сделайте три шага: прочитайте вслух и поймайте неестественно ровный ритм и пустые штампы; выдерните пару фактов и проверьте их руками; если можно — задайте автору живой вопрос про детали, которых нет в тексте. Этого хватает, чтобы отличить живое от машинного надёжнее любого онлайн-сервиса. А в МАВИИ помогают бизнесу выстраивать работу с нейросетями так, чтобы текст экономил время, но за качество и факты по-прежнему отвечал человек.