Почти любой бот-модератор начинается одинаково: администратор составляет список запрещённых слов. Первую неделю кажется, что этого достаточно. Потом в чат приходит человек, пишет «заработок» с невидимым символом внутри — и список перестаёт работать.
Две проблемы списка слов
Его обходят за секунды. Буква «о» меняется на ноль, латиница смешивается с кириллицей, между символами вставляются невидимые знаки. Текст для человека читается по-прежнему, для фильтра — это другое слово.
Он не различает смысл. Слово «крипта» в тематическом чате про инвестиции — обычная реплика. То же слово в сообщении «пишите в лс, объясню про крипту, заработок от 500$» — реклама. Список не видит разницы и удаляет оба сообщения, а администратор получает недовольных участников.
Что делает ModerBot
Проверка идёт в два шага, и порядок здесь важен.
Шаг первый — быстрые локальные правила. Ссылки, приглашения, пересылки из каналов, флуд, невидимые символы и управляющие знаки направления текста. Это решается за миллисекунды, без обращения к модели. Сюда же входит снятие маскировки: смешанные алфавиты и подменённые символы приводятся к нормальному виду до всех проверок, поэтому «з0раб0ток» и «заработок» для бота одно и то же.
Шаг второй — модель, но только там, где нужно. Если локальные правила ничего не решили, сообщение оценивается по смыслу: что автор предлагает, кому и в каком контексте. Модель видит не одну фразу, а разговор вокруг неё, поэтому вопрос участника остаётся вопросом, а то же слово в рекламном объявлении становится рекламой.
Категории вместо одного списка
Решение принимается не «запрещено или нет», а по категориям: скам и фишинг, реклама, запрещённые вещества, оскорбления, 18+ и другие. У каждой своё действие — от «ничего не делать, только записать в журнал» до бана. Поэтому реклама может удаляться молча, а фишинговая ссылка — приводить к блокировке.
Критические категории вроде скама, фишинга, доксинга и угроз включены всегда и действуют строго: это то, что вредит участникам напрямую. Спорные вещи — мат, ссылки, обмен валюты, упоминания ботов — выключены по умолчанию, потому что в одном чате это нарушение, а в другом обычный разговор.
Картинки проверяются так же, как текст
Спам давно переехал в изображения: скриншот с текстом обходит любой текстовый фильтр. Бот распознаёт текст на картинке и проверяет его теми же правилами, что и обычное сообщение. Само изображение при этом не сохраняется — в журнал попадает результат проверки, а не файл.
Главное отличие: видно, почему
Список слов отвечает только «сработало». В журнале решений видно категорию, причину и действие по каждому сообщению. Это меняет работу администратора: вместо «бот опять кого-то забанил, разбирайся» появляется конкретная строка, по которой понятно, что именно донастроить.
И если решение спорное, чувствительность правится в одной категории, а не во всей модерации сразу.