Фильтрация дубликатов сообщений
qtozdec opened this issue · comments
Было бы здорово иметь фильтр проверки на оригинальность последних 10-50 сообщений. Очень часто многие каналы пересылают свои посты между собой, в следствие чего происходит их дублирование. У сообщения есть уникальный id, который сохраняется при пересылке?
Если нет, то возможно хотя бы фильтровать текст этих сообщений, по начальным словам.
Сейчас сохраняется только ID сообщений в исходном канале.
Я думаю, если сообщение является репостом (event.message.fwd_from is not None), то надо собирать event.message.fwd_from.from_id и event.message.fwd_from.channel_post и не пропускать следующие репосты с этими же параметрами.
Либо совсем уж крайняя мера -- хранить некоторое количество последних сообщений и сравнивать новые с помощью нечеткого сравнения или сравнением хэшей текста.