Сбой в работе ИИ привёл к ошибочной блокировке 8 тыс. аккаунтов в Discord

Кратковременный сбой в системе автоматической модерации Discord привёл к массовым ошибочным блокировкам пользователей. Компания признала проблему и сообщила, что из-за ошибки алгоритма более 8 тыс. аккаунтов были заблокированы после публикации совершенно безобидных изображений. Инцидент продолжался около двух месяцев, прежде чем разработчикам удалось полностью устранить неисправность.

Как выяснилось, причиной стал сбой в работе ИИ-системы, которая используется для поиска запрещённого контента. Вместо реальных нарушений алгоритм начал воспринимать обычные изображения как потенциально опасные. Под блокировки попадали картинки с шахматными досками, электронными таблицами, текстурами компьютерных игр, сетками, инвентарём из Minecraft, а также изображения с однотонным белым или серым прозрачным фоном. В результате пользователи получали блокировку аккаунтов без каких-либо очевидных причин.

Ситуацию усугубил второй программный сбой. В штатном режиме подозрительные материалы должны отправляться на дополнительную проверку модераторам, а публикация временно ограничивается. Однако из-за ошибки система автоматически выдавала постоянную блокировку, а затем не снимала ее даже после того, как специалисты подтверждали отсутствие нарушений. Часть пользователей оставалась заблокированной, несмотря на успешное прохождение проверки.

Сооснователь и технический директор Discord Станислав Вишневский подтвердил, что проблема уже устранена. По его словам, компания восстановила доступ ко всем ошибочно заблокированным учётным записям и внесла изменения в систему модерации, чтобы исключить повторение подобных ситуаций. Разработчики также признали, что сбой затронул более 8 тыс. пользователей, и принесли извинения за произошедшее.

Источник: TechCrunch