Сбой в работе ИИ привёл к ошибочной блокировке 8 тыс. аккаунтов в Discord

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Кратковременный сбой в системе автоматической модерации Discord привёл к массовым ошибочным блокировкам пользователей. Компания признала проблему и сообщила, что из-за ошибки алгоритма более 8 тыс. аккаунтов были заблокированы после публикации совершенно безобидных изображений. Инцидент продолжался около двух месяцев, прежде чем разработчикам удалось полностью устранить неисправность.

Сгенерировано ИИ
Сгенерировано ИИ
Автор: ChatGPT Источник: chatgpt.com

Как выяснилось, причиной стал сбой в работе ИИ-системы, которая используется для поиска запрещённого контента. Вместо реальных нарушений алгоритм начал воспринимать обычные изображения как потенциально опасные. Под блокировки попадали картинки с шахматными досками, электронными таблицами, текстурами компьютерных игр, сетками, инвентарём из Minecraft, а также изображения с однотонным белым или серым прозрачным фоном. В результате пользователи получали блокировку аккаунтов без каких-либо очевидных причин.

Ситуацию усугубил второй программный сбой. В штатном режиме подозрительные материалы должны отправляться на дополнительную проверку модераторам, а публикация временно ограничивается. Однако из-за ошибки система автоматически выдавала постоянную блокировку, а затем не снимала ее даже после того, как специалисты подтверждали отсутствие нарушений. Часть пользователей оставалась заблокированной, несмотря на успешное прохождение проверки.

Сооснователь и технический директор Discord Станислав Вишневский подтвердил, что проблема уже устранена. По его словам, компания восстановила доступ ко всем ошибочно заблокированным учётным записям и внесла изменения в систему модерации, чтобы исключить повторение подобных ситуаций. Разработчики также признали, что сбой затронул более 8 тыс. пользователей, и принесли извинения за произошедшее.

Источник: TechCrunch

Автор не входит в состав редакции iXBT.com (подробнее »)

Сейчас на главной

Новости

Публикации

В Северной Америке жили «верблюды-вампиры»: как столетняя коллекция музея открыла новый род травоядных с клыками

О древних животных люди чаще всего судят по динозаврам. Однако после их исчезновения на Земле на протяжении миллионов лет жили десятки тысяч видов необычных млекопитающих, о которых широкой...

Какие приборы в квартире на самом деле накручивают счётчик и на чём экономить абсолютно бесполезно

В большинстве квартир борьба за снижение счетов за электричество выглядит одинаково: домочадцы методично выдёргивают из розеток зарядные устройства для смартфонов, выключают телевизор кнопкой на...

Как датский астроном случайно открыл скорость света по спутнику Юпитера Ио — и почему об этом спорили полвека

До конца 17 века большинство учёных считали, что свет распространяется мгновенно. Считалось, что его скорость бесконечна: если зажечь огонь, свет в ту же долю секунды окажется в любой точке...

В 1980-х компьютерные программы передавали по радио. Как их записывали на кассету?

В эфире стихал голос ведущего, и из приёмника шёл резкий писк. Дома его записывали на обычный магнитофон. При повторном прослушивании запись звучала примерно так же. На экране одного домашнего...

Как менялся рост людей за 7000 лет: почему прогресс делал жителей Евразии ниже

В XI веке в Китае распространились новые скороспелые сорта риса. Они позволяли собирать более обильные урожаи с тех же полей. Параллельно в стране развивались оросительные системы,...

Зачем у старой «Волги» слева от педалей была ещё одна кнопка?

На полу ГАЗ‑21 рядом со сцеплением легко пропустить круглую кнопку. Стоит нажать её носком, и на панели может зажечься контрольная лампочка. Но одно и то же нажатие давало разные результаты в...