Энтузиаст Minecraft создал функциональную нейросеть внутри игры, используя только редстоун

YouTube-блогер mattbatwings реализовал первую в истории нейронную сеть по распознаванию рукописных цифр, используя только редстоун-схемы в игре Minecraft. Это достижение стало результатом многолетней работы и экспериментов.

Вдохновленный курсами по машинному обучению в университете, mattbatwings заинтересовался возможностью создания обучаемой нейросети в виртуальном мире Minecraft. После неудачных попыток найти работающие примеры, он отложил эту идею на некоторое время.

В 2022 году интерес mattbatwings вспыхнул с новой силой, когда в его рекомендациях появилось видео, демонстрирующее сверточную нейронную сеть для распознавания рукописных цифр. Возможность создания компактной, но функциональной системы вдохновила блогера взяться за этот амбициозный проект. Он решил построить более быструю и точную нейросеть для распознавания цифр, невзирая на кажущуюся невыполнимость задачи.

После изучения различных архитектур mattbatwings остановил свой выбор на многослойном персептроне (MLP), рассудив, что он может лучше подходить для реализации на редстоун-схемах, чем популярные сверточные нейросети. Он начал с моделирования и обучения MLP-сети на Python, используя широко известный набор данных MNIST с рукописными цифрами, и добился впечатляющей точности 96%.

Однако на этом пути возникли две значительные проблемы. Во-первых, изображения в MNIST были в оттенках серого, что сложно воспроизвести в Minecraft. Преобразование их в черно-белые позволило сохранить точность 92%, но привело ко второй проблеме: обученные веса и смещения нейронов были представлены числами с плавающей запятой, что затрудняло работу с ними в редстоун-схемах.

Блогер нашел изящное решение, умножив значения весов на 100, округлив до целых чисел и переобучив сеть. Хотя точность снизилась до 83%, она по-прежнему превосходила результаты конкурентов, что стало большим стимулом для mattbatwings.

Затем началась кропотливая работа по воссозданию обученной модели MLP с помощью редстоун-компонентов в Minecraft. Блогер построил планшет для рисования цифр, позаимствовав элементы из своего предыдущего редстоун-проекта «Paint».

После завершения разработки блогер также создал визуализацию в виде столбчатой диаграммы для более наглядного представления уровней уверенности сети для каждой цифры.

Файл с редстоун-конструкцией доступен для скачивания всем желающим протестировать это необычное творение в описании оригинального ролика.

Источник: mattbatwings (YouTube)