Воображаемые мелодии удалось восстановить по данным мозговых сигналов

Учёные впервые восстановили мысленно воображаемые мелодии, используя только сигналы мозга — без пения вслух и без музыкальных инструментов. Это значит, что нейроинтерфейсы будущего смогут «слышать» музыку, которую представляет человек, даже если он физически не может её воспроизвести.

Эксперимент провели Джи Квон и Чун Ки Чун из Сеульского национального университета. В исследовании приняли участие 10 пациентов с эпилепсией, которым уже были имплантированы электроды на поверхность мозга для медицинского наблюдения. Ученые использовали эти электроды для ЭКоГ (электрокортикографии) — метода, при котором сигналы снимаются непосредственно с коры головного мозга, а не через череп. Это позволяет получить гораздо более четкую картину активности мозга, чем при обычной ЭЭГ.

Схема эксперимента была простой. Участник слушал несколько начальных тактов знакомой детской песенки. Затем музыка обрывалась, и человек мысленно продолжал ее — напевал про себя. В этот момент алгоритм фиксировал нейронную активность и извлекал из нее информацию о высоте нот. Модель научилась распознавать шесть классов высоты тона: до, ре, ми, фа, соль и ля.

Ключевая особенность системы — она работает с относительными интервалами, а не с абсолютными частотами. По словам Квона, это принципиально важно: человеческий мозг запоминает мелодию именно как последовательность переходов между нотами, а не как набор конкретных герц. Поэтому одна и та же мелодия легко узнается в разных тональностях — и декодер работает по той же логике.

Авторы видят два направления развития технологии. Первое — научное: расширить возможности декодирования, включив в него темп, громкость и более сложные музыкальные формы. Второе — медицинское. Пациенты с БАС (боковым амиотрофическим склерозом) постепенно теряют все двигательные функции, включая речь. Нейроинтерфейс, основанный на этом подходе, мог бы дать им инструмент для выражения внутренней музыкальной жизни — того, что сейчас остается запертым внутри. Исследование опубликовано в журнале eNeuro.

Источник: Medical Xpress