Наш глаз — это ИИ из будущего: сетчатка не снимает видео, а предсказывает следующие кадры

Человек убежден, что видит мир таким, каков он есть в данную секунду. Мы открываем глаза и наблюдаем непрерывное, четкое и синхронное движение объектов. Однако с точки зрения физики и клеточной биологии это восприятие — фундаментальная иллюзия. Живые организмы физически не способны воспринимать настоящее время. То, что мы считаем текущей картиной реальности, представляет собой рассчитанный нервной системой прогноз с временным опережением.

Причина кроется в неизбежных аппаратных задержках биологической ткани. Когда свет отражается от предмета и падает на глаз, проходит от 30 до 50 миллисекунд только на то, чтобы фоторецепторы сетчатки преобразовали поглощенные фотоны в биохимический каскад и изменили свой электрический потенциал. Далее сигналу требуется пройти через слой промежуточных нервных клеток, трансформироваться в серию электрических импульсов, дойти по длинным волокнам зрительного нерва до подкорковых структур мозга и распределиться по первичной зрительной коре.

На весь этот путь уходит от 70 до 100 миллисекунд. Еще как минимум 100 миллисекунд занимает формирование моторного ответа — например, движения руки или уклонения головы.

В масштабах физического мира задержка в 100 миллисекунд огромна. Летящий предмет за это время преодолевает значительное расстояние, хищник успевает изменить траекторию прыжка, а бегущее животное рискует потерять равновесие на неровной почве. Если бы нервная система передавала в кору мозга точные параметры светового потока в момент его фиксации, живые существа постоянно реагировали бы на события, которые уже остались в прошлом.

Долгое время наука не могла объяснить, на каком именно этапе и с помощью каких физиологических законов организм компенсирует это отставание. Международная группа нейробиологов из Оксфордского университета и Базельского института Фридриха Мишера опубликовала в журнале Nature Communications доказательство: ключевые вычисления происходят еще до того, как информация покидает глаз. Сетчатка не регистрирует текущий свет, а вычисляет будущее состояние среды.

Ограничения теории сжатия информации

На протяжении последних шестидесяти лет устройство периферического зрения объясняли через теорию эффективного кодирования. В 1961 году британский физиолог Хорас Барлоу выдвинул предположение: задача первых слоев зрительной системы — устранять избыточность входящих данных.

Окружающая среда заполнена повторяющимися структурами: соседние точки одного объекта имеют одинаковую яркость, фон часто остается неподвижным, а перепады освещения происходят плавно. По Барлоу, если бы сетчатка передавала каждый световой пиксель отдельно, зрительный нерв требовал бы колоссальной толщины и тратил бы неоправданно много энергии. Поэтому клетки глаза работают на подавление повторяющихся фрагментов, отправляя в мозг лишь разницу между освещенностью соседних участков — контуры и границы.

Теория эффективного кодирования объяснила пространственное устройство сетчатки: форму ее рецептивных полей (зон видимого пространства, за которые отвечает каждый отдельный нейрон). Однако она почти полностью игнорировала фактор времени. Исследователи анализировали зрение по статическим фотографиям, считая время просто дополнительным измерением для сжатия.

Но зрение развивалось не для архивации неподвижных изображений. Его главная цель — управление движением в непрерывно меняющейся обстановке. Если нервная система занята исключительно сжатием входящего сигнала, она неизбежно накапливает задержки. Альтернативная гипотеза утверждала: сетчатка сформировалась в ходе эволюции как упреждающая система. Ее цель — сгенерировать такой массив нервных импульсов, из которого мозг сможет мгновенно извлечь состояние физического мира не в момент падения фотонов, а на 50-100 миллисекунд позже.

Чтобы проверить обе гипотезы, авторы нового исследования обратились к нормативному математическому моделированию.

Архитектура спайковой нейронной сети

Нейробиологи отказались от стандартных искусственных нейронных сетей, где клетки оперируют абстрактными непрерывными числами. Реальные нейроны сетчатки обмениваются дискретными сигналами — спайками. Спайк — это короткий скачок электрического потенциала на клеточной мембране длительностью около одной миллисекунды.

Исследователи воспроизвели детальную послойную организацию сетчатки:

1. Преганглионарный блок. Фоторецепторы (палочки и колбочки), а также биполярные и горизонтальные клетки реагируют на свет плавно, без генерации спайков, меняя свой мембранный потенциал пропорционально освещенности. В модели этот каскад реализовали как линейную математическую трансформацию, суммирующую свет по пространству и времени с учетом естественного биохимического шума.
2. Ганглионарный слой. Это выходные нейроны сетчатки, чьи отростки формируют зрительный нерв. Их смоделировали в виде слоя из 400 рекуррентно связанных спайковых единиц типа LIF (Leaky Integrate-and-Fire — интеграция входящего тока с утечкой заряда и генерацией спайка при достижении порога). Рекуррентные связи внутри этого слоя отражали реальные межклеточные контакты: прямое электрическое возбуждение через щелевые контакты и латеральное торможение, за которое в живом глазу отвечают амакриновые клетки.

Ключевым условием эксперимента стало строгое ограничение энергопотребления. Поддержание ионного баланса после каждого спайка и работа синаптических соединений требуют колоссального расхода молекул аденозинтрифосфата (АТФ). В математическую функцию потерь включили метаболический штраф: сеть наказывали за каждый лишний спайк и за поддержание энергетически затратных межклеточных связей.

Модель обучали на массиве видеозаписей дикой природы: быстрое панорамирование, перемещение сквозь ветви, движение объектов на разном удалении.

Сети разделили на две группы с идентичным строением, но разными целями обучения:

• Модель настоящего времени: сеть должна была с минимальными энергозатратами восстановить кадр, который падает на рецепторы прямо сейчас (сдвиг прогноза Toff=0 миллисекунд). Это математический эквивалент гипотезы сжатия Барлоу.
• Модель временного упреждения: сеть использовала предысторию спайковой активности, чтобы синтезировать кадр, сдвинутый в будущее на величину Toff ​от 8 до 128 миллисекунд.

Спонтанная дифференциация клеток

До начала тренировки все 400 выходных нейронов модели обладали одинаковыми характеристиками. Однако по мере обучения временному прогнозированию сеть спонтанно разделилась на четыре отчетливых типа клеток. Эти классы в точности совпали с главными разновидностями ганглионарных нейронов, которые составляют более 95% сетчатки высших приматов:

• ON-парасольные клетки. Нейроны с большими пространственными рецептивными полями. Они реагируют на скачок яркости короткой, быстро затухающей серией спайков (фазный ответ).
• OFF-парасольные клетки. Нейроны аналогичного крупного размера, генерирующие кратковременную вспышку активности при резком падении освещенности.
• ON-карликовые клетки. Нейроны с мелкими, узко сфокусированными рецептивными полями, которые непрерывно генерируют спайки на протяжении всего времени присутствия света (тонический ответ).
• OFF-карликовые клетки. Мелкие нейроны, длительно удерживающие импульсную активность в ответ на затемнение.

Рецептивные поля этих клеток самоорганизовались в пространственную мозаику: они равномерно покрыли визуальное поле, соприкасаясь краями без значительных пробелов. Более того, карликовых нейронов в модели получилось существенно больше, чем парасольных, а OFF-клеток — больше, чем ON-клеток. Это точнейшим образом отражает анатомические пропорции, зарегистрированные гистологами в тканях глаза человека и обезьян.

В контрольной модели, которую обучали только сжимать текущий кадр, парасольные клетки не сформировались. Без требования рассчитывать будущие изменения сеть оказалась неспособна создать быстрый фазный канал обработки движения. Одной задачи эффективной компрессии оказалось недостаточно для формирования реальной анатомии глаза.

Физиологические эффекты: опережение и фиксация пропусков

В модели временного упреждения возникли сложные динамические реакции, которые биологи годами регистрировали у животных, но считали отдельными узкоспециализированными механизмами.

1. Антиципация движения (упреждающая реакция)

Если провести перед глазом темную или светлую полосу с постоянной скоростью, ганглионарные клетки сетчатки живого животного начинают разряжаться спайками до того, как край полосы физически пересечет геометрический центр их рецептивного поля. Пик возбуждения популяции клеток смещается вперед по вектору движения, опережая реальный объект.

В прогностической нейросети возникла идентичная реакция. Клетки модели активировались с пространственным опережением, рассчитывая, где полоса окажется через десятки миллисекунд. Когда авторы временно отключили в модели рекуррентные связи между нейронами, дистанция упреждения резко сократилась. Это показало, что латеральные межклеточные взаимодействия служат ключевым механизмом пространственной экстраполяции.

2. Селективность к локальному движению

Глаза живого организма непрерывно двигаются: даже при фиксации взгляда происходят микроскопические колебания — дрейф и тремор. Из-за этого проекция окружающего мира постоянно смещается по сетчатке. Однако мозг не воспринимает неподвижный пейзаж движущимся. В сетчатке за это отвечают нейроны дифференциального движения: они сохраняют молчание, если все поле зрения смещается целиком, но бурно реагируют, если отдельный предмет перемещается относительно фона.

В обученной прогностической модели такие нейроны возникли сами собой. Они вычитали глобальное смещение сцены с помощью тормозных весов от окружающих клеток и генерировали спайки только тогда, когда вектор движения в центральной зоне поля не совпадал с движением периферии.

3. Реакция на пропущенный стимул

Это один из наиболее показательных феноменов сенсорной физиологии. Если сетчатке саламандры или мыши предъявить серию ритмичных вспышек света (например, с частотой 12 герц), клетки переходят в синхронный режим разряда. Но если в установившейся цепочке неожиданно пропустить одну вспышку, популяция ганглионарных нейронов генерирует мощный залп активности в момент ожидаемого, но не наступившего события.

Пассивная система передачи сигнала в принципе не способна на такую реакцию: нет внешнего воздействия — нет сигнала на выходе. Реакция на пропуск возможна только тогда, когда в цепи функционирует внутренняя прогностическая модель, формирующая сигнал ошибки при нарушении ожидаемого хода событий.

Прогностическая спайковая сеть ученых воспроизвела реакцию на пропущенный стимул в точности так, как это происходит в живой ткани. Задержка этого разряда строго зависела от частоты предшествующего ритма: чем реже следовали вспышки, тем позже возникал ответ на пропуск. В модели, настроенной на сжатие настоящего, этот феномен отсутствовал полностью.

Механика передачи данных: задержка первого импульса

Исследователи детально изучили, как именно нейроны сетчатки кодируют информацию о будущем состоянии сцены. В нейробиологии исторически конкурируют две концепции передачи данных:

• Частотное кодирование (rate coding): интенсивность стимула определяется общим числом спайков за фиксированный промежуток времени (например, за 100 или 200 миллисекунд).
• Латентное кодирование (latency coding): значение имеет не количество импульсов, а точное время появления самого первого спайка в ответ на стимул относительно других клеток.

В условиях естественного зрения взгляд задерживается на одной точке всего на 200-300 миллисекунд, после чего глаз совершает быстрое скачкообразное движение — саккаду — и переводит фокус на другой фрагмент пространства. У сетчатки нет времени накапливать статистику спайков: решение о том, что находится перед глазами, должно приниматься в первые десятки миллисекунд после саккады.

Авторы проверили надежность обоих методов кодирования. Они подавали на вход модели природные изображения, искусственно зашумленные случайными гауссовыми помехами, а затем пытались восстановить исходную картинку по спайкам модели с помощью линейного декодера.

Попытка восстановить изображение через подсчет частоты импульсов привела к неудовлетворительному результату: картинка становилась мутной, границы объектов размывались, а шум искажал контуры.

Декодирование через относительную задержку первого спайка показало высокую устойчивость. Даже при экстремальном уровне помех алгоритм безошибочно восстанавливал четкие границы и контрасты. Сетчатке не требуется посылать в мозг непрерывный поток разрядов. Достаточно того, чтобы быстрые нейроны сработали на несколько миллисекунд раньше медленных. Этот временной сдвиг несет в себе исчерпывающую информацию о пространственной структуре будущего кадра, расходуя минимум метаболической энергии.

Экспериментальная проверка: 100 миллисекунд как видовой стандарт

Чтобы результаты работы не остались теоретической абстракцией, авторы сопоставили поведение своей модели с реальными физиологическими данными. Они взяли публичные библиотеки внеклеточных электрофизиологических записей активности ганглионарных клеток, полученных на изолированных препаратах сетчатки четырех видов животных:

• земноводные: тигровая саламандра (Ambystoma tigrinum);
• грызуны: лабораторная мышь (Mus musculus);
• приматы: обыкновенная игрунка (Callithrix jacchus);
• приматы: макака-резус (Macaca mulatta).

Животным демонстрировали аналогичные динамические видеозаписи живой природы, фиксируя ответы сотен индивидуальных нейронов сетчатки на микроэлектродных матрицах.

Ученые пропустили эти же видеоряды через варианты своей модели с разным временным смещением прогноза — от нуля до 128 миллисекунд. Затем они измерили нормализованный коэффициент корреляции между активностью модели и спайками живых клеток.

Результаты показали прямую закономерность:

1. Модель с нулевым смещением (сжатие текущего момента) предсказывала поведение биологических нейронов хуже всего.
2. По мере увеличения временного выноса прогноза в будущее точность модели монотонно возрастала у всех четырех видов.
3. Максимум соответствия между искусственной моделью и биологической тканью стабильно достигался в окне от 56 до 128 миллисекунд, со средним пиком в районе 100 миллисекунд.
4. При попытке прогнозировать события дальше 130 миллисекунд качество описания реальных нейронов резко падало, так как динамика физического мира на больших масштабах времени становится слишком стохастической.

Тот факт, что пик прогнозирования совпал у саламандры и макаки, говорит об универсальности найденного принципа. Земноводные и приматы разделились сотни миллионов лет назад, их зрительные системы адаптированы под принципиально разные среды обитания и способы движения. Но физические ограничения нервной ткани универсальны: скорость биохимических реакций в фоторецепторах и скорость проведения ионных токов по мембранам одинаковы.

Сетчатка эволюционно выстроена так, чтобы заглядывать вперед ровно на ту временную глубину, которая необходима для аннулирования внутренней задержки нервной системы.

Последствия для бионического протезирования

Фундаментальный вывод работы меняет инженерные принципы разработки ретинальных протезов.

Существующие зрительные импланты — такие как системы Argus II, Retina Implant Alpha IMS или современные экспериментальные кремниевые матрицы — работают по упрощенной схеме. Внешняя цифровая камера фиксирует кадр окружающего пространства, процессор переводит пиксели в сетку электрических стимулов, и электроды подают напряжение на сохранившиеся нервные клетки ослепшего глаза.

Пациенты с такими протезами не обретают естественного зрения. Они видят хаотичные вспышки света, светящиеся точки (фосфены), которые расплываются при малейшем повороте головы или движении объекта. Пациенты с трудом различают края дверных проемов и не могут распознавать быстро меняющиеся объекты.

Эксперимент группы Тейлора объясняет причину этой неудачи: современные импланты подают в мозг сырую информацию настоящего момента. Они механически транслируют текущую картинку с камеры, создавая физиологический конфликт. Мозг слепого человека получает синхронный сигнал без временного упреждения, лишенный тонкой структуры межклеточных задержек.

Чтобы зрительный протез работал эффективно, алгоритм его видеопроцессора должен:

• отказаться от синхронной покадровой стимуляции;
• выполнять постоянный расчет траекторий движения пикселей и синтезировать прогноз на 50-100 миллисекунд вперед;
• подавать стимулирующие импульсы на ганглионарные клетки с микросекундными различиями в задержках (латентный код), воспроизводя естественные фазные и тонические паттерны парасольных и карликовых клеток.

Архитектура живого восприятия

Эксперимент исследователей переворачивает классическое понимание сенсорных органов. Глаз долгое время считался пассивным входным каналом, датчиком, единственная функция которого — зарегистрировать физическое явление и переслать его копию в аналитический центр.

Реальная биологическая система функционирует иначе. Сетчатка глаза представляет собой периферийный специализированный процессор, который выполняет постоянную математическую экстраполяцию. Нервная система компенсирует собственную медлительность опережающим моделированием.

Мозг не видит мир в настоящем времени. Он непрерывно сопоставляет свои действия с устойчивой галлюцинацией-прогнозом, которую формирует сетчатка на основе физических закономерностей прошлого опыта. Мы способны ориентироваться в стремительном пространстве лишь потому, что наши глаза никогда не смотрят на то, что происходит прямо сейчас. Они наблюдают то, что вот-вот должно случиться.

Источник: Nature Communications