Виртуальная Реальность в действии


Пару-тройку лет назад было дико популярно такое понятие, как "Виртуальная Реальность" (ВР). Для меня понятие ВР началось с фильма "Газонокосильщик", где главные герои "уходили" в миры ВР. Для этого "ухода" они надевали специальные ВР-костюм, ВР-перчатки и ВР-шлем. С помощью всех этих прибамбасов можно было видеть, осязать и взаимодействовать с виртуальным миром. После этого фильма последовало много довольно "кривых" фильмов, где так или иначе фигурировало понятие ВР. Сложилось определенное клише, что шлем плюс перчатка - это непременный атрибуты ВР, с помощью которых вы сможете "войти" и ощутить искусственные миры, созданные с помощью компьютера. На самом деле (вы уже, наверно, догадались) все не так красиво и просто.

Для начала определимся, что же такое ВР. ВР - искусственно созданный мир со своими законами и объектами, подчиняющимися этим законам. Причем этот мир может быть создан не обязательно с помощью компьютера. Пример тому - книги, с их миром и героями, "живущими" в воображении писателей. Далее будем рассматривать только компьютерную ВР. Мы познаем мир с помощью таких основных чувств как: зрение, слух, осязание, обоняние, вкус. Подменяя информацию на искусственно созданную для некоторых или всех чувств, можно создать иллюзию присутствия в другом мире. Кстати, эта подмена является основным понятием философии. Например, с идеалистической точки зрения весь окружающий нас мир, является "продуктом", придуманным нашим мозгом. Вернемся к компьютерам. Моделировать ВР-миры чрезвычайно сложно. А еще сложнее осуществить "подмену" информации для наших органов чувств. Например, зрение - мы получаем "картинку" мира с помощью сетчатки внутри глаз.

Ученые примерно подсчитали, что разрешение сетчатки где-то 8000*8000 точек. Таким образом, чтобы получить такую "картинку" на компьютере при глубине цвета 24 бита, нужно использовать как минимум 384 Мб видеопамяти, пропускную способность шины иметь 11.5 Гб/сек для 30 кадров в секунду!!! Такие объемы данных ни какой компьютер пока не может обрабатывать в реальном времени. И это только для изображения, а еще есть звук, осязание и т.д., которые потребует не меньших ресурсов. В общем, в ближайшие 10-20 лет вряд ли стоит ожидать получения действительно реалистичного представления миров ВР.

А что уже есть? 3-х мерные игры уже выглядят достаточно реалистично и красиво. Но это на экране компьютера. А чтобы увидеть мир игры своими глазами вам будет необходимы очки или шлем ВР. Рассмотрим основные принципы формирования стереоизображения. Наиболее простой способ - поочередно формировать изображение на дисплее для правого и левого глаза. Для того чтобы каждый глаз видел свое изображение, необходимо синхронизировать изображение с устройством, которое заслоняет поочередно то левый, то правый глаз, в тот момент, когда на экране нужное изображение. Обычно для этой цели используется скоростная LCD-затворная линза, управляемая платой синхронизации. Основная проблема - невысокая частота вертикальной развертки мониторов. Ведь для того чтобы не уставали глаза нужно 85-100 Гц. Соответственно, для стереоизображения в 2 раза больше (150-300 Гц). На таком принципе построены следующие очки ВР:

· очки Holographic3D от фирмы H3D Entertainment. По информации производителя, эти очки не только делают картинку на вашем мониторе полностью объёмной для глаз, они также используют новую технологию, устраняющую практически полностью вредное мерцание, являющееся известным недостатком аналогичных продуктов. В настоящее время H3D поддерживает только Quake, а именно Quake for DOS, Verite Quake и конечно GlQuake! В ближайшее время выйдут драйвера поддержки для Quake for Windows и Quake2!!! 3Dfx Interactive пошла навстречу H3D и в следующую версию интерфейса Glide (2.45) уже будет встроена поддержка этих очков! Интересно, что заявленная цена составляет около $100.

· Другие очки ВР: CrystalEyes PC от фирмы StereoGraphics Corp;

· 3D Max - были одно время популярны и поддерживаются очень многими играми, для которых нужно найти соответствующий патч.

· CyberMaxx 3D от фирмы VictorMaxx Technologies Inc.

· 3D Stereo Set - одни из новых хороших очков. Эти очки поддерживаются в играх от фирмы Maddox (Z.A.R., MadSpace);

Второй способ более дорогой - непосредственное построение изображений на цветных матрицах для каждого глаза в шлемах или очках ВР. То есть необходимо строить изображения для каждого глаза на своем маленьком мониторе. Обычно разрешение в подобных устройствах пока очень мало и составляет что-то около 200 на 300 точек. На таком принципе построены следующие очки и шлемы ВР:

· шлем VFX1 от фирмы Forte Technologies. (цена ~$700). Это самый популярный шлем ВР, благодаря внушительному виду, манипулятору ВР с 3-мя степенями свободы и прекрасным наушникам, встроенным в шлем. Хотя изображение размазано, и трудно навести под свои глаза. А чтобы научится сносно управлять этой "виртуальной мышью", нужно попотеть не один день. Этот ВР девайс, что идет с VFX-1 работает следующим образом: вы держите это "чудо" в руке и наклоняя его вправо, влево, вперед и назад получаете адекватную реакцию движения в виртуальном мире. Например, в таких играх, как Doom, Duke3D, Quake, Descent играть в шлеме VFX-1 с его ВР-мышью становиться намного интересней, хотя достаточно сложно научиться управлять. VFX-1 имеет гироскопическую систему датчиков отслеживающих положения головы человека. То есть вы можете поворачивать голову, и в игре вы тоже будете осматривать окрестности в соответствии с поворотами "реальной" головы. Я сам пробовал поиграть в шлеме VFX-1 в Doom и Quake. И отношение, к тому, что я увидел и ощутил, несколько неоднозначное: во-первых, изображение достаточно размазано, а навести его с помощью фокусировки на объективах шлема, практически невозможно, потому что при движениях головы экран постоянно немного отходит; во-вторых, звук очень неплох и прекрасно передаются низкие частоты; в-третьих, отлично отслеживается положение головы и ее наклоны. В общем, этот шлем наиболее яркий представитель шлемов ВР на сегодня. Но лучше подождать VFX-2.

· шлем i-Glasses от фирмы Virtual I/O (немного дешевле VFX1). Благодаря оригинальному устройству, позволяет делать изображение прозрачным и видеть сквозь него экран монитора. Линзы находятся на большем расстоянии от глаз, поэтому утомляемость глаз ниже, а четкость изображения выше, чем у VFX-1. Кроме того, входной видео-сигнал для i-Glasses должен быть в стандарте NTSC (используется преобразователь SVGA-NTSC), что позволяет подключить i-Glasses к внешнему источнику видеосигнала, и например, к видеомагнитофону (NTSC).

Все очки и шлемы обеспечат нам "зрение" в виртуальном мире, а как быть с другими чувствами? Довольно успешно сейчас развивается имитация осязания или тактильных ощущений. Рассмотрим наиболее интересные устройства:

· FEELit Mouse - мышь, которая позволяет пользователям осязать их программное обеспечение. То есть можно почувствовать выпуклость кнопки, проведя над ней курсор, или вес каталога, перетаскивая его куда нибудь! Или ощутить сопротивление, с которым изменяется размер окна, почувствовать рельеф текстуры или картинки в графическом редакторе. FEELit Mouse должна начать продаваться уже в этом году по предполагаемой цене около $140.

· Microsoft Sidewinder Force Feedback Pro, CH Force-FX и Virtual Vehicle - джойстики, поддерживающие технологию Force Feedback (силовая обратная связь). Технология Force Feedback встроена в DirectX 5.0 и выше. Что значит Force Feedback: например, если вы играете в гоночный симулятор на этом джойстике, то джойстик будет "трястись" в соответствии с ухабами на дороге. Или при этом вам будет трудно повернуть ручку джойстика на большой скорости, он будет вам "противиться", в соответствии с физическими законами, заданными в игре. Или вообще вырываться из рук при аварии вашей машины. А, играя в стрелялку, вы получите на нем отдачу при выстрелах или при попадании в вас пуль. Подобные джойстики уже есть в продаже по цене около $150.

Особенно в "устройствах с силовой обратной связью" преуспела фирма Immersion Corporation. В основном Immersion специализируется на создании устройств с обратной связью для медицины. Какая связь с медициной? А вот такая: хирург или врач манипулирует не инструментами и пациентом, а работает с виртуальной моделью человека, используя для этого устройства с обратной связью. Манипулируя объектами в виртуальном мире, врач тем не менее чувствует человека и его ткани. А всю "грязную" работу делает робот, управляемый компьютером, посредством устройства с обратной связью, которым, в свою очередь, управляет врач. То есть эти устройства как бы являются шлюзом между врачем, пациентом и виртуальным миром. Для медицины подобные устройства должны обеспечивать как можно более точные и реалистичные ощущения. Подобные технологии имеют беспрецедентно перспективное будущее. Например, проведение хирургических операций. Хирург погружается в ВР, в которой он видит пациента в объеме и насквозь, получаемое с помощью каких либо сканеров (лазерные сканеры, ядерные томографы) и преобразуемое в виртуальную модель с необходимой точностью. Хирург сможет увеличиль изображение любой части тела и работать, не боясь случайно дернуть рукой со скальпелем. А используя микророботов, возможно провести операцию прямо извнутри человека, например в сердце. Кроме того, становится возможным проводить операции дистанционно, скажем через интернет - врач сидит в США, пациент находится где нибудь в Уругвае и врач его, тем не менее, "ощущает" и оперирует. Но для этого, конечно, необходимо обеспечить, практически, 100%-ую надежную связь, чего пока и в ближйшие лет двадцать, интернет вряд ли сможет дать. Ну для таких глобальных технологий это не срок.

А почему удобней манипулировать в виртуальном мире, а например, не с реальным видеоизображением? Да потому, что при работе с виртуальными моделями, возможно с какой угодно степенью точности манипулировать объектами, рассматривать их в нужном ракурсе или вовсе изнутри. Применение технологий виртуальной реальности, возможно не только в медицине, но и в других отраслях профессиональной деятельности. Наример, там где на человека действуют вредные излучения, агрессивные среды, космос и т.д. Подобные технологиии уже успешно применяются в тренажерах-иммитаторах: автомобилей, самолетов, кораблей, космических аппаратов. Ну, и конечно же, (наконец добрались и до этого) в индустрии развлечений, и в частности, в играх. Кроме игр, в которых можно и нужно имитировать практически все, уже начало развиваться направление устройств с очень специфичной (и я думаю, очень перспективной) обратной связью, а точнее имитация сексуальных ощущений. Тут великий простор и непочатый край работы для изобретателей и программистов.

Киберсекс (Cybersex) - так емко называют это направление. Пока, видимо, научились имитировать лишь последнюю стадию сексуального контакта, используя соответствующие мужчине и женщине устройства с обратной связью, надеваемые на "известные" места. Что же касается прикосновений, то можно сказать, что имитация подобных ощущений предвидится ой как не скоро. Разве, что научаться "подключаться" непосредственно к нервным окончаниям человека, а не имитировать физическое воздействие. Идеальная имитация виртуальной реальности будет лишь тогда, когда возможно будет "подключиться" непосредственно к зрительным, обонятельным, осязательным, слуховым окончаниям, которые находятся в спинном и головном мозге. И вот тогда то мы и не сможем отличить мнимое от реального.

Немного отвлеклись в сторону, но продолжим рассматривать, что же такое, эти устройства с Force Feedback. Итак, посмотрим как определяют это понятие его родители (Immersion): "Силовая обратная связь, также известная как силовое отражение, имеет отношение к технологиям, которые позволяют компьютерам передавать реалистичные физические ощущения пользователям. Такие силовые ощущения используются, чтобы передать информацию с уровнем реализма не предусмотренного традиционными видео и звуковыми технологиями. Представьте себе возможность действительно чувствать физически имитированный шар на имитированной тенисной ракетке. Представьте себе чувство аварии при столкновении астероида с бортом космического корабля. Представьте себе чувство ощущения биологической ткани, когда имитированного игла прокалывать имитированный орган. Силовая обратная связь делает все эти вещи возможными, и Immersion делает все усилия, чтобы эти технологии были доступны широкой публике."

Неплохо описано. Контрастно и живо. И на самом деле, вы сможете ощутить нечто подобное в играх, если приобретете один из манипуляторов с технологией Force Feedback. Фирма Immersion разработала API "I-Force" для этих устройств еще в 1995 году. В дальнейшем I-Force был встроен в Microsoft DirectX 5.0 и выше, что позволило многим производителям игр быть готовыми к нашествию различных джойстиков, рулей с Force Feedback.

Получается, что зрение, звук, осязание уже неплохо имитируются, а вот с другими чувствами человека сложнее. Пока нет ни "запаховых" ни "вкусовых" карточек. В ближайший год ожидается настоящий бум устройств, поддерживающих технологию Force Feedback. Если вы планируете взять хороший джойстик, обязательно берите с поддержкой этой технологии. Со шлемами и очками сложнее, но обратить внимание стоит разве что на очки Holographics3D.



Дополнение

В своей статье Николай Комарков допустил маленькую неточность в этом абзаце.

В принципе, все верно, если речь идет о большом экране, но не о самом глазе. "Ученые" подсчитали разрешение сетчатки неправильно, на самом деле сетчатка содержит примерно 6000000 колбочек (фоторецепторы которые различают цвет). Но это теоретически, практически мы не можем видеть каждым рецептором и поэтому для систем ВР это количество можно смело уменьшить раза в два. Получается около 3 миллионов точек (~1700x1700), отсюда следующие характеристики ВР-видеоплаты:

  • Видеопамять 9Мб для каждого глаза = 18Мб
  • Пропускная способность 18Мб * 30 кадров = 540Мб/сек (меньше в 20 раз)

Видеоплаты с такой производительностью выйдут уже в следующем году, а не через 10-20 лет.

Вы можете возразить, что это слишком малое разрешение для глаза, но на самом деле, глаза это ПЗС-матрица и разрешение у них распределено неравномерно. В центре сетчатки "разрешение" самое высокое, глаз различает угол до 0,02 градуса, а на периферии оно падает до 1-2 градусов.

Однако, не смотря на столь "низкие" характеристики существует огромное количество проблем в создании ВР-зрения, вот лишь некоторые из них:

  1. Картинку нужно будет подавать прямо на сетчатку, а для этого нужно отслеживать перемещение не только головы, но и зрачков, возможно даже фокусировку хрусталика!.
    Такой механизм позволит создавать настоящее объемное изображение, а не простое стереоскопическое. Для отрисовки изображения можно, например, использовать лазерный луч низкой мощности.
  2. Изображение, которое надо построить не квадратое, а полусферическое, причем с переменным разрешением. Как оно будеть хранится в видеопамяти тоже вопрос.
  3. 24 битный цвет, это конечно хорошо, но с его помощью не смоделировать в ВР тусклый свет звезд и ослепительное солнце, так что придется придумать что-то новое.
  4. Нужно будет разработать специальные 3D-ускорители, существующие не годятся совсем.
  5. Что-бы хранить и обрабатывать огромные 3D модели понадобятся процессор с высокой вычислительной мощностью (либо специализированный) и оперативная память больших размеров. Вот это действительно сдерживающий фактор, лет на 10.

И в заключении небольшой прогноз. Я думаю, что с выходом подобных устройств потребность в мониторах резко упадет, и действительно, зачем нужен монитор, если в ВР-пространстве их можно смоделировать.



Комментарий

Тут затронули тему глаз. Хотелось бы отметить, что глаз это не растровый монитор или камера. Я полагаю что глаз фиксирует картинку целиком, как фото или киноаппарат, а мозг в известном приближении можно уподобить компьютеру. Так вот, к чему это я веду, если взять две смазанные картинки одного действия и просчитать средние значения контуров, то, вероятно, можно получить более резкое итоговое изображение. Не так-ли работает наш головной мозг? Не даром-же, когда мы вглядываемся в какую-то картину, открывается больше деталей. Тогда может быть мы не в том направлении движемся и не те факторы высчитываем?



Ответ на комментарий

По поводу комментария к статье. Глаз, конечно же, не камера. Более того, первичная обработка картинки происходит уже в сетчатке - не зря глаз часто считают не отдельным органом, а отделом мозга (я, конечно, утрирую, но самую малость). Но так просто, как предлагает Сергей, к этой проблеме подходить нельзя. На самом деле, уже давно, и совсем небезуспешно, ведутся работы по созданию искусственной (она же - кремниевая) сетчатка. Об этом много писал, например, Scientific American. Были эти статьи и в русском варианте журнала - "В мире науки". К сожалению, дать более точную ссылку не могу. Вот использование этих наработок, возможно, и дало бы результат. А "противофазное размазывание" - увы.

При подготовке данной статьи были использованы материалы с сайта: www.force-feedback.com




Дополнительно

Virtual Reality in Action

Виртуальная Реальность в действии

Пару-тройку лет назад было дико популярно такое понятие, как "Виртуальная Реальность" (ВР). Для меня понятие ВР началось с фильма "Газонокосильщик", где главные герои "уходили" в миры ВР. Для этого "ухода" они надевали специальные ВР-костюм, ВР-перчатки и ВР-шлем. С помощью всех этих прибамбасов можно было видеть, осязать и взаимодействовать с виртуальным миром. После этого фильма последовало много довольно "кривых" фильмов, где так или иначе фигурировало понятие ВР. Сложилось определенное клише, что шлем плюс перчатка - это непременный атрибуты ВР, с помощью которых вы сможете "войти" и ощутить искусственные миры, созданные с помощью компьютера. На самом деле (вы уже, наверно, догадались) все не так красиво и просто.

Для начала определимся, что же такое ВР. ВР - искусственно созданный мир со своими законами и объектами, подчиняющимися этим законам. Причем этот мир может быть создан не обязательно с помощью компьютера. Пример тому - книги, с их миром и героями, "живущими" в воображении писателей. Далее будем рассматривать только компьютерную ВР. Мы познаем мир с помощью таких основных чувств как: зрение, слух, осязание, обоняние, вкус. Подменяя информацию на искусственно созданную для некоторых или всех чувств, можно создать иллюзию присутствия в другом мире. Кстати, эта подмена является основным понятием философии. Например, с идеалистической точки зрения весь окружающий нас мир, является "продуктом", придуманным нашим мозгом. Вернемся к компьютерам. Моделировать ВР-миры чрезвычайно сложно. А еще сложнее осуществить "подмену" информации для наших органов чувств. Например, зрение - мы получаем "картинку" мира с помощью сетчатки внутри глаз.

Ученые примерно подсчитали, что разрешение сетчатки где-то 8000*8000 точек. Таким образом, чтобы получить такую "картинку" на компьютере при глубине цвета 24 бита, нужно использовать как минимум 384 Мб видеопамяти, пропускную способность шины иметь 11.5 Гб/сек для 30 кадров в секунду!!! Такие объемы данных ни какой компьютер пока не может обрабатывать в реальном времени. И это только для изображения, а еще есть звук, осязание и т.д., которые потребует не меньших ресурсов. В общем, в ближайшие 10-20 лет вряд ли стоит ожидать получения действительно реалистичного представления миров ВР.

А что уже есть? 3-х мерные игры уже выглядят достаточно реалистично и красиво. Но это на экране компьютера. А чтобы увидеть мир игры своими глазами вам будет необходимы очки или шлем ВР. Рассмотрим основные принципы формирования стереоизображения. Наиболее простой способ - поочередно формировать изображение на дисплее для правого и левого глаза. Для того чтобы каждый глаз видел свое изображение, необходимо синхронизировать изображение с устройством, которое заслоняет поочередно то левый, то правый глаз, в тот момент, когда на экране нужное изображение. Обычно для этой цели используется скоростная LCD-затворная линза, управляемая платой синхронизации. Основная проблема - невысокая частота вертикальной развертки мониторов. Ведь для того чтобы не уставали глаза нужно 85-100 Гц. Соответственно, для стереоизображения в 2 раза больше (150-300 Гц). На таком принципе построены следующие очки ВР:

· очки Holographic3D от фирмы H3D Entertainment. По информации производителя, эти очки не только делают картинку на вашем мониторе полностью объёмной для глаз, они также используют новую технологию, устраняющую практически полностью вредное мерцание, являющееся известным недостатком аналогичных продуктов. В настоящее время H3D поддерживает только Quake, а именно Quake for DOS, Verite Quake и конечно GlQuake! В ближайшее время выйдут драйвера поддержки для Quake for Windows и Quake2!!! 3Dfx Interactive пошла навстречу H3D и в следующую версию интерфейса Glide (2.45) уже будет встроена поддержка этих очков! Интересно, что заявленная цена составляет около $100.

· Другие очки ВР: CrystalEyes PC от фирмы StereoGraphics Corp;

· 3D Max - были одно время популярны и поддерживаются очень многими играми, для которых нужно найти соответствующий патч.

· CyberMaxx 3D от фирмы VictorMaxx Technologies Inc.

· 3D Stereo Set - одни из новых хороших очков. Эти очки поддерживаются в играх от фирмы Maddox (Z.A.R., MadSpace);

Второй способ более дорогой - непосредственное построение изображений на цветных матрицах для каждого глаза в шлемах или очках ВР. То есть необходимо строить изображения для каждого глаза на своем маленьком мониторе. Обычно разрешение в подобных устройствах пока очень мало и составляет что-то около 200 на 300 точек. На таком принципе построены следующие очки и шлемы ВР:

· шлем VFX1 от фирмы Forte Technologies. (цена ~$700). Это самый популярный шлем ВР, благодаря внушительному виду, манипулятору ВР с 3-мя степенями свободы и прекрасным наушникам, встроенным в шлем. Хотя изображение размазано, и трудно навести под свои глаза. А чтобы научится сносно управлять этой "виртуальной мышью", нужно попотеть не один день. Этот ВР девайс, что идет с VFX-1 работает следующим образом: вы держите это "чудо" в руке и наклоняя его вправо, влево, вперед и назад получаете адекватную реакцию движения в виртуальном мире. Например, в таких играх, как Doom, Duke3D, Quake, Descent играть в шлеме VFX-1 с его ВР-мышью становиться намного интересней, хотя достаточно сложно научиться управлять. VFX-1 имеет гироскопическую систему датчиков отслеживающих положения головы человека. То есть вы можете поворачивать голову, и в игре вы тоже будете осматривать окрестности в соответствии с поворотами "реальной" головы. Я сам пробовал поиграть в шлеме VFX-1 в Doom и Quake. И отношение, к тому, что я увидел и ощутил, несколько неоднозначное: во-первых, изображение достаточно размазано, а навести его с помощью фокусировки на объективах шлема, практически невозможно, потому что при движениях головы экран постоянно немного отходит; во-вторых, звук очень неплох и прекрасно передаются низкие частоты; в-третьих, отлично отслеживается положение головы и ее наклоны. В общем, этот шлем наиболее яркий представитель шлемов ВР на сегодня. Но лучше подождать VFX-2.

· шлем i-Glasses от фирмы Virtual I/O (немного дешевле VFX1). Благодаря оригинальному устройству, позволяет делать изображение прозрачным и видеть сквозь него экран монитора. Линзы находятся на большем расстоянии от глаз, поэтому утомляемость глаз ниже, а четкость изображения выше, чем у VFX-1. Кроме того, входной видео-сигнал для i-Glasses должен быть в стандарте NTSC (используется преобразователь SVGA-NTSC), что позволяет подключить i-Glasses к внешнему источнику видеосигнала, и например, к видеомагнитофону (NTSC).

Все очки и шлемы обеспечат нам "зрение" в виртуальном мире, а как быть с другими чувствами? Довольно успешно сейчас развивается имитация осязания или тактильных ощущений. Рассмотрим наиболее интересные устройства:

· FEELit Mouse - мышь, которая позволяет пользователям осязать их программное обеспечение. То есть можно почувствовать выпуклость кнопки, проведя над ней курсор, или вес каталога, перетаскивая его куда нибудь! Или ощутить сопротивление, с которым изменяется размер окна, почувствовать рельеф текстуры или картинки в графическом редакторе. FEELit Mouse должна начать продаваться уже в этом году по предполагаемой цене около $140.

· Microsoft Sidewinder Force Feedback Pro, CH Force-FX и Virtual Vehicle - джойстики, поддерживающие технологию Force Feedback (силовая обратная связь). Технология Force Feedback встроена в DirectX 5.0 и выше. Что значит Force Feedback: например, если вы играете в гоночный симулятор на этом джойстике, то джойстик будет "трястись" в соответствии с ухабами на дороге. Или при этом вам будет трудно повернуть ручку джойстика на большой скорости, он будет вам "противиться", в соответствии с физическими законами, заданными в игре. Или вообще вырываться из рук при аварии вашей машины. А, играя в стрелялку, вы получите на нем отдачу при выстрелах или при попадании в вас пуль. Подобные джойстики уже есть в продаже по цене около $150.

Особенно в "устройствах с силовой обратной связью" преуспела фирма Immersion Corporation. В основном Immersion специализируется на создании устройств с обратной связью для медицины. Какая связь с медициной? А вот такая: хирург или врач манипулирует не инструментами и пациентом, а работает с виртуальной моделью человека, используя для этого устройства с обратной связью. Манипулируя объектами в виртуальном мире, врач тем не менее чувствует человека и его ткани. А всю "грязную" работу делает робот, управляемый компьютером, посредством устройства с обратной связью, которым, в свою очередь, управляет врач. То есть эти устройства как бы являются шлюзом между врачем, пациентом и виртуальным миром. Для медицины подобные устройства должны обеспечивать как можно более точные и реалистичные ощущения. Подобные технологии имеют беспрецедентно перспективное будущее. Например, проведение хирургических операций. Хирург погружается в ВР, в которой он видит пациента в объеме и насквозь, получаемое с помощью каких либо сканеров (лазерные сканеры, ядерные томографы) и преобразуемое в виртуальную модель с необходимой точностью. Хирург сможет увеличиль изображение любой части тела и работать, не боясь случайно дернуть рукой со скальпелем. А используя микророботов, возможно провести операцию прямо извнутри человека, например в сердце. Кроме того, становится возможным проводить операции дистанционно, скажем через интернет - врач сидит в США, пациент находится где нибудь в Уругвае и врач его, тем не менее, "ощущает" и оперирует. Но для этого, конечно, необходимо обеспечить, практически, 100%-ую надежную связь, чего пока и в ближйшие лет двадцать, интернет вряд ли сможет дать. Ну для таких глобальных технологий это не срок.

А почему удобней манипулировать в виртуальном мире, а например, не с реальным видеоизображением? Да потому, что при работе с виртуальными моделями, возможно с какой угодно степенью точности манипулировать объектами, рассматривать их в нужном ракурсе или вовсе изнутри. Применение технологий виртуальной реальности, возможно не только в медицине, но и в других отраслях профессиональной деятельности. Наример, там где на человека действуют вредные излучения, агрессивные среды, космос и т.д. Подобные технологиии уже успешно применяются в тренажерах-иммитаторах: автомобилей, самолетов, кораблей, космических аппаратов. Ну, и конечно же, (наконец добрались и до этого) в индустрии развлечений, и в частности, в играх. Кроме игр, в которых можно и нужно имитировать практически все, уже начало развиваться направление устройств с очень специфичной (и я думаю, очень перспективной) обратной связью, а точнее имитация сексуальных ощущений. Тут великий простор и непочатый край работы для изобретателей и программистов.

Киберсекс (Cybersex) - так емко называют это направление. Пока, видимо, научились имитировать лишь последнюю стадию сексуального контакта, используя соответствующие мужчине и женщине устройства с обратной связью, надеваемые на "известные" места. Что же касается прикосновений, то можно сказать, что имитация подобных ощущений предвидится ой как не скоро. Разве, что научаться "подключаться" непосредственно к нервным окончаниям человека, а не имитировать физическое воздействие. Идеальная имитация виртуальной реальности будет лишь тогда, когда возможно будет "подключиться" непосредственно к зрительным, обонятельным, осязательным, слуховым окончаниям, которые находятся в спинном и головном мозге. И вот тогда то мы и не сможем отличить мнимое от реального.

Немного отвлеклись в сторону, но продолжим рассматривать, что же такое, эти устройства с Force Feedback. Итак, посмотрим как определяют это понятие его родители (Immersion): "Силовая обратная связь, также известная как силовое отражение, имеет отношение к технологиям, которые позволяют компьютерам передавать реалистичные физические ощущения пользователям. Такие силовые ощущения используются, чтобы передать информацию с уровнем реализма не предусмотренного традиционными видео и звуковыми технологиями. Представьте себе возможность действительно чувствать физически имитированный шар на имитированной тенисной ракетке. Представьте себе чувство аварии при столкновении астероида с бортом космического корабля. Представьте себе чувство ощущения биологической ткани, когда имитированного игла прокалывать имитированный орган. Силовая обратная связь делает все эти вещи возможными, и Immersion делает все усилия, чтобы эти технологии были доступны широкой публике."

Неплохо описано. Контрастно и живо. И на самом деле, вы сможете ощутить нечто подобное в играх, если приобретете один из манипуляторов с технологией Force Feedback. Фирма Immersion разработала API "I-Force" для этих устройств еще в 1995 году. В дальнейшем I-Force был встроен в Microsoft DirectX 5.0 и выше, что позволило многим производителям игр быть готовыми к нашествию различных джойстиков, рулей с Force Feedback.

Получается, что зрение, звук, осязание уже неплохо имитируются, а вот с другими чувствами человека сложнее. Пока нет ни "запаховых" ни "вкусовых" карточек. В ближайший год ожидается настоящий бум устройств, поддерживающих технологию Force Feedback. Если вы планируете взять хороший джойстик, обязательно берите с поддержкой этой технологии. Со шлемами и очками сложнее, но обратить внимание стоит разве что на очки Holographics3D.



Дополнение

В своей статье Николай Комарков допустил маленькую неточность в этом абзаце.

В принципе, все верно, если речь идет о большом экране, но не о самом глазе. "Ученые" подсчитали разрешение сетчатки неправильно, на самом деле сетчатка содержит примерно 6000000 колбочек (фоторецепторы которые различают цвет). Но это теоретически, практически мы не можем видеть каждым рецептором и поэтому для систем ВР это количество можно смело уменьшить раза в два. Получается около 3 миллионов точек (~1700x1700), отсюда следующие характеристики ВР-видеоплаты:

  • Видеопамять 9Мб для каждого глаза = 18Мб
  • Пропускная способность 18Мб * 30 кадров = 540Мб/сек (меньше в 20 раз)

Видеоплаты с такой производительностью выйдут уже в следующем году, а не через 10-20 лет.

Вы можете возразить, что это слишком малое разрешение для глаза, но на самом деле, глаза это ПЗС-матрица и разрешение у них распределено неравномерно. В центре сетчатки "разрешение" самое высокое, глаз различает угол до 0,02 градуса, а на периферии оно падает до 1-2 градусов.

Однако, не смотря на столь "низкие" характеристики существует огромное количество проблем в создании ВР-зрения, вот лишь некоторые из них:

  1. Картинку нужно будет подавать прямо на сетчатку, а для этого нужно отслеживать перемещение не только головы, но и зрачков, возможно даже фокусировку хрусталика!.
    Такой механизм позволит создавать настоящее объемное изображение, а не простое стереоскопическое. Для отрисовки изображения можно, например, использовать лазерный луч низкой мощности.
  2. Изображение, которое надо построить не квадратое, а полусферическое, причем с переменным разрешением. Как оно будеть хранится в видеопамяти тоже вопрос.
  3. 24 битный цвет, это конечно хорошо, но с его помощью не смоделировать в ВР тусклый свет звезд и ослепительное солнце, так что придется придумать что-то новое.
  4. Нужно будет разработать специальные 3D-ускорители, существующие не годятся совсем.
  5. Что-бы хранить и обрабатывать огромные 3D модели понадобятся процессор с высокой вычислительной мощностью (либо специализированный) и оперативная память больших размеров. Вот это действительно сдерживающий фактор, лет на 10.

И в заключении небольшой прогноз. Я думаю, что с выходом подобных устройств потребность в мониторах резко упадет, и действительно, зачем нужен монитор, если в ВР-пространстве их можно смоделировать.



Комментарий

Тут затронули тему глаз. Хотелось бы отметить, что глаз это не растровый монитор или камера. Я полагаю что глаз фиксирует картинку целиком, как фото или киноаппарат, а мозг в известном приближении можно уподобить компьютеру. Так вот, к чему это я веду, если взять две смазанные картинки одного действия и просчитать средние значения контуров, то, вероятно, можно получить более резкое итоговое изображение. Не так-ли работает наш головной мозг? Не даром-же, когда мы вглядываемся в какую-то картину, открывается больше деталей. Тогда может быть мы не в том направлении движемся и не те факторы высчитываем?



Ответ на комментарий

По поводу комментария к статье. Глаз, конечно же, не камера. Более того, первичная обработка картинки происходит уже в сетчатке - не зря глаз часто считают не отдельным органом, а отделом мозга (я, конечно, утрирую, но самую малость). Но так просто, как предлагает Сергей, к этой проблеме подходить нельзя. На самом деле, уже давно, и совсем небезуспешно, ведутся работы по созданию искусственной (она же - кремниевая) сетчатка. Об этом много писал, например, Scientific American. Были эти статьи и в русском варианте журнала - "В мире науки". К сожалению, дать более точную ссылку не могу. Вот использование этих наработок, возможно, и дало бы результат. А "противофазное размазывание" - увы.

При подготовке данной статьи были использованы материалы с сайта: www.force-feedback.com