Приложения дополненной реальности для iPad: изучаем ситуацию в AR-индустрии

Представим, что вы задумали ремонт. Но мы же живем в XXI веке, верно? Поэтому скачиваем виртуальную рулетку и приложение мебельного магазина, измеряем доступное расстояние, примериваем нужную мебель, через планшет, видя результат, а затем нажимаем кнопку «заказать». После этого решаем «обновить» и себя: «примеряем» на руку татуировку с помощью AR, тут же бронируем время у мастера, затем отправляем ребенка учить уроки (анатомию и биологию с помощью соответствующих AR-приложений), а сами — играем в летающие по комнате виртуальные вертолеты, садящиеся на шкафы и кружащиеся вокруг головы… Сказка? Сказка. А какова же реальность?

На WWDC 2018 компания Apple представила очередную версию мобильной операционной системы iOS, и теперь в ней будет поддержка ARKit 2 и приложений, созданных на основе этого набора разработчика. Apple явно пытается сдвинуть тему приложений дополненной реальности с мертвой точки, и вполне возможно, что ARKit 2 и iOS 12 помогут ей в этом непростом деле. В частности, обещана поддержка многопользовательской игры в дополненной реальности. То есть вы и ваш соперник будете видеть через экран планшета идентичную картинку и, следовательно, сможете взаимодействовать с виртуальными объектами.

Многопользовательская AR-игра в iOS 12

Как это будет реализовано — посмотрим, когда разработчики подготовят свои проекты. А пока самое время разобраться, что же представляет собой AR на планшетах на сегодняшний день и насколько полезно дополнить дополненной реальностью свою повседневную жизнь.

Прежде всего, во избежание дальнейшей путаницы давайте разберемся, что такое дополненная реальность (augmented reality, AR) и какие ее формы нам интересны в данной статье.

Что такое AR и с чем это едят?

Дополненная реальность — это интеграция виртуальных объектов (как правило, трехмерных, но не обязательно) в реальный мир. Возможных форматов реализации — множество: начиная от проектов наподобие Google Glass (так, впрочем, не получивших массового распространения) и навигационного оборудования (мы писали о проекте AR-мотошлема) и заканчивая приложениями, использующими камеру смартфона или планшета.

Езда в мотошлеме дополненной реальности LiveMap

Если вариантов первого типа, предполагающих комбинацию ПО и аппаратной части, может быть бесконечное множество, и конкретный механизм работы будет каждый раз иным, то в случае с планшетами и смартфонами общая схема одна: вы наводите тыловую камеру устройства на какое-то пространство (иногда требуется, чтобы это была ровная единородная поверхность, иногда — какой-то конкретный объект, иногда ограничений нет), после чего на экране устройства появляется виртуальная фигура, определенным образом совмещенная с изображением с камеры.

Основные различия между приложениями для мобильных устройств начинаются как раз с этого момента. Потому что после того, как виртуальный объект отобразился на экране, встает вопрос, как можно с ним взаимодействовать. Второй ключевой вопрос: как виртуальный объект взаимодействует с реальным окружением. И третий: как вы благодаря этому приложению можете взаимодействовать с реальным пространством.

В статье мы рассмотрим разные примеры этих трех типов взаимодействий, равно как и примеры их отсутствия.

Игры

Начнем с самого очевидного — игр. Несложно догадаться, что AR многие разработчики стали использовать для создания игровых приложений. В принципе, сама технология AR уже обладает «вау-эффектом». То есть виртуальным изображением сегодня уже никого не удивишь, но если это изображение (да еще трехмерное) вдруг вписывается в знакомое пространство — тут уже становится гораздо интереснее.

Самый известный пример AR-игры — конечно же, Pokemon Go (бесплатно), правда, больше ориентированный на смартфоны, чем на планшеты, но версия для iPad тоже есть. Рассказывать о ней мы не будем, т.к все наслышаны об этом проекте. Но отметим, что Pokemon Go — как раз яркая иллюстрация тезиса о том, что настоящая дополненная реальность предполагает все три направления взаимодействия: виртуального объекта с реальной средой, пользователя с виртуальным объектом и пользователя с реальной средой.

Впрочем, именно ловля покемонов, ставшая некоторое время назад безумно модной, а потом так же стремительно из моды вышедшая, может продемонстрировать, что даже у хороших игровых проектов есть «потолок» востребованности, и в случае с AR-проектами он пока невысок.

Alice AR Quest

Другой, куда менее известный и более камерный пример любопытной игры для iPad — Alice AR Quest. Как несложно догадаться по названию, этот проект сделан на основе «Алисы в стране чудес». Однако, он не буквально повторяет сюжет, а, скорее, обыгрывает знакомые по сказке Льюиса Кэрролла ситуации. Например, следование за белым кроликом и чаепитие с мартовским зайцем.

Выбрав игровое пространство и начав игру, вы видите, как в центре пространства вырастает волшебное дерево. А около дерева — несколько норок. Вдруг в одной из нор вы замечаете кролика с часами. Вы можете подойти к нему ближе и рассмотреть. Нажав на него, вы заставите его прыгнуть в норку, после чего он покажется из другой норки. Вам надо ловить его и там. И так — пока он не побывает в пяти норках.

Наконец, вы переходите на следующий уровень — и видите, как вместо дерева появляется портал, в который приглашает вас кролик.

Вам надо физически шагнуть в него, и дальнейшая игра пойдет уже внутри портала, создающего иллюзию полного 3D-погружения. Вы можете поднять планшет и посмотреть снизу на экран, увидев «над вами» волшебные грибы, а можете опустить планшет и навести камеру на пол — там будет трава. Ну а в центре пространства — стол, за которым развернется чаепитие...

В игре Alice AR Quest неплохая анимация и забавные задания (например, найти чашки и чайник для чаепития, спрятанные вокруг или даже парящие в небе), но главное — здесь есть взаимодействие пользователя с реальным пространством. То есть вам надо перемещаться, поворачиваться, крутить вокруг себя планшет, и все это создает ощущение ожившей сказки и вашего путешествия по ней. Ну, если у вас богатое воображение :) При этом, игре все равно, что представляет собой игровая зона и есть ли там что-то, кроме ровного пола и свободного пространства.

Stack AR и Let’s Stack AR

Еще две игры, уже куда более простые и работающие по одинаковому принципу (фактически, клоны) — Stack AR и Let’s Stack AR. В выбранной вами зоне появляется трехмерный прямоугольник или куб, после чего сверху над ним проплывают новые объекты. Задача игрока — в нужный момент нажать на экран, чтобы новый объект опустился на уже имеющийся и занял максимум его поверхности. Если какая-то часть нового объекта на поместится и будет свисать — она исчезнет. А поскольку фигуры двигаются довольно быстро и точно выбрать момент непросто, каждый следующий сегмент башни оказывается немного меньше предыдущего. Игра заканчивается, когда вы промахиваетесь и новый объект совершенно не попадает на башню.

При чем здесь дополненная реальность? Строго говоря, можно обойтись и без нее. И в Stack AR действительно есть режим без задействования камеры — просто ту же пирамиду вы строите в пустом пространстве. Но особое впечатление производит, конечно, строительство рядом с какими-то реальными объектами. Например, построить пирамиду выше шкафа — интересный челлендж!

Let’s Stack AR в этом плане особенно интересна, поскольку сообщает вам, какова высота построенной вами башни — например, 1,9 метра, выше среднестатистического человека.

Вообще, на этом принципе — сопоставлении объектов виртуальных и реальных — построены очень многие игры. Просто трехмерный динозавр — «ну и что?», а динозавр больше дома на заднем плане — «вау». К тому же, вы всегда можете сделать скриншот и порадовать себя или друзей забавным снимком. Но, по большому счету, говорить о взаимодействии виртуальных и реальных объектов в данном случае нельзя. То есть если бы, например, при строительстве башен можно было бы задействовать поверхности столов, шкафов и прочих объектов в комнате — тогда другое дело (допустим, вы строите башню рядом со столом, и если фигура падает так, что часть ее попадает на стол, то она не исчезает и позволяет класть на нее новые фигуры). Или если бы тот же динозавр перелезал с дома на дом, как Кинг-Конг — мы действительно могли бы говорить о полноценном взаимодействии. Но пока этого нет.

Paper Bin AR

Вот еще одна игра: Paper Bin AR. Размещаете виртуальную мусорную корзину и кидаете в нее виртуальные же шарики свайпами по экрану. Корзину можно разместить ближе или дальше, в зависимости от этого меняется сложность.

Но, опять же, что толку от AR? Более того, игру не «смущает» даже то, что корзина оказывается где-то внутри шкафа. То есть фактически настоящего AR здесь нет: игра создает свое трехмерное пространство и просто накладывает его на картинку с камеры, никак не обрабатывая получаемую с камеры информацию.

Образовательные приложения

Еще одна сфера, в которую разработчики активно внедряют AR — образование. Самый яркий пример, конечно, был продемонстрирован докладчиками Apple на весенней презентации, посвященной как раз образованию и iPad. Речь о приложении Froggipedia, призванном спасти жизни невинных лягушек, которых используют для препарирования. Вместо лягушки настоящей разработчики предлагают студентам-медикам разрезать лягушку виртуальную, используя стилус Apple Pencil вместо скальпеля. Причем, все ее внутреннее устройство показано вполне реалистично (а насколько точно — не нам судить).

В AR-режиме вам предлагается выбрать подходящую поверхность и расположить виртуальную лягушку на ней. Однако, опять-таки, большого смысла в этом с образовательной точки зрения нет.

То же справедливо и для другого приложения, связанного с анатомией — только теперь уже человеческой: Complete Anatomy 2018. Здесь вы можете увидеть трехмерную модель скелета, схему мышечной ткани и прочего. Сделано это, опять-таки, очень здорово, наглядно, и для изучающих анатомию это, видимо, действительно классное пособие.

Но размещая виртуальное тело в пространстве вашей комнаты, вы ничего не выигрываете по сравнению с его обычным трехмерным отображением. Разве что появляется соблазн не покрутить его на экране, а физически обойти с разных сторон, и этим, конечно, стоит воспользоваться.

Существует и отдельное приложение, посвященное устройству человеческого сердца: Insight Heart. Опять же, в AR-режиме вы видите объект, парящий в воздухе, можете обойти и рассмотреть его или просто покрутить жестами по экрану, не вставая с места. Но в любом случае никакого взаимодействия его с реальным пространством вы не увидите.

Последний пример в этом разделе — WWF Free Rivers. Это уже наполовину игра, наполовину просветительский проект, разработанный, чтобы показать, как вмешательство человека в естественную среду может вредить ей или, наоборот, помогать. И принцип здесь несколько иной: виртуальная среда должна быть расположена внизу, а вам предлагается смотреть на нее с высоты птичьего полета. Лучше всего использовать в качестве поверхности стол. На нем появится трехмерная модель природной области, в центре которой — река.

Следуя за подсказками, вы можете построить дамбу — и увидеть, как растения по берегам пересыхают, можете взорвать ее — и природа опять расцветет буйным цветом... Вариантов действий здесь немного, но интересна сама идея: вы можете увидеть природный ландшафт буквально на своей ладони и своими руками на него воздействовать. Однако если говорить именно о реализации AR — хвалить здесь опять-таки особенно не за что.

«Но что же вы хотите от подобных приложений? Чем вас не устраивает то, что есть?» — могут спросить читатели. Попробуем объяснить на конкретном примере.

Выше было описано приложение для изучения человеческой анатомии. А теперь представьте, что пользователи не просто видели бы трехмерную модель в воздухе, но могли навести планшет на свою руку или ногу и увидеть ее анатомию. Разумеется, это было бы сделано с известной долей условности. Никто не требует, чтобы приложение отображало именно то, что внутри конкретной руки или ноги (да и откуда ему это знать? По крайней мере, на текущем уровне развития технологий). Но просто наложив трехмерное изображение из базы на реальный объект и меняя его угол в зависимости от изменения угла этого объекта (например, если вы будете поворачивать руку), мы получили бы совсем иной уровень наглядности и вовлечения в материал. И это был бы как раз отличный пример взаимодействия реального и виртуального объекта. Но увы, пока нам предлагают нечто куда более простое.

Пожалуй, единственное исключение — действительно интересная и полезная реализация принципа AR в образовательном приложении — было нами обнаружено в SketchAR. Его идея в том, чтобы научить рисовать с помощью дополненной реальности. Вы берете лист бумаги, закрепляете его (это важно), рисуете несколько отметок, после чего смотрите на лист через смартфон (в данном случае существует только версия для iPhone, хотя на iPad можно просто включить увеличение, но по факту с планшетом здесь только тяжелее). Приложение накладывает на картинку с камеры виртуальное двухмерное черно-белое изображение — например, единорога (есть и другие фигуры, но за каждую надо платить). Вам предлагается попробовать повторить линии и сделать, таким образом, настоящий рисунок.

Понятно, что когда вы совмещаете виртуальное изображение и реальный лист, повторить линии проще, поскольку они буквально накладываются на бумагу. Это в идеале. В реальности есть некоторые сложности с тем, чтобы изображение оставалось стабильным. Не говоря уже о том, что все время оглядываться на маленький экран смартфона не очень приятно. Но все же это пример того, как дополненная реальность может стать действительно необходимой. В данном случае, пусть и в примитивном виде, есть все три формы взаимодействия: пользователя с виртуальным объектом (поскольку рисуете вы, как бы повторяя виртуальные линии, виртуального объекта с реальным пространством (изображение накладывается на лист бумаги и «удерживается» на нем с помощью меток-крестиков) и пользователя с реальным пространством (вы рисуете).

Полезные (и не очень) утилиты

Помимо игровых и образовательных приложений AR используется во многих полезных утилитах, ориентированных не на развлечение, а на выполнение каких-то практических задач. Но вот насколько они действительно полезны и как AR может помочь в повседневной жизни — мы решили разобраться.

Рулетки

Самый популярный, простой и показательный инструмент — виртуальная рулетка. В App Store представлены различные варианты, но принцип везде один: с помощью камеры смартфона приложение определяет расстояние до точки, после чего вы можете построить линию до другой точки, а на экране увидите реальное расстояние. Круто? Да! Полезно? Вроде бы да. Но когда начинаешь пользоваться в реальной жизни, энтузиазм спадает. Представьте себе, что вам надо измерить расстояние по стене от угла. Так вот, попасть виртуальной точкой аккурат в угол практически нереально. Ну а любая погрешность, даже на один сантиметр, делает приложение уже малопригодным для использования в реальности. Или другой пример: нужно измерить расстояние между двумя шкафами. Но виртуальная рулетка не «знает», где начинается один шкаф и заканчивается другой.

В новой iOS 12 рулетка будет в числе предустановленных приложений. И зная перфекционизм Apple, хочется верить, что она окажется более «умной», чем те варианты, которые доступны сейчас.

Ikea Place

Еще одно «мебельное» приложение — Ikea Place. Идея, опять-таки, лежит на поверхности: вы можете выбрать из каталога известного мебельного магазина какие-то товары (диваны, шкафы, кресла и т. п.), после чего разместить их полноразмерные трехмерные модели в своей квартире.

Реализовано это достаточно просто, и для примерной прикидки — «как оно будет тут стоять?» — вполне действенно. Проблемы начинаются, как только вы пытаетесь «придвинуть» вашу виртуальную мебель вплотную к стенам или расположить несколько объектов рядом (такая возможность есть). Ikea Place не «считывает» стены или уже существующие объекты. Поэтому, например, выяснить, поместится ли этот диван здесь или нет, вы не сможете.

Конечно, развиваться надо именно в этом направлении: в идеале приложение само должно размещать выбранный предмет мебели точно в углу или вдоль стены и предупреждать пользователя, если что-то не получается. Ну а совсем прекрасно было бы, если бы после расстановки виртуальной мебели приложение обрабатывало получившуюся картинку и выдавало фотореалистичный снимок интерьера.

Christie’s

Помочь усовершенствовать свой интерьер призвана и AR-функция приложения Christie’s. Знаменитый аукционный дом, специализирующийся на продаже живописи и предметов изобразительного искусства, в прошлом году добавил возможность, позволяющую «разместить» выбранные картины в вашем интерьере.

Плюс в том, что они отображаются в реальном размере. Это, пожалуй, самая полезная опция. С другой стороны, очевидно, что именно в данном случае AR-режим — скорее развлечение. Все-таки выбирая полотно за несколько миллионов долларов (а именно такие лоты выставляются на Christie’s), покупатель вряд ли рассматривает приобретение просто как украшение интерьера.

Однако, если бы существовало приложение, через которое можно было приобрести более доступные, чисто декоративные картины, не претендующие на музейную ценность и призванные «закрыть дырку на обоях» (как говорилось в известном мультфильме), то там AR был бы как раз очень кстати. Разумеется, рассмотреть произведение в деталях вы все равно не смогли бы, но, по крайней мере, прикинуть размер, формат, оценить, как оно сочетается по цветовой гамме с обоями и мебелью — вполне можно было бы.

InkHunter

И последнее приложение, о котором мы расскажем, посвящено татуировкам — InkHunter. Идея простая: помочь пользователю понять, как татуировка будет смотреться на его теле. Казалось бы, вот идеальный пример практической пользы AR! Но, опять же, реальность вносит свои коррективы.

Для начала вам надо нарисовать на руке (на самом деле нарисовать — шариковой ручкой) крест, чтобы приложение могло ориентироваться по нему при размещении тату. Следующий ход — выбор собственно рисунка из базы. И, наконец, вы можете «расположить» этот рисунок на руке и через экран смартфона (в данном случае требуется смартфон, а не планшет) посмотреть на результат.

И в этот момент вас ждет разочарование: татуировка не «ложится», как должна была бы, она дергается, немного приподнимается над телом и, конечно, не повторяет его контуры. Поэтому понять, как действительно она будет смотреться на руке или ноге, проблематично.

Заключение

Знакомство с существующими AR-приложениями для iPad позволяет сделать невеселый вывод: индустрия приложений дополненной реальности пока находится в зачаточном состоянии. И проектов, по настоящему задействующих возможности этой технологии (точнее, возможности целого комплекса технологий, в сумме дающих настоящий AR), пока единицы.

Попытки использовать AR для практических целей в большинстве случаев демонстрируют сильный разрыв между классной идеей и несовершенным воплощением, делающим их применение в обычной жизни малополезным. Интереснее ситуация с играми: помимо нашумевшей Pokemon Go здесь есть и другие неплохие примеры использования дополненной реальности, хотя, опять же, говорить о серьезной игровой индустрии в сфере AR пока не приходится.

В случае с образовательной сферой AR и вовсе пока кажется фантомом. Мы нашли только одно приложение (SketchAR), где необходимость применения дополненной реальности была обусловлена самой сутью работы. В остальных же AR-режим никак не влиял на функциональность.

И это выявило базовую проблему AR-приложений: в подавляющем большинстве случаев их разработка начиналась совсем не с AR. Просто позже, на волне хайпа, было решено добавить еще и AR-режим — как говорится, до кучи. Но мало где его необходимость по-настоящему обоснована.

А для того, чтобы эта необходимость была, приложение должно обеспечивать те три формы взаимодействия, о которых мы писали выше: «пользователь — виртуальный объект», «виртуальный объект — реальное пространство», «пользователь — реальное пространство». Если есть хотя бы два из них, тогда AR имеет смысл. Если же нет — это не более чем попытка выехать на волне хайпа.

6 августа 2018 Г.