Технологии XR: виртуальная реальность, дополненная реальность, смешанная реальность

Что такое смешанная реальность и какое отношение она имеет к дополненной и виртуальной? Можно предположить, что это нечто среднее между двумя технологиями. Рассмотрим внимательнее все тонкости этого вопроса.

Виртуальную реальность (VR), дополненную реальность (AR), смешанную реальность (MR, Mixed reality) как технологии принято объединять общим понятием «расширенная реальность» (XR, Extended Reality). Это визуальное совмещение компьютерных генераций и видимого пространства в различных соотношениях.

Самыми продвинутыми на сегодня устройствами XR являются гарнитуры смешанной реальности — такие, как недавняя новинка Apple Vision Pro. Её разработчики стремились обеспечить более реалистичный и комфортный опыт погружения в цифровой экспириенс при сохранении сенсорного контакта с окружающей действительностью. Реальности смешиваются здесь настолько органично, насколько это позволяет уровень развития программного и аппаратного обеспечения.

Попробуем понять взаимоотношения AR, VR и MR в рамках XR и разобраться в терминологии.

Вспомним, что на заре появления иммерсивных разработок разделения на дополненную реальность и другие виды XR не существовало. Даже «Дамоклов меч» Айвена Сазерленда, презентация которого состоялась в 1968-м и который считают первым устройством дополненной реальности, был очень далёк от сегодняшних девайсов.

Строго говоря, его с одинаковым основанием можно было отнести как к прототипу AR-шлема, так и к VR. Обе технологии стали развиваться каждая в своём направлении, причём долгое время для них не было отдельных названий.

В конце 80-х годов прошлого века появился термин «виртуальная реальность», в начале 90-х — «дополненная реальность, AR». «Смешанная реальность» впервые появилась в 1994 году в работе учёных Пола Милгрэма и Фумио Кишино, они же ввели понятие континуума реальности/виртуальности.

Именно так принято называть графическую схему, демонстрирующую степени проникновения цифровых технологий в объективную действительность и наоборот:

Первоначально учёные определили MR как всё, что находится «между экстремумами» этого отрезка, то есть между нашим обычным вещественным измерением и полностью программно сгенерированным. Следовательно, смешанной реальностью можно назвать любое взаимодействие объективной действительности и элементов, созданных с помощью компьютерных программ.

Разница между технологиями, дополняющими реальность (AR или MR как часть XR) — в степени смешения виртуальных и реальных компонентов. Милгрэм пишет даже о «дополненной виртуальности», когда в сгенерированное программами пространство помещаются отдельные вещи или персонажи из нашей реальности. Этот приём иногда используют в кино, мультфильмах и рекламных роликах.

Итог, в MR-технологию включаются любые переходные моменты между AR и VR. Поэтому наголовные дисплеи вроде Microsoft Hololens называют гарнитурами смешанной реальности — в них предусмотрена коллаборация двух режимов. Кстати, именно появление гарнитуры Hololens в 2015-м вызвало всплеск интереса к MR и дополненной реальности как к перспективным технологиям.

По отношению к расширенной реальности (XR) дополненная реальность, виртуальная реальность и смешанная реальность являются репрезентативными формами. Разницу между ними определяет уровень погружённости пользователя в сгенерированный контент.

Представим себе условный бегунок, который передвигается по шкале реальность/виртуальность в любую сторону. Чем ближе к её левому краю, тем меньше виртуальных элементов присутствует в реальной среде. Возникает дополненная реальность. При передвижении вправо настоящие предметы всё больше заменяются виртуальными, и вот мы уже полностью погружены в digital-пространство.

С одной стороны, любую из технологий, дополняющих реальность, AR, VR и XR можно отнести к смешанной реальности, так как всё это — смешение физического и диджитального контекстов. А с другой стороны, говорить о смешанной реальности в более узком смысле можно строго на пересечении AR и VR, там, где они присутствуют в равных количествах.

Здесь мы рассказывали, чем дополненная реальность отличается от виртуальной и что у них общего. Теперь рассмотрим с этой точки зрения MR.

Дополненная реальность (Augumented Reality, AR) дополняет сведения об окружающем мире и его объектах дополнительной информацией в форматах 2D и 3D. Она помогает людям в работе, учёбе, путешествиях, дарит яркие впечатления от посещения выставок, концертов, в мобильных играх и на презентациях.

• До недавнего времени считалось, что главное отличие смешанной реальности от дополненной — в реалистичности дополнительных элементов, которые отображаются в поле зрения через AR-устройства. В естественности их существования в предметном окружении. Они не должны быть похожими на голограммы, парящие в воздухе.
• Важным свойством дополненной реальности считается поддержка 3D-режима. За счёт этого контент может выглядеть максимально реалистично. С ним можно взаимодействовать — например, поставить 3D-диван в своей комнате, передвигать его и поворачивать, чтобы решиться на покупку. Нативное освещение, текстура, опции трёхмерного перемещения — заметный шаг к смешению реальностей, но это ещё не всё.
• Один из сложнейших аспектов отображения дополнительного контента — окклюзия, то есть способность виртуального предмета зрительно «прятаться» за находящимися впереди вещами. Изначально для дополненной реальности окклюзия была не характерна. Она помогает компьютерным образам выглядеть более естественно за счёт органичного взаимодействия с окружающими объектами.

Это значит, что тут уместно говорить не о дополненной, а о смешанной реальности. Фактически MR — это продвинутая версия дополненной реальности.

Пересечение и равноправное сосуществование физической предметности и digital-компонентов в MR требует очень больших вычислительных мощностей. Необходимо динамично отслеживать материальные объекты и совмещать с ними то, что сгенерировано программой. Отсюда повышенная сложность и высокая стоимость разработки по сравнению с дополненной реальностью.

Современные исследователи отмечают, что линейная схема подвидов смешанной реальности (в том числе дополненной, AR) справедлива исключительно для восприятия зрительного иммерсивного содержания. А как же остальные органы чувств? Слух, обоняние, осязание? С ними пытался работать ещё Мортон Хайлиг, создатель «Сенсорамы», презентация которой состоялась в 1958 году. При просмотре фильмов зритель ощущал вибрацию, ветер, в нужный момент в кабину подавались ароматизаторы.

В игровых шлемах последнего поколения технология пространственного аудио эмулирует наше естественное восприятие звука. А специальные перчатки и костюмы пытаются обеспечить адекватные тактильные ощущения.

Но даже «полное» погружение в виртуальную реальность на сегодня не гарантирует абсолютно реалистичного опыта в новом измерении, возможно лишь приближение к нему. По-настоящему стереть границы между жизнью и киберреальностью получится только в мире, подобном кинематографической «Матрице». Вот его-то исследователи сейчас и ставят на правый экстремум обновлённого континуума Милгрэма.

Суперкомпьютерная вселенная «Матрицы» — пока теоретический концепт. Однако исключать возможность его реализации нельзя, учитывая, что в конечном счёте мы состоим из информации и энергии.

Дополненная реальность и MR — это то, что сегодня представляется наиболее вероятным и конструктивным путём развития иммерсивных технологий для ежедневного применения. От создания эффектных презентаций в виртуальной, дополненной и смешанной реальности — до постоянного пользования любым из типов XR, существующих в одном и том же девайсе.

В идеале каждый житель планеты сам сможет решать, насколько ему нужно погрузиться в цифровой контент — полностью или частично. А может, всего лишь взять оттуда немного информации в дополненной реальности, которая поможет ему справиться с рабочими или ежедневными бытовыми задачами. Другими словами — с лёгкостью в любой момент выбрать VR, MR или AR.

Технологии, дополняющие реальность, наконец-то начинают раскрывать свой удивительный потенциал. Впереди много интересного.