С давних пор стремление к созданию интерактивных пространств было важной составляющей человеческой природы, будучи особой формой творческого самовыражения личности. Первые примеры иммерсивного опыта – панорамные картины и диорамы, которые переносили зрителей в воображаемые миры. Эти аналоговые эксперименты стали первым шагом к развитию современных технологий виртуальной (VR – virtual reality) и дополненной (AR – augmented reality) реальности, которые начали активно развиваться в 2010-е годы.

Слияние цифрового искусства с иммерсивными технологиями открыло невероятные творческие горизонты, позволив художникам создавать трёхмерные произведения, которые существуют одновременно в воображаемом и физическом мирах, обладают интерактивными свойствами и имеют гибридные формы выражения.

Технологии виртуальной и дополненной реальности открывают перед современными художниками новые горизонты для создания иммерсивных и интерактивных произведений и взаимодействия со зрителями. Очки виртуальной реальности Oculus Rift, шлем виртуальной реальности HTC Vive, очки смешанной реальности Microsoft HoloLens и другие устройства радикально меняют традиционные представления пользователя о пространстве, бросая вызов привычному восприятию мира и способам взаимодействия с ним.

Концепция виртуальной реальности начала формироваться в середине XX века вместе с появлением первых иммерсивных технологий. Одним из пионеров этого направления стал американский кинорежиссёр и изобретатель Мортон Хейлиг (Morton Heilig), который в 1962 году запатентовал устройство под названием Sensorama, ставшее одним из первых примеров применения технологии мультисенсорного погружения. Хейлига заслуженно считают отцом виртуальной реальности, поскольку он в своём устройстве объединил стереоскопические изображения со звуком, запахом и движением. Sensorama давала зрителям ощущение полного мультисенсорного погружения в виртуальный мир и заложила основы для дальнейшего развития VR-технологий.

Технология дополненной реальности, накладывающая цифровую информацию на физический мир, зародилась вместе с разработкой проекционных дисплеев (HUD). В 1968 году ученый-программист Айвен Сазерленд создал первый прототип устройства дополненной реальности (HMD), ставший основой для современных систем, обеспечивающих стереоскопическое изображение. Прозрачная система Head-Up Display (HUD), используемая для наведения на цели, позволяла пилотам видеть информацию, не отвлекаясь от основных задач и не переключая фокус взгляда с обычных точек обзора. Хотя проекционные дисплеи не могли обеспечить полноценную связь между виртуальным и реальным мирами, они стали предшественниками современных технологий дополненной реальности.

Понятие «дополненная реальность» предложил в 1990 году специалист американской корпорации Boeing Том Коделл (Tom Caudell). Он использовал этот термин для описания цифровых дисплеев, которые применялись при строительстве самолётов. Сборщики пользовались портативными компьютерами и носили специальные шлемы с полупрозрачными дисплейными панелями, чтобы просматривать чертежи и инструкции.

Технологии дополненной реальности продолжали развиваться. В 1999 году Хирокадзу Като (Hirokazu Kato) запустил проект с открытым исходным кодом под названием ARToolKit, предназначенный для создания приложений, накладывающих виртуальные изображения на реальный мир. Этот инструментарий позволил решать ключевые задачи дополненной реальности – отслеживание точки обзора и взаимодействие с виртуальными объектами.

Ещё одной важной вехой в освоении новой технологии стал проект ARQuake, представлявший собой версию популярной игры Quake. Запущенный в 2000 году, он стал первым полноценным игровым проектом с использованием дополненной реальности, предназначенным для открытого пространства. В ARQuake игроки могли передвигаться в реальном мире и сражаться с виртуальными монстрами, интегрированными в окружающую среду.

В начале XXI века усовершенствование вычислительных мощностей и значительные улучшения в обработке графических изображений и сенсорных технологий привели к стремительному развитию в области виртуальной и дополненной реальностей. Недорогие и доступные устройства вроде Oculus Rift и HTC Vive сделали виртуальную реальность доступной широкому кругу пользователей. Распространение смартфонов, оснащённых камерами и датчиками, открыло новые возможности использования приложений типа Pokémon GO. Дальнейшему распространению технологий дополненной реальности способствовали платформа ARKit от Apple, созданная для интеграции виртуальных объектов в окружающий мир через устройства на базе iOS, и платформа ARCore, поддерживающая множество устройств на Android и частично на iOS.

Сегодня VR и AR стали важным элементом современного искусства. Художники используют их для создания иммерсивных инсталляций, интерактивных перформансов и цифровых скульптур. Такие музеи, как Лувр в Париже, Британский музей в Лондоне, Эрмитаж и Русский музей в Санкт-Петербурге, и другие культурные институции внедряют эти инновационные методы для привлечения глобальной аудитории через виртуальные выставки и экскурсии. Благодаря новым технологиям посетители с помощью виртуальных туров могут исследовать музейные коллекции всего мира, не выходя из дома. VR и AR помогают переосмыслить восприятие произведений искусства, вовлекая зрителей в творческий процесс.

Если речь зашла о практической стороне применения VR и AR в искусстве, хотелось бы упомянуть следующих художников и их творческие проекты.

Американский художник Джонатан Монаган (Jonathan Monaghan) [35] создаёт иммерсивные видеоинсталляции, которые сочетают в себе мотивы древней мифологии, научной фантастики и поп-культуры. С позиций образной сатирической критики он исследует взаимосвязи между технологиями, богатством и индивидуальным восприятием, а также противоречия между нашим субъективным опытом и объективным пониманием этих понятий в цифровую эпоху.

Лори Андерсон(Laurie Anderson), известная как междисциплинарная художница, музыкант, композитор и писательница, была резидентом НАСА (2002–2004). Вместе с Синь-Цзянь Хуаном (Hsin-Chien Huang) она создала произведение под названием «На Луну» (To the Moon) [36]. Эта работа состояла из двух частей: виртуального путешествия по Луне и инсталляции, включавшей фильм и музыкальное сопровождение. При создании мрачного воображаемого новолуния в работе To the Moon были использованы образы и аналогии из греческой мифологии, художественной литературы, научно-фантастических фильмов и политики. Во время 20-минутного виртуального погружения зрители покидают Землю и путешествуют по лунной поверхности.

Инсталляция состояла из двух частей. «Созвездия» представляли образы исчезающих видов – белого медведя и медоносной пчелы, указывая таким образом на хрупкость и непостоянство жизни. Когда зритель смотрел на созвездия, они исчезали, символизируя процесс созидания и разрушения миров. «Технологическая пустошь» показывала Луну как мрачную антиутопическую свалку пластика и ядерных отходов, где зритель с длинными чешуйчатыми щупальцами вместо рук скользил по токсичной поверхности. «Каменная роза», вдохновлённая книгой «Маленький принц» Антуана де Сент-Экзюпери, представляла собой дрейфующий в космосе ископаемый цветок, вокруг которого вращаются планеты. В «Поездке на осле» зритель мчался по лунному ландшафту верхом на осле и в финале взмывал ввысь и уносился во Вселенную Звёзд, которая начинала взрываться, подобно фейерверку1[17].

Олафур Элиассон(Olafur Eliasson) начинал свою творческую карьеру с создания скульптур и масштабных инсталляций. В своих работах он использовал простые материалы и элементы, такие как свет, вода и воздух. В 1995 году открыл собственную лабораторию пространственных исследований, а в 2014-м вместе с архитектором Себастьяном Бехманном (Sebastian Behmann) основал Studio Other Spaces – пространство для занятий архитектурой и искусством.

С 2016 года Элиассон активно использует технологии виртуальной и дополненной реальности[18]. В одном из интервью художник признался, что его увлечение VR началось с танцев и интереса к когнитивным навыкам. Он подчеркнул, что не видит смысла в VR-технологиях, которые предлагают пользователям лишь пассивно наблюдать за происходящим, например за дельфинами в голубой лагуне. Для Элиассона VR оживает лишь тогда, когда пользователь становится активным участником процесса. Он может двигать головой и глазами, создавая визуальную связь с произведением. Это приводит к «возмущению» и искажению муарового эффекта, который затем анимируется. На экране компьютера или телефона появляются узоры, которые накладываются на пиксели. Одни из них ярко окрашены, другие – чёрно-белые. Это создаёт эффект заштрихованности, который может быть искрящимся, неоднозначным и случайным.

Работа Олафура Элиассона «Ваш взгляд имеет значение» (Your view matter, 2022) [39] приглашает зрителя в увлекательное путешествие по мирам виртуальной реальности под аккомпанемент пульсирующей минималистичной музыки. Стены и потолки расписаны постоянно изменяющимися муралами, которые трансформируются в соответствии с перспективой пользователя, существуя только для него. Создание Your view matter помогло Элиассону лучше понять, зачем он работает с виртуальной реальностью. «Я всегда начинаю с определения человеческого потенциала… Мы должны помочь людям в виртуальной реальности осознать, что они реальны, они здесь, они важны и достаточно хороши»[19].

Рэйчел Россин(Rachel Rossin) [40]. В своих работах художница исследует междисциплинарную практику в области виртуальной реальности. В её творчестве гармонично сочетаются элементы живописи, скульптуры, новых медиа, видеоигр и видеоматериалов. Россин создаёт цифровые пейзажи, акцентирующие внимание на хаосе, который воцарился в нашей жизни из-за современных технологий, а также рассматривает вопросы тотального проникновения инноваций в нашу повседневность и их воздействия на психоэмоциональное состояние людей.

Keiken. Название этого проекта в переводе с японского означает «опыт». В работе над ним участвуют художники разных направлений, объединённые общей целью. Хана Омори (Hana Omori), Изабель Рамос (Isabel Ramos) и Таня Круз (Tanya Cruz) используют аналоговые и цифровые технологии для создания виртуальных миров, которые строят с помощью движков для создания фильмов, инсталляций, виртуальной и дополненной реальности, перформансов и видеоигр.

Их фильм «Почувствуй мою Метавселенную» (Feel My Metaverse, 2019) [41] стал попыткой создать кинокартину о будущем, в которую зрители смогут легко поверить. Для создания видеоматериалов применялись игровые движки, CGI-анимация[20] в Cinema 4D. Движок Unreal Engine 4 использовался для создания пейзажей и миров, которые можно было масштабировать и коллективно развивать.

События в Feel My Metaverse происходят в отдалённом будущем. Из-за глобального изменения климата Земля стала непригодной для существования. Три главных героя живут в разных мирах – корпоративном мире здоровья и благополучия, виртуальном мире ролевых игр и в нашей привычной реальности, которую мы называем Землёй. Персонажи путешествуют по этому сложному ландшафту. Главной целью проекта Keiken стало стремление отказаться от норм современного мира, войдя в одну из этих виртуальных реальностей[21].

Hard skills для виртуальной реальности (VR)

Аппаратные компоненты

В состав VR-систем входят различные устройства, которые обеспечивают работу виртуальной реальности. Среди них можно выделить:

• шлемы виртуальной реальности (HMD), которые создают эффект присутствия. Современные модели шлемов оснащены встроенными наушниками для объёмного звука и датчиками для отслеживания движений головы;

• контроллеры движения, которые позволяют пользователю взаимодействовать с виртуальной средой с помощью рук и создают ощущение реалистичного тактильного контакта;

• системы слежения, которые с помощью сенсоров и камер позволяют отслеживать местоположение и перемещения пользователя в реальном времени. Полученные в результате мониторинга данные применяются для актуализации виртуального пространства.

Программное обеспечение

Игровые движки. Unity и Unreal Engine – два популярных игровых движка, которые имеют разные характеристики и используются для создания игр и разработки контента виртуальной реальности. Движок Unity подходит для создания казуальных или стилизованных игр, которые будут работать на мобильных и веб-платформах. Unreal Engine используется для создания игр с красивой графикой на ПК, а также для разработки реалистичных синематиков. Этот движок имеет продвинутые анимационные и текстурные редакторы и требует более мощного оборудования, чем Unity. Оба движка предоставляют необходимые инструменты для создания трёхмерных сред, физического моделирования и интерактивных элементов.

Комплекты разработки VR. Программный комплект Oculus SDK предназначен для создания виртуальной реальности, доступной в VR-шлеме Oculus Rift. В состав комплекта входит набор инструментов, документация и API[22], разработанные компанией Oculus VR.

Платформа для запуска VR-продуктов SteamVR SDK[23] позволяет использовать VR-контент на оборудовании от различных производителей. SteamVR поддерживает шлемы виртуальной реальности Valve Index, HTC Vive, Oculus Rift, а также шлемы Windows Mixed Reality и другие системы.

Наборы для разработки виртуальной реальности включают в себя инструменты для интеграции оборудования, обработки пользовательского ввода и повышения эффективности работы.

Hard skills для дополненной реальности (AR)

Аппаратные компоненты и их комбинация

Камеры и датчики используются для того, чтобы наложить цифровую информацию на реальный мир. Они фиксируют окружающую среду и отслеживают движения пользователя.

Дисплеи используются для отображения контента дополненной реальности на различных устройствах, включая смартфоны, планшеты и очки AR. У каждого типа дисплея есть свои плюсы и минусы. Они различаются по компактности, размеру видимого на экране мира (полю зрения) и количеству пикселей на единицу площади (разрешению).

Для обработки данных датчиков, рендеринга цифрового контента и обеспечения производительности в реальном времени приложениям дополненной реальности требуются мощные вычислительные ресурсы. Современные смартфоны и очки AR часто оснащены специальными процессорами для выполнения задач дополненной реальности.

Инструменты для разработки AR

Платформы ARKit и ARCore помогают разработчикам создавать приложения дополненной реальности.

ARKit – это набор инструментов, разработанный компанией Apple для создания приложений дополненной реальности. Он позволяет отслеживать и картографировать объекты, рендерить их, обнаруживать и распознавать объекты, а также распознавать лица и анализировать звук. ARKit поддерживает устройства iOS, включая iPhone и iPad. Использует датчики и алгоритмы для отслеживания положения и ориентации устройства в реальном мире.

ARCore – это инструмент, который позволяет создавать приложения дополненной реальности. С помощью этого программного комплекса можно смешивать виртуальный контент с реальным миром, который отображается через камеру смартфона или планшета. ARCore был интегрирован в различные устройства, работающие на операционных системах Android, iOS и других платформах.

Программное обеспечение для 3D-моделирования и анимации

Для создания цифрового контента в формате дополненной реальности часто применяются специализированные программы для 3D-моделирования и анимации, такие как Blender, Autodesk Maya и Cinema 4D.

Blender – это профессиональное программное обеспечение с открытым исходным кодом, которое позволяет создавать трёхмерную компьютерную графику. Оно включает в себя инструменты для моделирования, скульптинга, анимации, симуляции, рендеринга, постобработки и монтажа видео со звуком, компоновки с помощью «узлов», а также создания 2D-анимаций.

Autodesk Maya – редактор трёхмерной графики, доступный для Windows, macOS и Linux. Обладает широким спектром функций для создания 3D-анимации, моделирования и визуализации.

Cinema 4D – универсальная комплексная программа для создания и редактирования двух- и трёхмерных эффектов и объектов.

Эти инструменты позволяют художникам создавать и анимировать виртуальные элементы, которые затем накладываются на реальный мир.

Технологии виртуальной и дополненной реальностей создают уникальные условия для погружения в мир искусства. Они позволяют художникам создавать интерактивные произведения, которые реагируют на действия и предпочтения зрителя. С помощью VR и AR художники могут создавать сложные разветвлённые сценарии, в которых выбор и действия зрителя влияют на развитие сюжета и финал всего произведения. Это даёт возможность для множества интерпретаций и нелинейного повествования.

Помимо визуальных и звуковых эффектов VR и AR также включают в себя тактильную обратную связь (haptic feedback), иммерсивную технологию пространственного звука (surround sound) и беспроводную систему обонятельной обратной связи (wireless olfactory interface). В отличие от традиционных форм искусства, которые основаны на пассивном наблюдении, виртуальная и дополненная реальности предполагают активное участие зрителя в процессе.

P. S. Смешанная реальность (Mixed Reality): больше чем AR и VR по отдельности

Технология смешанной реальности (MR) объединяет элементы виртуальной (VR) и дополненной (AR) реальностей. Она позволяет физическим и цифровым объектам взаимодействовать между собой в едином пространстве, благодаря чему достигается высокий уровень погружения и взаимодействия с окружающей средой.