В прошлых статьях цикла “Звуки Басмании” мы познакомились с примерами того, как сохраняют городские звуки, как устроена городская звуковая среда, как город формирует музыкальные культуры. Сегодня мы посмотрим на то, как звук и пространство взаимодействуют в виртуальных мирах — в компьютерных играх. Как звук обеспечивает навигацию в виртуальном мире? Как он влияет на ощущение погружения? Как игры воссоздают мультимодальное (то есть визуальное, аудиальное, интерактивное) ощущение городского пространства?

Иммерсивные звуковые среды в играх постоянно развиваются на уровне технологий, появляются новые возможности создания многоуровневого акустического пространства, которое сегодня является неотъемлемой частью большинства коммерчески направленных проектов. Звуковая среда в играх претерпевала множество исторических поворотов, но стоит заметить, что дизайнеры всегда стремились к корректному воспроизведению создаваемой виртуальности. Звук в игре должен соответствовать нашим чувственным ощущениям при учете технологического формата (настольные игры или мобильные), и реагировать на действия игрока.

Игры активно используют звук как инструмент для ориентации в пространстве и сигнализирования игроку о результате его действий и об изменении в его окружении. Благодаря этому в некоторые компьютерные игры могут играть даже слабовидящие и слепые игроки.

Интерактивность аудио в компьютерных играх можно разделить на два основных типа — горизонтальную (изменение звука во времени, то есть последовательная смена одной темы другой в соответствии с действиями игрока) и вертикальную (изменение оркестровки, инструментов; самый простой пример — параллельное синхронное воспроизведение нескольких дорожек, громкость которых относительно друг друга меняется в зависимости от действий игрока). Третий тип — это изменение параметров звука в реальном времени с помощью эффектов или изменения настроек синтеза звука. К этому можно отнести и перемещение звука в пространстве (баланс звука в наушниках, реверберация).

Стремление к созданию эффекта «погружения» сближает игры и кинематограф. В обоих случаях присутствует ощущение гиперреальности, создающееся с помощью различных звуковых и визуальных эффектов. В современных условиях кинопроизводства звукорежиссеры часто пишут звуки на местах съемки без лишних имитаций как в старые времена. В игровом звуке воспроизводится виртуальное пространство, которое неизбежно будет менее иммерсивным, если мы оставим звуки такими какие они есть. Поэтому звукорежиссеры насыщают звук и продумывают микширование источников между собой в пространстве. Именно в играх эффект симуляции реальности определяет процесс погружения, ведь мир управляется самим игроком, откликается на его действия или существует в качестве «фона». В метафорическом смысле это сближает игры с реальным городским пространством, где присутствует множество звуковых источников и акустических взаимодействий.

Игры схожи с кинематографом и в историческом развитии. Они шли по пути от лоу-фай звука к высококачественным технологиям. Первые игровые звукорежиссеры были музыкантами и композиторами, которые занимались ранней электронной музыкой и изучением синтеза, а уже позже включились в производство игрового звука. Таким образом, первые звуки в играх в первую очередь были связаны с синтезаторами и нереальными фантастическими звучаниями, а позже из ранних игр в популярной музыке появились такие направления как chiptune, 8bit и т.д. сыгранные с помощью старых игровых консолей по типу Dendi и Gameboy.

Впервые интерактивный звук появляется в Space Invaders (1978), где с приближением врага увеличивается скорость не только игры, но и музыки. Музыка воспроизводилась при помощи встроенного в аркадный аппарат примитивного синтезатора. Первая игра, в которой происходили изменения музыки внутри уровня по мере его прохождения игроком — Super Mario Bros (1985). А бесшовные переходы впервые появляются в Monkey Island 2: LeChuck’s Revenge (1991), где в разных локациях менялись инструменты и партии при сохранении общей гармонии и темпа. 

Первая игра с музыкой, которая менялась в зависимости от действий игрока (а не только перемещения в пространстве) была Ultima Underworld: The Stygian Abyss (1992). Однако до этого изменения производились в запрограммированной партитуре, которая управляла синтезатором или семплером, а не аудиодорожками — и давала достаточно бедную звуковую палитру, ограниченную стандартными звуками MIDI-палитры или встроенного в аудиокарту синтезатора. Впервые не с MIDI, а с аудиодорожками реальная интерактивность звука была реализована в игре Quest of Glory V: Dragon Fire (1998), в которой был оркестровый саундтрек.

Иногда музыка и звук становятся неотъемлемой частью геймплея. Например, в игре Link’s Awakening (1993) в конце каждого нового подземелья игровой персонаж получал магический инструмент и исполнял небольшое соло на нем, а финальное подземелье разблокировалось после исполнения песни в аккомпанементе со всеми собранными инструментами. При этом эту песню можно попробовать сыграть на любом этапе игры — таким образом, у игрока есть возможность услышать процесс послойного построения этой песни на протяжении игры.

Один из первых сложных аудиодвижков — Halo (с 2001), в котором используется и горизонтальная пересборка композиций, и вертикальное изменение оркестровки, и рандомизация звуковых событий, которые в совокупности создают уникальную для каждого игрока звуковую картину без повторений, развивающуюся в зависимости от поведения игрока.

По мере развития медиа все пошло в сторону интеграции звука с изображением. Уже в XXI  веке игровое звучание многократно усложняется и вместо простых моделей секвенсоров приходит эра сложных 3d систем из музыки, дизайна, звуковых эффектов, окружающей среды, фоли и т.д. Звук в играх начинает выполнять сразу нарративные, информационные, эстетические, эмоционально-психологические и аффективные функции, которые часто пересекаются в отличии от кинематографа и радио.

Правдоподобная среда в медиа воспроизводится в условиях гиперреальности, где звуковые эффекты делают поверх картинки, преувеличивая естественный звук и имитируя его с помощью других материалов и в другом контексте, что отдаляет нас от реальных источников звука. Основатель направления акустической экологии Реймонд Мюррей Шейфер называл данный эффект «Шизофонией», связывая это с наступлением электрической революции в XX веке.

В звукорежиссуре данное направление называется «фоли» и существует в звуковом оформлении с самого начала кинематографа. Оно обозначает музыкантов-«шумовиков», которые посредством различных материалов имитируют звуки движений, окружения, действий и т.д. с помощью множества звуковых объектов. Фоли, наряду с цифровой работой на компьютере в аудио программах, активно используется в современных видеоиграх.

В настоящее время звуковая среда в играх приближается к насыщенной виртуальной реальности в связи многократным уплотнением эмоций. Звуковые дизайнеры вводят физическое моделирование и звуковой синтез в реальном времени через ИИ и нейросети, окружение в игре все больше технически соответствует визуальной составляющей, игровой экспириенс становится персонализированным и уникальным благодаря стремлениям к реалистичному моделированию акустических явлений. Сегодняшнее пространство игр захватил адаптивный звук, где игрок создает свой собственный звуковой мир. При этом дизайнер остается важной частью создания иммерсивных чувств, так как невозможно обойтись без целенаправленных звуковых решений, соответствующих конкретному контексту или событию в игре.

Дизайн звуковых ландшафтов в современных играх является неотъемлемой составляющей передачи эмоций от игрового процесса, поэтому звук ориентирован на уникальный опыт слушания самим игроком. В зависимости от того, что делает игрок, на экране меняется звуковое пространство, то динамично сменяясь, то погружаясь в тишину, заставляя игрока прислушиваться к окружению и не привлекать к себе внимания, что часто делают в игровых жанрах стелс и хоррор, например, в играх серий Thief (c 1998), Deus Ex (c 2000), Hitman (c 2000) и Outlast (c 2013).

Важной частью игры является наличие своих уникальных акустических качеств, вовлекающих игрока и создающих атмосферу. Такой подход можно заметить в городе Лос-Сантос из игры GTA V (2013), где в разных кварталах можно услышать разные звуковые палитры в зависимости от многих внутриигровых социальных параметров. Концептуальная звуковая и музыкальная атмосфера игры погружает нас в процесс активного слушания, создавая эмоции от геймплея, что прекрасно ощущается в такой хоррор игре как Dead Space (2013), где нас окружают плотные сгустки органического и электронного эмбиента, железных и потусторонних звуков, только увеличивающих нервозность и напряженность в процессе прохождения.

Для «правдивой» иммерсивной среды важной составляющей оказывается слышимость самого игрока в акустическом поле, что выражается посредством звуков движений персонажа, шагов и интеракций с окружающим миром. В данном случае мы можем говорить о том, что игровое пространство насыщенно постоянной звуковой коммуникацией, где присутствует звук, слушатель и окружающая среда, которая также отзывается на действия персонажа и создает коммуникационную связь.

Микширование источников звука в иммерсивном игровом пространстве подстраивается под действия игрока, пропадает линейность музыки и звуков, все подразделяется на небольшие паттерны, воспроизводящиеся в зависимости от конкретной ситуации. В таком случае игрок сам становится автором звуковой среды когда действует и решает различные игровые задачи. Таким образом, игра размывает понятие самого текста как структурированного продукта. Это в некотором смысле сближает нас с современным чувствованием городского звукового ладншафта, который также управляется при помощи наушников и различных внешних средств расширения. К тому же игровая интерактивность проявляется и в современных звуковых системах, например, самокатах которые издают звуки смартфонов и разговаривают с пользователями, пешеходных переходах, разрешающих или запрещающих нам переходить дорогу.

Все это активизирует акт слушания звука и включает нас в процесс получения функциональной информации в рамках игрового процесса. Слушание в игре можно настроить с помощью работы со звуковой памятью человека, его акустическим восприятием, сменой звуковой палитры или выделением переднего и фонового звучания. Акт слушания в игре является важной составляющей погружения в процесс, он помогает человеку установить взаимосвязь контекста, среды и действий, что напоминает нам проживание в реальном акустическом пространстве.

Игрок становится соавтором звукового пространства, выбирая пути и решения он получает свой собственный уникальный опыт. Стоит помнить, что люди обладают разными слушательскими навыками, поэтому слушание во многом зависит от конкретного человека и его способности настроится на предлагаемую в игре звуковую среду. В данном случае игры могут стать хорошим помощником в педагогической и воспитательной практике, так как с помощью игр можно передавать ценности звуковой культуры, истории, эстетики и т.д.

Правдивая имитация городского пространства в иммерсивной среде является сложной задачей для игровых разработчиков. В настоящее время успешные коммерческие корпорации нанимают большой штат программистов, инженеров и дизайнеров, способных создавать игры на основе реальных городов. Городская среда в играх представляет некоторую симуляцию и разрабатывается с учетом настоящей планировки и архитектуры. Городская архитектура в игре является частью атмосферы, поэтому разработчики учитывают архитектурные детали и планировку, а также предлагают игроку разные взаимодействия с пространством для создания иммерсивного эффекта. 

Хорошим примером воссоздания городской среды является серия игр Assassins Creed (c 2007). В каждой номерной части нас встречают разные цивилизации, эпохи и города, проработанные открытые миры с реальными локациями, улицами, памятниками и достопримечательностями. В первой части игры есть несколько городов включая Дамаск, где можно увидеть виртуальную Мечеть Омейядов, которая была построена в 715 году, а во второй части нас встречают города Италии в числе которых Венеция и собор Святого Марка, построенный в 828 году. Последние несколько лет разработчики компании Ubisoft начали воссоздавать в своих играх реальное соотношение пропорций и масштаба зданий по отношению к персонажу, что добавило эффекта погружения. В игре Assassin’s Creed Origins можно встретить Собор Парижской Богоматери в натуральную (относительно игровых персонажей) величину. Для более полного погружения используются не только модели реальных зданий, но и полевые записи городских пространств — хотя из-за исторической специфики пригодна только часть из таких пространств, и большая часть звуков всё-таки создается в студии.

Игровые масштабы городских и прочих пространств постоянно увеличиваются, что соотносит их с массовым расширением мегаполисов после прихода разветвленных транспортных систем. Так показательны ролики, где авторы показывают масштабы городов в Assassins Creed, благодаря чему мы можем увидеть развитие технологических возможностей современных игр:

• Дамаск (0,13 км2) из первой Assassin’s Creed
• Венеция (0,37 км2) из Assassin’s Creed II
• Нью-Йорк (0,93 км2) из Assassin’s Creed III
• Константинополь (0,94 км2) из Assassin’s Creed: Revelations
• Рим (1,41 км2) из Assassin’s Creed: Brotherhood 
• Париж (2,4 км2) из Assassin’s Creed Unity
• Лондон (3,7 км2) из Assassin’s Creed Syndicate

Можно вспомнить игровые воплощения печально известных городов Припять и Чернобыль в серии игр S.T.A.L.K.E.R. (2007-2009). Мир игры является постапокалиптическим пространством похожим на смешение серии Fallout с веяниями из книги Братьев Стругацких и фильма Андрея Тарковского. В игровой версии Припяти множество моделей реальных зданий и символических отсылок, тут можно встретить стелу «Дружбы народов», дом быта «Юбилейный», Школу №1, базу отдыха «Изумрудное», дворец культуры «Энергетик», ЧАЭС и т.д.

Игры позволяют современному обществу развивать у детей эстетическое, креативное и архитектурное мышление, а также пространственное восприятие города. В данном случае хорошим примером является игра Minecraft (2010), где игровой мир состоит из квадратных блоков разных видов. В рамках игры мы можем конструировать или деконструировать окружение на физических основах или в свободной форме, как в однопользовательском так и в многопользовательском режиме. Данная игра на много лет определила тренды в игровой индустрии став посредником между несколькими традициями: детскими кубиками, конструкторами, песочницами и Lego. Кстати жанр данной игры называется «песочница», что также отсылает нас к популярным видам детских игр. Звук в данной игре не только создает атмосферу, но и помогает ориентироваться — в частности, находить близлежащие пещеры.

Тема игровых городов является привлекательной для многих разработчиков и пользователей. Сегодня в городах проживает более 50 процентов всего населения земли, городское пространство это неотъемлемая часть современной жизни близкая любому игроку. Игровой деятель Константинос Димопулос в 2020 году даже выпустил книгу посвященную дизайну игровых городов под названием «Виртуальные города: атлас и исследование городов в видеоиграх» с множеством иллюстраций, где присутствует 45 разных городов, начиная с истоков игровой индустрии, включая игры серий Super Mario, Half-Life, Fallout, Elder Scrolls и т.д. 

Возможности игровых городов постоянно изменяются с небольшими технологическими революциями в сфере программирования и инженерии, так еще в 2000 годах мы видели в играх низкополигональные города с плохой прорисовкой текстур, а сегодня нас встречают игры, по которым можно водить виртуальные экскурсии и проводить исторические занятия в школах. Помимо этого реальные урбанисты, архитекторы и инженеры уже сейчас используют игровые движки, в частности, Unity, для проектирования и тестирования своих моделей в качестве эксперимента для последующего внедрения в городах.

Автор текста:

Георгий Орлов-Давыдовский, звуковой исследователь, участник Московской Шумовой Мануфактуры

Подготовка текста в к публикации:

Егор Ефремов, культуролог, историк техники, научный сотрудник Музея криптографии, участник Московской Шумовой Мануфактуры

Статья написана в рамках проекта «Звуки Басмании» — совместного проекта Музея Басманного района и Института Звукового Дизайна, реализуемого при поддержке Благотворительного фонда Владимира Потанина.