Интервью с Тони Шнейдером из Aureal

Недавно, наши коллеги с сайта 3DSoundSurge взяли интервью у Тони Шнейдера (Toni Schneider) из компании Aureal Semiconductor. Тони ответил на вопросы о технологии Wavetracing и чипе Vortex 2. Прежде чем начать отвечать на вопросы, Тони сказал несколько слов по этой теме, так что интервью получилось со вступлением.

Вступление

Судя по последним пресс-релизам, создается впечатление, что Creative пытается вести борьбу против технологии Wavetracing. Для нас в этом нет ничего нового. Когда конкуренты оказывались перед лицом новой технологии, которой пока не владеют, сначала они пытаются избавиться от нее заявляя, что эта технология плохая или, что никто ее не будет использовать. Затем, когда они видят, что разработчики все же используют новую технологию они быстренько встают на сторону победителя. Такое уже было с несколькими новшествами от Aureal. Два года назад мы принесли позиционируемый 3D звук и алгоритмы HRTF в игры, в прошлом году все наши конкуренты сделали то же самое. Аналогичная ситуация повторяется с окклюзией (occlusions) в этом году. Все повторится в будущем с технологией Wavetracing.

Все нападки конкурентов на технологию Wavetracing выглядят следующим образом:

Wavetracing на самом деле правильный способ создания акустики, но нам этот способ не нравится, так как он очень сложный в использовании (Я говорю: мы его используем), он использует очень много ресурсов CPU (Я говорю: а вот и нет) и вообще, мы можем подделать Wavetracing за счет использования реверберации (reverb), которая создает такое же хорошее звучание (в обзорах говорится что это не так, Wavetracing обеспечивает более качественное звучание). Излишне говорить, что я нахожу эти аргументы бессмысленными, так как их несостоятельность уже доказали продукты, использующие наши технологии. Более того, технология Wavetracing находится лишь в самом начале своего развития, т.е. она будет обеспечивать все более качественное звучание в течение следующих нескольких лет. И это притом, что уже сейчас Wavetracing обеспечивает лучший звук в играх, где действие происходит в режиме реального времени, по сравнению с реверберацией (reverb), которая используется в играх уже много декад и не собирается развиваться дальше.

Очень важно то, что наш чип Vortex 2 не заставляет вас делать вынужденный выбор между технологиями. Он поддерживает интерфейс A3D 2.0, мощную технологию следующего поколения, которая воспроизводит реверберацию на завтрак и дополнительно предоставляет целую кучу революционных методов создания акустики, базирующейся на геометрии пространства. Creative работает только с реверберацией и пытается всем доказать, почему их технология лучше чем наша.

Главное, что нужно знать:

Чипсет Vortex 2 от Aureal поддерживает обе технологии создания 3D акустики: Wavetracing (базирующуюся на геометрии пространства) и reverb (базирующуюся на заранее заданных свойствах акустики пространства). Множество разработчиков и независимых журналистов сходятся во мнении о том, что технология Wavetracing, несомненно, лучше всего подходит для использования в 3D играх, но, в конце концов, это не столь важно, так как сейчас оба метода поддерживаются в современных играх. Вот почему мы реализовали поддержку обоих методов в нашем чипе Vortex 2. Мы хотим, чтобы покупатели нашей продукции имели возможность наслаждаться всеми возможностями современных технологий 3D звука в играх.

Если наши конкуренты хотят зациклиться только на reverb, это их дело. По-моему, Wavetracing или акустика, основанная на геометрии пространства, обеспечивает гораздо более ощутимые результаты для улучшения ощущений от игры, чем это делает позиционируемый 3D звук. Поэтому я остаюсь убежденным в том, что через некоторое время большинство 3D игр реального времени будут писаться со звуком, создаваемым с использованием методов геометрической акустики. Вы можете некоторое время имитировать акустику, используя статичные, заранее созданные реверберации, но рано или поздно, вам все равно придется использовать методы создания интерактивной акустики в реальном времени, подобные Wavetracing иначе ваша продукция безнадежно устареет.

Давайте я объясню это на примере графики:

Если вам нужно создать для визуального просмотра 3D сцену, у вас есть две основные возможности: вы можете заранее создать сцену (pre-rendering) или вы можете создать трехмерную сцену в реальном времени (real-time rendering). Использование заранее созданных изображений дает лучшую детализацию, но при меньшей интерактивности. Так как самая впечатляющая часть игры - это возможность перемещаться в 3D мире и при этом ощущать, как окружающее вас пространство реагирует на ваши действия в режиме реального времени, гораздо предпочтительнее, чтобы трехмерная графика в играх создавалась и отображалась в режиме реального времени. Аналогичная ситуация и со звуком: технология Wavetracing создает акустику в режиме реального времени, а reverb использует заранее созданную акустику.

Для тех, кто хочет узнать подробнее о работе технологии Wavetracing и сформировать свое собственное мнение, я рекомендую прочитать материалы об интерфейсе A3D на нашем сайте.

В этих материалах собраны и обобщены результаты более чем 10 летних исследований и разработок в области 3D звука, то, чем занимались специалисты Aureal и Crystal River Engineering (это компания влилась в состав Aureal более 2.5 лет назад) в течение этого времени. Работы в области 3D звука были новаторскими, фактически мы создавали все с нуля, причем большая часть исследований были начаты и закончены задолго до начала сегодняшних сражений на полях PCI звука, а многое из того, что мы создали, используется NASA. Другими словами, мы не просто слепили на скорую руку интерфейс A3D в ответ на чей-то продукт. Мы создали его с нуля, мы создали его для заказчиков, не терпящих компромиссов в исследованиях и требующих лучших из возможных алгоритмов и систем. Превосходство наших решений мы доказывали на каждом этапе создания нашей технологии и открыто публиковали все результаты исследований. Мы создали нашу технологию для ультра high-end приложений (если бы интерфейс A3D не был бы настолько невероятно точным и мощным при воспроизведении звука, использовал ли бы его военно-морское ведомство в своих разработках реактивных истребителей?). И, в заключении, мы были первыми, кто обеспечил возможность использования подобной технологии в решениях для рынка PC, сделав это более 2-х лет назад, в звуковой карте Monster Sound от Diamond. Кстати, составная часть интерфейса A3D - технология Wavetracing, также не была создана за одну ночь. Первый звуковой сервер Crystal River, который реализовывал эту технологию был создан еще в 1992 году. Сервер стоил $60,000 и состоял из 4 конволвотронов, устройств для выполнения свертки, каждый из которых содержал 128 DSP процессоров, работающих параллельно, и вся эта система рассчитывала лишь 4 источника звука в 3D пространстве и по 6 отражений звука от стен для каждого из источников. Мы работали над этой технологией все это время и в результате, сегодня вы можете владеть платой на базе чипа Vortex2 всего за $79, которая в 4 раза мощнее своего предка. Интерфейс A3D это реальная технология, а все остальные играют в догонялки!

3DSS: Спасибо за вступление Тони. Перейдем прямо к вопросам, в FAQ по технологии EAX говоря про геометрическую акустику, Creative утверждает следующее:

"Эта техника допускает, что звуковые волны отражаются в "зеркальной" форме, которая является аппроксимацией игнорируемых дифракции и диффузии звука".

Насколько я понимаю технологию Wavetracing, в ней принимается в расчет дифракция и диффузия звука за счет определения типа материалов, от которых отражается звук. Так, ковровое покрытие будет поглощать больше звуковых волн, в результате чего будет получаться более приглушенный звук, чем тот, который бы получался в результате отражения звука от стальной поверхности. Можете вы прокомментировать мое мнение и утверждение Creative?

Тони: Вы правы в том, что в нашей технологии мы учитываем, как материал, из которого состоит стена, влияет на форму спектра звука, отражающегося от стены. Я думаю, утверждение основывается на том факте, что звуковые волны на самом деле не ведут себя прямолинейно, распространяясь в помещении. В технологии Wavetracing используются различные модели способов распространения звуковых волн для выполнения расчетов. Я не уверен, что Creative пытается сказать своим утверждением. Если в подтексте предполагается, что наши расчеты отраженных звуков недостаточно точны, тогда это:

• а) неверно и
• б) очень смешно, особенно если принять во внимание, что они критикуют функцию, которой сами не имеют. Это все равно, как если сказать, что мы продаем Honda за $99, а Aureal продает Ferrari за $99 и вы должны купить нашу машину Honda, потому что Ferrari от Aureal это не Porsche!

3DSS: Снова, из FAQ Creative по EAX мы читаем утверждение:

"Полный расчет отражений от множества объектов для нескольких источников звука является сложной задачей. Не смотря на то, что физические принципы лежащие в основе геометрической модели просты (и обеспечивают лишь аппроксимацию реальных отражений звука) для ее расчета требуется серьезные вычислительные ресурсы".

Если судить по моему опыту и по опыту других, это действительно верно. Вычисления, требуемые для использования технологии Wavetracing, в настоящее время съедают от 10 до 20 процентов общей производительности в игре (обычно измеряемой в fps). В то время, как это утверждение по отношению к A3D 2.0 проистекает из результатов тестирования лишь одной игры (Half-Life) можете ли вы рассказать о ваших успехах в области снижения до уровня 5% загрузки CPU при использовании технологии Wavetracing, что было заявлено как ваша цель?

Тони: Да, технология Wavetracing требует много вычислений. Наш первый действующий прототип A3D 2.0 (весной 98) использовал большую часть вычислительной мощности PII 233 для расчета одного источника 3D звука с шестью отражениями. Сегодня мы рассчитываем 16 источников 3D звука с 60 отражениями, используя всего лишь несколько процентов мощности PII 233. Другими словами, грубое использование технологии Wavetracing требует большого количества мощности CPU, но мы нашли огромное количество способов существенно ускорить вычисления и снизить загрузку центрального процессора. Игра Half-Life является лишь первым примером использования технологии Wavetracing. Звуковое сопровождение в игре звучит устрашающе и для создания такого звучания требуется около 15% ресурсов CPU на определенных компьютерах. За прошедшие 3 месяца мы повысили эффективность использования технологии Wavetracing в 10 раз. С использованием последних драйверов мы достигли нашей цели использовать менее 5% мощности CPU в новейшей A3D 2.0 игре Heretic II EP (в ближайшее время вы сможете проверить это на практике). Имея современный средний компьютер для игр (300-400 MHz CPU), все, что вы когда-нибудь сможете заметить из изменений, так это то, что звучание стало ошеломляюще лучше. И мы еще не закончили разработки…

3DSS: Возвращаясь к отраженным звукам… Можете ли вы объяснить, как вы пришли к решению, что 60 отражений могут обеспечить необходимые ощущения от звучания в любом случае?

Тони: Мы провели огромное количество тестовых прослушиваний и смоделировали множество ситуаций. Мы пришли к выводу, что 30-60 отражений звуков делают звучание действительно хорошим. Большее количество отражений, конечно, сделают звучание богаче, но даже если вы используете 8 или 16 отражений, вы получите отличные результаты. Это потому, что самый важный аспект отраженных звуков это то, насколько они динамичны — тот факт, что они рассчитываются на лету исходя из данных о вашем положении в пространстве, геометрии пространства и типов материалов, из которых состоят стены вокруг вас. Это делает звучание невероятно интерактивным и превращает пространство в действительно живое, когда вы двигаетесь в нем. Вы можете добиться подобных результатов даже с использованием лишь нескольких отражений. Между прочим, вы не получите такой интерактивности используя одну лишь реверберацию. :-)

3DSS: Вопрос, который похоже возникает снова и снова вокруг утверждения о том, что техника расчета распространения акустических волн может оперировать лишь ограниченным числом отраженных звуков и не может быть использована для воспроизведения затухания запаздывающей реверберации.

Из FAQ по чипу Vortex2 мы воспроизводим ваш ответ на это утверждение:

"Использование фиксированных ранних отраженных звуков как часть реверберации являет стандартным способом в любой reverb. Наш механизм реверберации будет моделировать фиксированные отражения звуков так же, как это реализует Creative, когда в игре используется только reverb (через нечто вроде EAX). Dкак мы уже описали, недостатком такого метода является то, что звучание получается статичным и плоским, потому что реверберация сама по себе не изменяется при вашем движении (единственно, что изменяется это wet/dry mixing, т.е. соотношение, с которым микшируются линейно распространяемые звуки и реверберация). Если игра использует A3D 2.0, идея заключается в отключении реверберации, состоящей из зафиксированных ранних отражений и замене ее на динамически рассчитываемые и индивидуально воспроизводимые ранние отраженные звуки. Причем реверберацию можно оставить для воспроизведения поля запаздывающих отражений. В случае, когда вы используете все это одновременно, вы получаете интерактивность ранних отражений и долгое эхо реверберации".

Теперь некоторые ограничения EAX, которые обсуждались ранее, должны будут исчезнуть с появлением нового усовершенствованного интерфейса EAX 2.0. Поэтому я бы хотел вновь сфокусироваться на вопросе о том, что вы намерены предложить для управления запаздывающими отраженными звуками (reverb).

Тони: Я не видел полной спецификации EAX 2.0, но из того, что я видел в пресс-релизах, складывается впечатления, что на самом деле ничего не будет сделано для устранения указанного выше недостатка. В EAX 2.0 будет реализована некая форма окклюзии, но все еще, похоже, не будет осуществляться управление отраженными звуками или расчета акустики на основе геометрии пространства.

3DSS: Изменились ли ваши планы по использованию реверберации для воспроизведения запаздывающих отражений в то время, как технология Wavetracing используется для воспроизведения ранних отраженных звуков?

Тони: Нет, план тот же. В идеале, хочется иметь возможность воспроизводить достаточное количество отраженных звуков для моделирования на лету ранних отражений и поля запаздывающих отражений. Когда-нибудь мы сможем сделать это. До этого момента, лучшие результаты получаются при использовании доступных отражений для моделирования поля ранних отраженных звуков и использовании оставшихся или части из доступных отражений для реверберации. Если у вас есть возможность выбрать что-то одно (потому что не все разработчики имеют время для использования сразу всего), я рекомендую использовать отраженные звуки, потому что мне нравится интерактивность и, я буду рад слышать немного запаздывающего эхо в помещении для более динамичных ощущений от игры.

3DSS: Мы знаем, что ранние отраженные звуки изменяются в зависимости от типа материалов, из которых состоят объекты, от которых отражаются звуки. Какой уровень для самостоятельной настройки будут иметь разработчики для установки реверберации, которая будет сопутствовать ранним отраженным звукам?

Тони: Пока ответ на этот вопрос находится в области закрытой информации. Излишне говорить, что разработчики получат контроль над основными свойствами реверберации, также как, например, в случае с EAX (время затухания, тип reverb и т.д.). Плюс ко всему мы также добавим некоторые интересные возможности управления акустикой.

3DSS: В сети идет много разговоров о том, как сложно использовать A3D 2.0 и как много дополнительной работы со звуком необходимо для создания необходимых ощущений от звучания. Можете ли вы рассказать, какой уровень усилий требуется для использования A3D 2.0 в игре, по сравнению с объемом работы необходимым для использования вместе A3D 1.x и API, такого, как предлагаемый новый интерфейс I3D2? Я бы хотел получить ответ из двух частей. Часть 1 должна быть посвящена играм, которые используют общие движки, такие как движок Unreal или Quake и Часть 2 должна быть посвящена использованию A3D 2.0 в новых играх.

Тони: Мне интересно, откуда народ берет такую информацию? Разработчики, которые использовали интерфейс A3D 2.0, говорят, что это невероятно легкий и простой в использовании API. Похоже, что только департамент по маркетингу Creative нашел, что A3D 2.0 очень сложен в использовании. Конечно же, они вероятно никогда не использовали или даже не видели копии нашего API…

Часть 1: Если вы посмотрите на то, как добавляется 3D звук в существующие игры, то заметите, что все ставки уже сделаны. Есть несколько игр, в которые в ближайшее время будет добавлена поддержка A3D 2.0. Реализация поддержки в других играх займет большее время, потому что они разрабатывались без учета возможности использования 3D звука в будущем. Например, реализация A3D 2.0 в Unreal будет несколько сложнее, так как в этой игре используется механизм реверберации, а для всех вычислений используется CPU.

Часть 2: Изначально A3D 2.0 разрабатывался с целью использования в играх. В отличие от других стандартов 3D звука, A3D 2.0 это полностью самостоятельный механизм и он может воспроизводить весь звук для любой игры. Если A3D 2.0 используется именно для этого, его преимущества начинают проявляться во всей красе, включая простоту реализации. В ближайшие месяцы вы увидите игры, которые изначально создавались с использованием A3D 2.0.

3DSS: Какие возможности имеют разработчики по управлению звуком, если их не устраивают получающиеся отраженные звуки при использовании геометрической акустики по умолчанию?

Тони: Имеется много способов управления отраженными звуками, включая установки свойств материалов, из которых состоят стены (метал, дерево, ковровое покрытие и т.д.), интенсивность отражаемых звуковых волн или затухание отраженных звуков. Пока большинство разработчиков используют установки по умолчанию. Я ожидаю, что в будущих играх будут использоваться все преимущества такого управления.

3DSS: Планируете ли вы поддержку I3D2? Пожалуйста, обоснуйте свой ответ.

Тони: Мы планируем поддержку I3D2. Это будет простой API реверберации и окклюзии, который может стать промышленным стандартом. Окклюзии являются одной из наших очевидных больших инноваций, поэтому мы рады видеть, что они становятся широко распространенными. Реализация reverb не будет настолько продвинутой, насколько нам бы этого хотелось, но это лишь начало. Это естественный процесс в мире PC, когда новые возможности представляются компаниями типа Aureal, чей бизнес вводить новшества и их действенность подтверждается, только после этого технология становится приемлема для всего рынка. Интерфейс I3D2 является таким шагом и его принятие поможет распространению внедрения высококачественного звука в игры. После I3D2 мы надеемся увидеть I3D3, который будет включать в себя многие возможности сегодняшнего A3D 2.0.

3DSS: Планируете ли вы сделать A3D 2.0 полностью обратно совместимым с аппаратным обеспечением поддерживающим I3D2. Я имею в виду, будет ли в игре, рассчитанной под A3D 2.0 и запущенной на машине с аппаратным обеспечением, поддерживающим только I3D2, реализовываться все возможности I3D2 (т.е. reverb и окклюзии)? Вновь, пожалуйста, поясните свой ответ.

Тони: Так как интерфейс I3D2 еще не готов, я не могу говорить с уверенностью. Наша главная цель в полной обратной совместимости с DS3D. Если I3D2 будет иметь широкую поддержку, мы будем серьезно рассматривать вопрос совместимости, но в будущем.

3DSS: Мы знаем мнение специалистов Creative Labs из недавнего интервью журналу MaximumPC и из FAQ по EAX. Мы бы хотели предложить вам воспользоваться случаем и рассказать нам, почему вы считаете, что модель акустики, основанная на геометрии пространства, превосходит статистические модели и заранее сделанные установки окклюзии, которые будут реализованы в EAX 2.0?

Тони: Я не могу говорить о EAX 2.0, так как не слышал результатов его работы. В общем, геометрическая модель работает лучше, потому что она гораздо более динамична. В случае с реверберацией (или, если вы предпочитаете более причудливое название для нее: статистическая модель), если я захожу в комнату, начинает действовать reverb. Затем ничего не изменяется, пока я не перейду в следующую комнату, тогда начинает использоваться другая reverb (если в игре используются reverb для каждой комнаты на уровне, но во многих случаях reverb изменяется лишь в нескольких конкретных местах). При использовании технологии Wavetracing, если я вхожу в комнату, возникают отраженные звуки, и они постоянно изменяются в каждом кадре, когда я двигаюсь вокруг, приседаю, захожу за колонны и все это продолжается на всем протяжении уровня. Это просто более интерактивно и именно поэтому такая технология нужна в 3D играх. В общем, наша технология обеспечивает больше ощущений от всех игр, основанных на одной общей геометрической базе данных: 3D графика, 3D звук, физика, force feedback и т.д.

Или давайте я отвечу на ваш вопрос иначе: с точки зрения маркетинга и PR (public relations), мы проигрываем Creative со счетом примерно 1:30. При этом во всех обзорах, которые я читал, делается вывод о том, что SB Live! хороший продукт, однако платы на Vortex2 лучше, потому что они воспроизводят более качественный 3D звук, который делает звучание в ваших играх просто невероятным. Одна из главных причин того, что 3D звук плат на Vortex2 лучше состоит в том, что наша модель геометрической акустики лучше всех других технологий.

3DSS: Спасибо за интервью, Тони.

От редакции iXBT Hardware: В интервью упоминается FAQ по интерфейсу EAX и интервью, взятое журналом MaximumPC у ведущего специалиста E-Mu Sustem Дейва Росcума. В ближайшее время мы опубликуем оба эти материала на русском языке.