Game-audio, interactieve audio, realtime sound design, sensor-based interaction
The Breath Awakens is een game-audioproject dat ik samen met Nathan Heuker of Hoek van HKU Games van januari t/m juni heb ontwikkeld. Het idee van het project is dat de ademhaling van de speler niet alleen onderdeel is van het thema van de game, maar daadwerkelijk als input wordt gebruikt. Na onderzoek te hebben gedaan kwam het idee om onder de neus van de speler een luchtsnelheidsmeter te plaatsen die de in- en uitademing meet. Die informatie kan vervolgens gebruikt worden om onderdelen van de game aan te sturen en tegelijkertijd het geluid realtime te beïnvloeden.
Binnen het project was ik verantwoordelijk voor het volledige audio design. Daaronder vielen de sound effects, sfeerlagen, muzikale elementen en vooral het ontwikkelen van een realtime ademgeluid op basis van de sensordata. In plaats van simpelweg een opgenomen ademhaling af te spelen, wilde ik proberen om de ademhaling zelf na te bouwen. Daarvoor gebruikte ik onder andere white noise, filtering, EQ en reverb. De data van de sensor kon vervolgens parameters van dat geluid aansturen, waardoor de speler in principe zijn eigen ademhaling terug kon horen via het systeem.
Dat bleek alleen minder simpel dan het in eerste instantie klinkt. Een sensor geeft data, maar die data klinkt natuurlijk niet automatisch als een ademhaling. De eerste versie was daarom vooral een experiment om te kijken of het principe überhaupt werkte. In mijn V1-video is die ontwikkeling ook goed te horen: vanuit een vrij technisch klinkende basis probeer ik stap voor stap dichter bij een herkenbare in- en uitademing te komen. Dat was voor mij vooral een proces van luisteren, aanpassen en opnieuw testen.
V1 van geluidsontwikkeling
Bij V3 begon het resultaat al een stuk beter te klinken. De ademhaling voelde minder als white noise die door een filter werd gestuurd en meer als één doorlopende lichamelijke beweging. Daarbij merkte ik ook dat kleine technische aanpassingen behoorlijk veel invloed hadden op hoe geloofwaardig het geluid aanvoelde. Een systeem kan technisch perfect reageren op de sensor, maar als de klank te abrupt of te synthetisch reageert, voelt het alsnog niet alsof je naar een ademhaling luistert. Hier is een groot deel van het werk geweest om dynamische EQ te maken in FMOD die alleen maar op de dipool van luchtsnelheid vanaf de sensor kan reageren. Hierbij moest er mapping aan te pas komen die ervoor zorgde dat de sensor voor de inadem, en de sensor voor de uitadem (twee verschillende sensoren!), drie settings per individuele peak konden aanpassen: gain, bandwidth en centerfrequentie. Door genoeg te experimenteren kon er uiteindelijk een geloofwaardiger geluid gemaakt worden.
V3 van geluid
Eerste opzet van hoe sensordata mogelijk binnen zou komen, de twee doosjes met sensoren voor het in- en uitademen, en uiteindelijke sensordata.
In de uiteindelijke versie heb ik het geluid verder uitgewerkt en ook meer rekening gehouden met wat er in de game zelf gebeurt en alles zo strak mogelijk gekregen (minder afhankelijk zijn van reverb wanneer iemand sneller ademt). Zo is er ook bijvoorbeeld een klikje toegevoegd voor het activeren van de gastank bij inademen. Dat lijkt een klein detail, maar maakt voor mij wel duidelijk waar het project uiteindelijk naartoe begon te groeien en is een grote plus voor de immersie.
Final design van geluid
Het project zou uiteindelijk op 26 en 27 juni in Bibliotheek Utrecht speelbaar zijn, maar dat is door de hittegolf niet doorgegaan. Daardoor is er uiteindelijk geen volledig speelbare publieke versie van The Breath Awakens gekomen. De verschillende onderdelen zijn wel ontwikkeld tot een concept dat technisch en auditief in principe speelbaar gemaakt kan worden. Voor mijn eigen werk vind ik dat onderscheid belangrijk: het project is dus niet als voltooide game tentoongesteld, maar het audiosysteem, de sensorinteractie en de verschillende versies van het geluid laten wel zien hoe het concept zich tijdens het ontwikkelen heeft gevormd.
Zaklamp sounddesign van de uiteindelijk niet-speelbare game.