HKU verkent immersive experiences in het onderwijs

Geluid als kompas

Tijdens het experiment is door een team van docenten van beide Academies een VR experience ontwikkeld. In die experience beweegt een speler met een VR-bril op zich door een reeks virtuele landschappen, van een donker bos tot een spannende vlakte en een kathedraal, waarbij hij via het geluid navigeert. Het geluid wordt daarmee als het ware een kompas.

De grenzen tussen fysieke en virtuele ruimte

Verschillende technieken en systemen vanuit beide academies kwamen in de experience bij elkaar. De landschappen zijn gemaakt door Games. De virtuele akoestiek is een door MT ontwikkeld meerkanaals audiosysteem, met houten boxen die verschillende akoestische omgevingen kunnen nabootsen. De stem en bewegingen van de speler worden tijdens de experience in real time opgenomen en teruggespeeld met verschillende galm- en echoprofielen. De speler beweegt zich fysiek door de studio, terwijl licht, geluid en projecties reageren op de virtuele omgeving. Een draagbare speaker vervult de rol van virtuele zaklamp, interactief object en fysieke geluidsbron. Dit alles creëert een ervaring van een hybride speelveld waarbij de grenzen tussen fysieke en virtuele ruimte continu worden herschreven. En waar de speler via virtuele akoestiek nog meer op kan gaan in de ervaring.

Multidisciplinaire groep

Voor het experiment is een diverse groep HKU’ers betrokken, met onder andere docenten van Games en MT, zodat er transdisciplinair gewerkt kon worden vanuit verschillende perspectieven: technisch, artistiek en onderwijskundig. Het project wordt geleid door het XR-team dat vanuit de afdeling Onderzoek, Onderwijs en Innovatie al een tijd aan de slag is op het thema immersive technology. Ook het HKU-lectoraat (Dis)Connected Technology & Creativity is nauw betrokken.

Van experiment naar onderwijs

Alle deelnemende docenten formuleerden vooraf hun eigen onderzoeksvraag, die zij tijdens het experiment hebben getest. Zo verkenden ze hoe virtuele akoestiek geïntegreerd kan worden in gamedesignprocessen, hoe licht, motion capture en audio samen een immersief dramaturgisch systeem kunnen vormen, hoe XR nieuwe vormen van interactieve narratieven en spelregels mogelijk maakt, en welke docentvaardigheden en technische infrastructuur nodig zijn om studenten hiermee te leren werken.

"Het was een mooie, eerste verkenning: vruchtbaar en verhelderend"

Antal van Nie, de MT-docent die het audiosysteem met de houten boxen die ruimtelijk geluid kunnen nabootsen ontwikkelende, wilde bijvoorbeeld graag weten welke infrastructuur nodig is om gemakkelijk immersive experiences te maken met virtuele akoestiek in game-omgevingen. “In de basis is deze vraag beantwoord, details moeten nog worden uitgewerkt. Het was een mooie, eerste verkenning: vruchtbaar en verhelderend. Ik wil graag aan de slag met het verder opbouwen van de juiste infrastructuur, soft -en hardware, en workshops ontwerpen voor studenten en werkplaatsbegeleiders, en deze op jaarbasis integreren in het onderwijs.”

"Mijn idee was dat het gedeelde karakter van de virtuele akoestiek ervoor kon zorgen dat de VR-experience minder isolerend zou zijn"

Games-docent Aaron Oostdijk ging het experiment aan met de vraag hoe je vanuit een focus op geluid en akoestiek betekenisvol met gametechnologie een ervaring kunt maken. “Mijn idee daarbij was vooral dat het gedeelde karakter van de virtuele akoestiek ervoor kon zorgen dat de VR-experience minder isolerend zou zijn, en daarmee misschien beter mee-ervaren kon worden door non-VR spelers of publiek. Dat bleek deels zo te zijn, maar het visuele was nog steeds een belangrijk aspect. Om de demo die we gemaakt hebben als voorbeeld te kunnen gebruiken in onze lessen, zouden we deze nog wat moeten versimpelen en standaardiseren. En dan vertalen naar een manier om, bijvoorbeeld begeleid door Blackbox-medewerkers, met studenten mee aan de slag te gaan.”

Invoering van IX en XR in het onderwijs

In het nieuwe jaar volgen meer experimenten met immersive technology bij de academies Theater en Media. De volgende stap is dat het XR-team vanuit de afdeling Onderzoek, Onderwijs en Innovatie samen met de studieleiders van verschillende academies een voorstel doet voor een stapsgewijze invoering van IX en XR in het onderwijs. Projectleider van het XR-team Chantal Fortes: “XR verandert niet alleen onze tools, maar ook onze manier van kijken, luisteren en betekenis geven. Door samen te experimenteren ontdekken we nieuwe vormen van kunst, onderwijs en samenwerking.”