Het oor – STRP17 deel 2

Performance kunstenaar Stelarc was een van de op de STRP Biënnale 2017 vertegenwoordigde kunstenaars. Hij voerde de performance Rewired/Remixed uit en gaf een artist talk op de Conference for the Curious. Daar presenteerde hij ook eerdere en nog lopende projecten, zoals het Ear On Arm project, waarvoor hij een extra oor in zijn linkerarm heeft laten implanteren. Het oor is gemaakt van een poreuze kunststof die vaak gebruik wordt bij plastische chirurgie. Later werd een zeer kleine microfoon in het oor geplaatst waardoor het nu ook echt geluid kan waarnemen.

Stelarcs Ear On Arm is een in het oog springende, cyborg-achtige variant van iets wat Mark Zuckerberg vorige week tijdens de Facebook Developer Conference zei te willen ontwikkelen: een technologie waarmee je kunt horen met je huid. Onderzoeksafdeling Building 8 heeft al een kunstmatig slakkenhuis gemaakt, het deel van het binnenoor waarmee je kunt horen. Nu werken ze aan een techniek die door spraak veroorzaakte en door de sensoren van je huid opgevangen trillingen als woorden kan interpreteren. Het klinkt futuristisch, maar is misschien toch dichterbij dan je denkt. De looptijd van dit project is twee jaar. Dan moet duidelijk zijn of er een rendabele toepassing kan worden ontwikkeld. Wil je er meer over weten? Bekijk dan de presentatie die Regina Dugan, hoofd van Building 8, gaf tijdens de Facebook-conferentie (vanaf 14’09”).

Wat kun je op basis van de STRP Biënnale eigenlijk concluderen over de werking en de toekomst van ons gehoor? Het korte antwoord luidt dat het niet zinvol is om het gehoor van andere zintuigen te scheiden en dat de verstrengeling met andere zintuigen alleen maar zal toenemen door de verdere ontwikkeling van niet-menselijke zintuigen via artifical intelligence. Hieronder deel ik een aantal van mijn ervaringen in de expositie en het muziekprogramma en informatie ontleend aan de conferentie die dit illustreren.

Verstrengeling beeld en geluid

Wat we horen wordt beïnvloed door wat we zien. Dat toont het McGurk effect aan, dat werd aangehaald door experimenteel psycholoog Stefan van der Stigchel in zijn presentatie over aandacht tijdens de Conference for the Curious. In het filmpje hieronder zie je hoe het effect werkt.

Het McGurk effect laat zien dat de invloed van wat je ziet op wat je hoort enorm sterk is. Je hersenen mengen visuele en auditieve informatie tot iets nieuws, iets wat je noch gehoord, noch gezien hebt. In aflevering 7 van de interessante BBC-radioserie The Uncommon Senses komt nog een ander visueel-auditief effect aan bod: als je iets hoort, zoeken je ogen de meest aannemelijke bron van het geluid, ook als het geluid feitelijk een andere bron heeft. Het wordt het buiksprekerseffect genoemd: je ogen gaan naar de bewegende mond van de pop in plaats van de onbeweeglijke van de buikspreker.

STRP Sounds

Het moment tijdens de biënnale waarop de drang om te kijken waar het geluid vandaan kwam het sterkst was, was tijdens het optreden van geluidskunstenaar Gijs Gieskes. Hij trad op tijdens de door Modulab gecureerde tweede dag van Sounds, het muziekprogramma van de biënnale. Het publiek stond dichtbij zijn tafel vol apparatuur, opgesteld in een cirkel vol modulaire synthesizers en andere elektronica van meerdere performers. De zelfgebouwde circuits van Gieskes, waarin geluiden opgewekt en verstoord worden, vormen visueel een landschap waar je als publiek op uitkijkt, direct en via een camera op een beeldscherm. Je ziet zijn handen, voortdurend in beweging, om draadjes, pluggen, een stuk karton te verplaatsen. En op het beeldscherm zie je een onderdeel dat op dat moment geluid voortbrengt. Zo kun je zien wat je niet kunt horen: de bronnen van de verschillende geluiden in de soundscape. Bekijk dit filmpje om Gieskes aan het werk te zien bij een eerder optreden (Kytopia, 2016).

Van deze honger naar beeld maakten ook andere artiesten in Sounds gebruik. Zo waren de meeste optredens voorzien van visuals, volledig digitaal of met door een camera opgenomen beelden. Ook achter Colin Benders en zijn modulaire synthesizer waren visuals te zien, terwijl hij vaak alleen met camerabeeld werkt, als hij je vanuit zijn studio laat meekijken vanuit enkele vaste camerastandpunten. Wat is de aantrekkingskracht van die tamelijk statische beelden, waarop hij snoertjes verwisselt en aan knoppen draait? Waarschijnlijk toch dat je wil weten hoe hij die geluiden uit dat apparaat krijgt.

Producer en performer Chagall trad op tijdens de opening van de biënnale en op dag 2 van het Sounds programma. Ze wil met behulp van mi.mu handschoenen elektronische muziek en visualisatie integreren. Door in een choreografie de handschoenen te bewegen, beïnvloedt ze zowel de klank van haar stem en de muziek als de visuals. Zo moeten beeld en geluid samensmelten. Voor mij was haar optreden niet de sterkste ervaring van het in elkaar overlopen van geluid en beeld, maar de installatie Flipside Audio van mediakunstenaar Dries Depoorter.

Dries Depoorter: Flipside Audio

Op een afgezet stuk grasveld, net buiten het Klokgebouw, staan houten stoelen. Vlak bij elke stoel komt een zwarte adapter uit de grond waar je een koptelefoon in kunt pluggen. Dan hoor je geluiden, elders opgenomen met een microfoon. Het zou de andere kant van de wereld kunnen zijn, zoals in de omschrijving van het werk staat, maar het kan net zo goed een paar straten verderop zijn. Het is in elk geval een plek met verkeer op enige afstand en vogels dicht in de buurt.

Ik heb er een tijdje gezeten, luisterend, soms met mijn ogen dicht en soms om me heen kijkend. De geluiden van de audio versmelten met de gedempte gesprekken en straatgeluiden die door de koptelefoon heen dringen. Ik zie de omgeving, de mensen, het gras en heb ook een beeld bij de plek die ik door de koptelefoon hoor: het is er groen en vast ook lente. Ook de geluiden en beelden vermengen zich.

Deze versmeltingen zijn me vertrouwd omdat ik vaak naar podcasts luister terwijl ik wandel. Maak ik dezelfde wandeling vaker, dan herinner ik me regelmatig waar ik eerder naar luisterde op de plek die ik op dat moment passeer. Zo blijkt het omgevingsbeeld en de afgespeelde audio dominant. Welke omgevingsgeluiden precies door mijn koptelefoon drongen en welke beelden ik destijds bij de audio gevormd had, kan ik veel minder goed voor de geest halen.

Thought Collider: Rhythm of Life

Het is niet toevallig dat het omgevingsbeeld de audio terughaalt, niet andersom. Het zicht heeft zich bij mensen immers tot het meest dominante zintuig ontwikkeld. Dat merkte ik ook in de installatie Rhythm of Life van Thought Collider & Dave Young. Het is een doorlopend project. Eerder stemden 56 mensen toe om persoonlijke data af te staan: de meetresultaten van de lichtemissie door hun huid en persoonlijke gegevens via een lijst met zo’n dertig vragen.

We stralen allemaal licht uit door onze huid. Dit licht kan door onze ogen worden waargenomen, maar we zien het toch niet omdat onze hersenen het afdoen als ruis. Omdat het om ritmische golven van licht gaat, ontstond het idee om deze om te zetten in geluid. In de opstelling tijdens de biënnale kon je als bezoeker op een tablet acht vragen beantwoorden, waarna de data afgespeeld werden van die persoon uit de dataset van 56 met wie jij het meeste overeenkomsten vertoonde.

Zoals je in bovenstaand filmpje kunt zien, bestaat het afspelen van de data niet alleen uit tikkende hamertjes op bekkens van verschillende grootte, maar ook uit een beeldscherm waarop resultaten uit de vragenlijst verschijnen. Toen ik de acht vragen had beantwoord en de data van mijn closest match werden afgespeeld, zocht ik eerst in de audio naar herkenning. Het tingelende geluid begon vrij rustig. Ik had bij ‘stress’ ook ‘af en toe’ ingevuld. Dan verschijnen de eerste woorden op het scherm. Ja, ik ben ook een vrouw, uit dezelfde leeftijdscategorie. Ook ik heb de vragenlijst eerlijk ingevuld. Nee, ik weeg minder. Had ik ingevuld dat ik uitstekend geslapen heb?

Een vreemde gewaarwording: ik blijf maar checken of het klopt, terwijl ik weet dat het helemaal niet mijn data zijn die worden afgespeeld. En door de steeds in beeld komende categorieën, is mijn aandacht ook al helemaal niet meer bij het geluid, dat veel meer op de voorgrond treedt als ik wat verder van het scherm naar de beste matches van andere bezoekers luister.

Tijdens hun artist talk op de conferentie vertellen Mike Thompson en Susana Cámara Leret van Thought Collider dat in een toekomstige opstelling van de installatie de lichaamsdata mogelijk ter plekke vastgelegd én teruggespeeld worden. Zo kun je ook de reactie van mensen op hun eigen lichaamsdata waarnemen. Mijn advies zou zijn om het beeldscherm dan weg te laten, zeker omdat het hun bedoeling is je de data te laten voelen en niet zozeer horen. Sterke visuele prikkels laten daar minder ruimte voor over, terwijl geluid iets is wat je niet alleen hoort maar ook voelt.

Ultrasound

In de expositie en conferentie was ook aandacht voor ultrasound, geluid dat je niet kunt horen omdat het een voor het menselijk oor te hoge frequentie heeft, maar dat je wel kunt voelen en dat tegelijk met hoorbare audio ingezet kan worden.

Zo vertelde Tom Pursey van creatief bureau Flying Object hoe zij er bij de succesvolle multizintuiglijke tentoonstelling Tate Sensorium (2015) gebruik van hebben gemaakt. Een ultrahaptisch apparaat speelde met behulp van ultrasound – als luchtstootjes voelbare pulsen uit verschillende hoeken – en met hoorbare audio met het gevoel van aan- en afwezigheid bij het werk Full Stop van John Latham.

Polymorf: The Entangled Body

Dezelfde technologie vormt de kern van Polymorfs installatie The Entangled Body. Het bestaat uit een eeg-cap en een hoekige cocon waarin je een ontmoeting kunt hebben met jezelf, je emotionele staat van zijn. Eerst worden met de cap data onttrokken aan je hoofd door de activiteit van je hersenen en gezichtsspieren te meten. Die data worden omgezet in abstracte vormen die je kunt voelen via haptic boards met daarachter ultrasound speakers.

Vanwege technische problemen heb ik de installatie tijdens de biënnale alleen in de standaard-modus beleefd. Dus geen ontmoeting met mezelf, maar ik kon wel het ultrasone geluid voelen. Het voelde als een luchtstroom en ik ervoer ook iets van structuur: een prikkend gevoel op verschillende punten dicht bij elkaar op mijn handpalmen. De sensatie van een uit geluid bestaand beeldhouwwerk had ik nog niet. Daarom wil ik de installatie graag nog eens in volle werking meemaken. Ook omdat het verschil in de fysieke ervaring tussen ultrasound en infrasound me intrigeert. Ik ken het gevoel van infrasound, van diepe bassen in mijn buik en borstkas, maar waar resoneert ultrasound eigenlijk?

Multizintuiglijke installaties

Tijdens de biënnale was er zichtbaar geluid, voelbaar geluid en twee installaties die bewust je zicht uitschakelden om niet alleen ruimte te maken voor je gehoor maar ook voor reuk en tast. De installatie Famous Deaths maakte onderdeel uit van de expositie, Door Into the Dark kon je bezoeken bij het nabijgelegen MU art space. Over beide lees je meer in het luisterbericht Presence – STRP17 deel 1. Deze installaties zijn als multizintuiglijk ontworpen, maar je zou kunnen zeggen dat alle installaties multizintuiglijk zijn, al was het maar omdat er altijd meerdere zintuigen betrokken zijn bij je waarneming.

Zo was The Physical Mind van Teun Vonk ontworpen als een fysieke ervaring die je geest tot rust brengt, maar spreekt het evenzeer je gehoor aan. Kijk je toe, dan hoor je de windturbines, het gepiep van de katrollen, het nooit stilvallende, gonzende omgevingsgeluid in de grote fabriekshal. Lig je zelf klem tussen twee enorme luchtkussens, dan klinkt de lucht die erin geblazen wordt veel minder luid en het rumoer van de fabriekshal ver weg. Alle zintuigen dragen bij aan het gevoel dat je even in een eigen wereld zit.

Toekomstmuziek

De STRP biënnale laat niet alleen zien dat technologie, kunst en storytelling multizintuiglijk is en dat ook steeds sterker wordt (zie ook STRP17 deel 1), maar ook dat niet-menselijke zintuigen daar steeds meer onderdeel van gaan uitmaken. Met artifical intelligence kunnen we waarnemen wat we met onze aangeboren zintuigen niet kunnen. Het is een van de trends die technologie-expert Kevin Kelly signaleert in zijn boek The Inevitable (2016) en tijdens zijn lezing op de Conference for the Curious. Het is prettig dat artificial intelligence betrouwbaarder en op bepaalde punten veel slimmer is dan het menselijke denken, maar de grote kracht en potentie zit in het fundamenteel anders zijn ervan. We zullen dit fundamenteel andere wel steeds meer met onze zintuigen en lichamen integreren waardoor het onderscheid steeds moeilijker te maken zal zijn.

Dit vindt ook muzikant en schijfster Claire L. Evans. Tijdens haar presentatie op de conferentie schetst zij de toekomst van muziek waarbij door artifical intelligence gemaakte muziek niet meer naar menselijke maatstaven gemeten wordt. Volgens haar is de toekomst van muziek elektronisch, niet omdat elektronische muziek de meest toekomstbestendige muziek zou zijn, maar omdat de oren van de toekomst niet meer puur menselijk zullen zijn. Die toekomstige oren zien er vast niet zo uit als het extra oor van Stelarc, maar eerder onzichtbaar, geïntegreerd in ons lichaam, in staat om op te pikken wat we ons nu nog niet kunnen voorstellen.

Terug naar het begin van dit bericht.

Verder luisteren:
– De 10-delige radioserie The Uncommon Senses van de BBC, waarin filosoof Barry Smith en geluidskunstenaar Nick Ryan onze multizintuiglijke wereld onderzoeken (duur: 15 min. per aflevering). In het bijzonder: aflevering 2 over interoceptie en infrasound, aflevering 3 over hoe je hersenen je waarneming sturen, aflevering 4 over de rol van gehoor en andere zintuigen bij eten en aflevering 7 over je ogen en het McGurk effect.
– kunstenaarsduo Thought Collider, geluidskunstenaar Espen Sommer Eide en techniekantropologe Natasha Myers vertellen je op 3 mei meer over hoe de natuur waarneemt in Sensing Nature, onderdeel van een Engelstalig trainingsprogramma voor je zintuigen van Marres in Maastricht. Natasha Meyers verkent de affectieve ecologische systemen tussen planten en mensen, Espen Sommer Eide vertelt over het zintuiglijke gedrag van dieren en Thought Collider onderzoekt de relatie tussen geur en gedachteprocessen door moleculen te traceren die betrokken zijn bij de verspreiding van ziektes. Op 21 juni neemt psycholoog Jamie Ward je mee in de wereld van mensen met synesthesie.
Na een zomerstop gaat de serie op 4 oktober verder, met een gehoortraining door Ana Tajadura-Jiménez. Zij is hoofdonderzoeker van het project ‘The Hearing Body’ over de manier waarop auditieve waarneming de perceptie van je lichaam beïnvloedt. Een audioworkshop krijg je op woensdag 29 november van David Helbich, een in Brussel wonende Duitse componist en kunstenaar.
De trainingen vinden plaats in Marres zelf of in De Brandweerkantine en duren steeds van 19:00 tot 21:00. Het aantal plaatsen is beperkt en kaarten kosten € 15 per avond (toeslag Museumkaart € 5, kortingstarief € 7,50).
– Thought Collider geeft op 12 mei ook een lezing tijdens het conferentiegedeelte van het FIBER Festival, een festival voor kunst, muziek en digitale cultuur, dat van 11 t/m 14 mei plaats vindt in Amsterdam en met het thema ‘Prima Materia’ over alchemistisch denken en creëren gaat.
– De Raamgitaar van Gijs Gieskes is samen met (beluisterbare) installaties van Dorita Takido & Yuma Sasaki, Jeroen Diepenmaat en andere kunstenaars tentoongesteld in Fort Ruigenhoek in Utrecht. Je kunt het fort bezoeken op 30/4, 6 en 7/5, 13 en 14/5, 25/5 (hemelvaartsdag) en 27 en 28/5.
– Dries Depoorter, Leanne Wijnsma en andere creatieven vertellen over hun maakproces tijdens de Industry Day van het Future Flux Festival in Rotterdam (9 en 10 juni).
– Tijdens STRP Sounds trad ook Leon Van Bokhorst op met een modulaire ambient sessie. Deze kunt je terugvinden als aflevering 6 van zijn UnlikeNoise Podcast (duur: 32 min.). Als je er liever beeld bij hebt, kun je ook een registratie vinden op YouTube.

Verder kijken:
– Dit filmpje laat met behulp van een kamerplant zien dat je optisch vastgelegde geluidstrillingen weer om kunt zetten in geluid (duur: 4,5 min.).

Verder lezen:
– In het luisterbericht LT // STRP Biënnale 201, dat voor aanvang van de biënnale verscheen, vind je een selectie van wat er nog meer te horen was.
– In het luisterbericht Presence – STRP17 deel 1 ga ik dieper in op wat voor mij het kernwoord van deze editie van de STRP Biënnale was: presence.
– Essay van Claire L Evans ‘Het geluid van de toekomst is maar beperkt houdbaar’, 17-03-2017.

& verder:
– You Only Live Online, solo expositie Dries Depoorter bij Tetem in Enschede, 4 mei t/m 30 juli.
– Thought Collider is met voorbeelden uit hun ‘The Institute for the Design of Tropical Disease’ project vertegenwoordigd op de tentoonstelling Intensive Care over architectuur en design in de gezondheidszorg bij Bureau Europa in Maastricht (t/m 25 juni).