Era tempo che, in quanto interessato e spesso direttamente coinvolto nell’ambito delle cosiddette new media performances audiovisive, non venivo profondamente colpito dall’impianto teorico, tecnico ed estetico di un progetto come il nuovissimo Brainloop dell’artista italo-sloveno Davide Grassi.

Vincitore non a caso del prestigioso premio ARCO/BEEP Fiera Internazionale di Arte Contemporanea ARCO di Madrid, Brainloop “è una piattaforma performativa che ultilizza un Interfaccia Cervello-Computer (BCI system) che permette a un soggetto di operare dispositivi elettronici attraverso la mera immaginazione del moto dei propri arti. Nel caso di un soggetto tetraplegico i comandi da lui “visualizzati mentalmente” non giungono mai a trasformarsi in movimento effettivo in quanto bloccati a livello cortico-spinale”.

Delle interfacce BCI si è molto parlato negli ultimi tempi, con quel misto di curiosità esoterica e miscredenza che si riserva a quelle branchie della scienza e della tecnologia che coinvolgono la mente e l’organismo umano: modalità di comunicazione neurologica tra il cervello umano e un’interfaccia elettronica, i BCI system consentono una vera e propria comunicazione non muscolare, attraverso un computer e una serie di contenuti multimediali (audio, video, testo) contenuti al loro interno nonchè distribuiti in Internet e su eventuali piattaforme online condivise. Il tutto rigorosamente in tempo reale. “Con il BCI Graz, modalità di interfaccia BCI sviluppata del centro di ricerca di Graz, l’immaginazione di gesti quali il movimento della mano destra, quello della mano sinistra o quello dei piedi, si trasforma in un segnale di communicazione non muscolare per veicolare messaggi e comandi al mondo esterno”.

In Brainloop quindi il soggetto/performer Markus Rapp è in grado, attraverso l’immaginazione motoria dei propri arti, di investigare aree urbane e paesaggi rurali mentre “gira il mondo” in Google Earth selezionando locazioni e scegliendo la posizione e l’angolazione della camera virtuale. Durante il suo viaggio il sistema memorizza tutti i dati relativi ai suoi spostamenti nel mondo virtuale. Questa sequenza di immagini viene automaticamente riproposta nella seconda fase della performance mentre Rapp, sempre utilizzando il BCI, compone un soundscape ad hoc selezionando e manipolando file audio in tempo reale.

.

La realizzazione estetica ed emotiva di Brainloop riprende e completa il percorso iniziato da Davide Grassi con il progetto Brainscore, aggiungendo però elementi importantissimi per una live performance, quelli stessi che molti media artist a livello internazionale drammaticamente trascurano nel momento in cui si muovono con un po’ tropo disinvoltura da un media all’altro e da un tipo di fruizione a un altro. Onore a Davide per la “sensiblità” con cui è riuscito in Brainloop a miscelare sapientemente gli ingredienti della ricerca scientifica, della sperimentazione, della resa scenografica del live, della spazializzazione audiovisiva della performance e degil elementi di Rete tipici della più innovativa “connected live art”. Ho voluto fare due chiacchiere con Davide Grassi nonostante il tempo a disposizione per la realizzazione di questa intervista fosse pochissimo. Sia per onorarlo dell’importante premio vinto sia per la curiosità di sapere di più di Brainloop.

Marco Mancuso: Mi puoi parlare del progetto Brainloop? Come è nata l’idea, come si articola e come si manifesta nella sua componente live?

Davide Grassi: L’idea di Brainloop nasce sulla scia di altri progetti realizzati tra la fine degli anni novanta e gli inizi di questo decennio quali ad esempio Nuclear Body e Brainscore – Incorporeal Communication. Nuclear Body fu realizzato in collaborazione con l’Istituto Oncologico di Lubiana utilizzando la scansione radioisotopica, una tecnica utilizzata nel campo della medicina nucleare che sfrutta le capacitá di decadimento di alcuni isotopi radioattivi per la valutazione dello stato di un organo del corpo umano renderizzandone l’immagine sul monitor di un computer. Si cercó di sfruttare questa tecnica per “copiare” ed “incollare” il corpo dell’artista da una realtá fisica ad una digitale creandone un doppio virtuale . Brainscore invece era una piattaforma performativa che permetteva a due operatori di comunicare in ambienti virtuali gestendo un flusso di informazioni (messaggi audio-visivi) senza utilizzare codici convenzionali quali i gesti ed il linguaggio. Il risultato venne raggiunto combinando la tecnologia neurofeedback ed un sistema di eye-tracking per l’attivazione e la gestione di comandi su una console posta di fronte a ciascun performer.

Il risultato fu entusiasmante, ma non riuscimmo a eliminare completamente la partecipazione fisica del performer nella gestione del proprio avatar. Infatti l’operatore doveva muovere gli occhi per poter sfruttare il sistema di eye-tracking . Inoltre, i dati ricavati dall’elettroencefalografia degli operatori, pur avendo un’influenza diretta sulle manifestazioni in Realtá Virtuale, non erano da questi volontariamente controllabili. Brainscore infatti fu un progetto che, per quanto visionario, fu ancora realizzato completamente all’interno di un ambito artistico con tutti i limiti che ció ha comportato.

Poi, qualche anno piú tardi, vidi una dimostrazione pratica del BCI system (Brain Compurter Interface) che permette ad un soggetto di azionare dispositivi elettronici attraverso la mera immaginazione del moto dei propri arti e pensai quindi di compiere un ulteriore passo in avanti verso la perfezione di quegli obiettivi che in Brainscore non erano stati completamente raggiunti.

.

Marco Mancuso: Parlaci dell’utilizzo delle interfacce BCI. Ultimamente molti passi avanti sono stati fatti con queste interfacce, soprattutto nelle applicazioni terapeutiche per persone tetraplegiche, fornendo loro uno strumento per poter dialogare con un computer e quindi comunicare. Come funziona tecnicamente il tuo progetto Brainloop, spiegaci come il performer può scegliere i movimenti di camera e gli spostamenti in Google Earth, così come fa a scegliere quali suoni o pattern audio “suonare” nella performance. Mi domando, quanto è alto il livello di concentrazione richiesto al performer per non inviare segnali “errati” all’interfaccia?

Davide Grassi: Brainloop utilizza l’interfaccia BCI messa a punto presso il Laboratorio di interfacce cervello-computer dell’Institute for Knowledge Discovery dell’Universitá di Technologia di Graz. Questo BCI sfrutta una tecnica non invasiva quale l’elettroencefalografia (EEG) per registrare, filtrare e quindi isolare, specifici segnali elettrici del cervello per poi convogliarli all’esterno e trasformarli in comandi che il computer possa interpretare e utilizzare per la produzione di output di vario genere. I segnali celebrali che gli scienziati di Graz sono stati in grado di isolare, e quindi di utilizzare per impartire comandi a un computer, sono quelli che si manifestano quando nasce l’intenzione di compiere un movimento del corpo. Ció avviene qualche millisecondo prima che quel movimento venga effettivamente compiuto. In altre parole sono segnali che si riferiscono alla semplice volontá di compiere un movimento. Markus Rapp, l’operatore di Brainloop, utilizza 3 distinti “pensieri” per la gestione dell’intera performance: il movimento dei piedi, quello della mano sinistra e quello della mano destra. Questo gli permette, nella prima fase della performance, di impartire tre comandi fondamentali che sono rispettivamente scroll , select e back .

Attivando il comando scroll al livello 1 della prima fase si fa scorrere un nastro sul quale appaiono i cinque continenti. Il performer, non pensando ad alcun movimento specifico, ferma il nastro e attivando il comando select (quindi immaginando il di muovere la mano sinistra) seleziona il continente che intende visitare. La camera virtuale di Google Earth di conseguenza si sposta su quel continente e sulla console dell’operatore appare il pannello relativo al livello 2 che é in tutto e per tutto uguale a quello del livello 1 ad eccezione del fatto che il “nastro scorrevole” ora contiene porzioni del continente prescielto, es: Africa settentrionale, centrale, meridionale, occidentale e orientale. Seguendo la modalitá descitta par la scielta del continente, l’operatore ora potrá decidere quale parte del continente vuole investigare e la camera di Google Earth si sposterá sulla porzione selezionata. Nel terzo livello si sceglierá con precisione il paese.

.

Con il comando back (che si aziona immaginando di muovere la mano destra) si torna indietro al livello precedente. Oltre ai tre comandi principali (scroll , select e back), ce ne sono altri due che vengono azionati combinando l’immaginazione motoria dei piedi con quella della mano sinistra o di quella destra. La prima combinazione di pensiero (piedi-mano sinistra) aziona il comando Show borders che rende visibili le frontiere in Google Earth mentre la seconda combinazione (piedi-mano destra) fa apparire il nome delle cittá. Se questi comandi erano giá stati attivati in precedenza allora i comandi a disposizione dell’operatore sono Hide borders e Hide cities per rendere rispettivamente queste due features di GE invisibili.

Nella scroll bar del livello 4 si trovano i comandi della camera virtuale che sono Scan , Move , Pan , Tilt e Zoom . Si fa scorrere il nastro dei comandi sempre pensando di muovere i piedi e poi con il pensiero di moto della mano destra e della mano sinistra si definisce se la camera si dovrá spostare a destra o a sinistra (nel caso si sia scelto Scan o Pan ), avanti o indietro (se si é scelto Move ) e sú o giú (se si é scelto il comando di effettuare un Camera Tilt ) . La camera virtuale di GE eseguirá i comandi impartiti. Le coordinate di tutte le locazioni visitate durante la prima fase vengono memorizzate. Questo processo é reso visibile dalla barra Recorded data che si trova nella parte bassa della console.

Quando il sistema ha raccolto una quantitá di dati sufficienti si passa alla seconda fase della performance durante la quale vengono riproposte le locazioni di GE investigate in precedenza mentre il performer si dedica alla creazione del soundscape , sempre sfruttando il BCI. A questo proposito sulla sua console appariono 9 tracce sonore. Quattro sono di tempo, quattro di suoni ambientali ed una, indicata come Local, che contiene suoni, loop e sample relazionati al continente o al paese che GE sta mostrando in un momento dato. Questa traccia dunque cambia costantemente contenuti (che vengono ripescati in maniera casuale da un database) a seconda degli spostamenti di camera di GE.

.

Pensando al movimento dei piedi Markus sceglie una traccia ed immaginando il movimento della mano sinistra la attiva o, in caso lo fosse giá, la disattiva. Una volta attivata una traccia il comando Adjust , attivabile pensando al movimento della mano destra, si rende disponibile. Selezionandolo si accede al Livello 2 della console che permette di aggiustare vari effetti (Reverb , Equalization Frequency , Chorus , Delay e Pitch Shift ) se si é attivata una traccia-tempo o vari parametri ( Modulation , Oscillation , Wave Mix , Low Frequency Modulation , Filter Attack ) se si é attivata una traccia-ambiente. Ciascuno di questi effetti e parametri é settabile su una scala da 0 a 10 ed é dotato di un tasto Mute/Unmute indipendente.

Si scelglie l’effetto o il parametro scorrendo fra le possibilitá grazie all’mmaginazione di moto dei piedi poi, pensando al moto della mano sinistra e della mano destra, si gestisce l’aumento (comando increase ) e la diminuzione (comando decrease ) dell’effetto o del paramentro. Mute/Unmute si aziona con la combinazione di pensiero piedi-mano sinistra mentre piedi-mano destra corrisponde al comando back che riporta alla visione completa ed allo status delle 9 tracce audio.

Tanto nella Fase 1 che nella Fase 2 l’operatore viene rappresentato sulla console da una icona (una faccina quadrata con gli elettrodi in testo) posizionata al centro del quadrante. I comandi a disposizione sono collocati a raggera attorno a questa icona. Quando l’operatore pensa al movimento di un determinato arto ció si manifesta, a livello grafico, dall’apparenza del simbolo di quell’arto all’interno di un fumetto in prossimitá della faccina ed inoltre dall’apparire in progressione di una linea tratteggiata che collega questa all’icona associata al comando attivato.

Il grado di precisione del BCI Graz va oltre il 90% il che é piú che soddisfacente per una performance artistica come Brainloop ma non dá ancora piena affidabilitá per una applicazione piú commerciale del BCI.

.

Marco Mancuso: Tu sei conosciuto nel mondo della New Media Art come artista che predilige esprimere se stesso attraverso un’interpretazione tecnologica multidisciplinare convogliata verso la Rete e le sue derive all’interno della Software Art. Pur non abbandonando questa tua costante pulsione a sperimentare con i media e i mezzi tecnologici a disposizione, con Brainloop abbandoni forse momentaneamente l’ambito virtuale di Internet per concentrarti maggiormante su un discorso performativo. Cosa ti ha guidato quindi nell’ideazione di Brainloop?

Davide Grassi: Non so se sono piú conoscuto nel mondo del New Media Art o in qualche altro ambito dato che la natura del mio lavoro, oltre che intermediale, é veramente multidisciplinare. Tengo i piedi in piú scarpe, come si suol dire. Questo perché non riesco proprio a innamorarmi perdutamente di una sola forma di espressione, di un genere o di un media particolare. Preferisco un lavoro trasversale che mi porti in contatto con realtá sempre differenti piuttosto che ripetere all’infinito una stessa formula per quanto vincente possa essere. Nel corso degli anni, attraverso il mio lavoro artistico, mi sono confrontato direttamente con medici oncologi, gastroenterogi, oftalmologi, neurologi e neurofisiologi, con macroeconomisti, operatori di Borsa ed esperti di marketing, oltre che con hackers, programmatori, teorici, performers, musicisti, designer, registi e artisti vari. Ad ogni modo l’aspetto performativo é ricorrente in buona parte del mio lavoro, basti pensare a I Need Money to Be an Artist , Brainscore , Problemarket.com , SilentCell Network , Brainloop e RE:akt! , mentre l’utilizzo della Rete svolge spesso una funzione di sostegno, un complemento essenziale al lavoro.

Ritornando a Brainloop, direi che l’aspetto performativo era inevitabile, era insito a priori, dato che sin dall’inizio si intendeva sfruttare appieno la possibilitá offerta dal BCI di impartire comandi utilizzando la sola “forza del pensiero”. Dunque ci voleva un pensatore, un performer….

.

Marco Mancuso: Al contempo, in Brainloop mantieni presente un dialogo piuttosto serrato tra la componente reale e quella virtuale, tra gli elementi “live” e quelli “software”, grazie all’uso di Google Earth in primo luogo ma anche grazie a una generale atmosfera che fa del rapporto tra il performer e il pubblico una sorta di gioco a cavallo appunto tra il mondo reale, del qui e ora, tipico di una performance e la registrazione e ambientazione di paesaggi derivanti da una navigazione virtuale negli spazi della Rete. Senza in questo dimenticare che le stesse immagini catturate dal software di Google, sono ovviamente immagini satellitari e quindi reali. Insomma, questi continui rimandi tra “reale” e “virtuale” mi sembrano una delle chiavi realizzative più originali di un progetto di questo tipo…cosa ne pensi a tal proposito?

Davide Grassi: Certo, il dialogo tra gli elementi “live” e quelli “software” é molto stretto in questo lavoro, anzi direi inscindibilmente interconnesso. I continui rimandi tra “Reale” e “Virtuale” sono probablimente la conseguenza del fatto che non mi interessa investigare questi mondi in maniera separata. Mi interessa piuttosto il punto di intersezione di queste due realtá. Ció era del resto giá molto evidente in Braiscore dove il flusso di informazioni procedeva dallo spazio fisico della performance a quello virtuale (dai performers ai propri avatars) per poi tornare al pubblico (dagli avatars al pubblico). In questo senso gli avatar assumevano il ruolo di intermediari dell’informazione comportandosi come un “filtro virtuale” tra i performer e gli spettatori. Questi seguivano l’evolversi della performance in RV, proiettata in stereo su grande schermo, con l’ausilio di occhiali a lenti polarizzate che ne permettevano una percezione 3D. Cosí gli avatar apparivano, agli occhi degli spettatori, come presenze tridimensionali, quasi tangibili nello spazio fisico, tra i due performer contribuendo alla percezione di un interzona di coesistenza tra la realtá fisica e quella virtuale suggerendo inoltre una identificazione dell’operatore col proprio avatar molto effettiva.

 

Marco Mancuso: Come è nata la collaborazione con i professionisti che ti hanno aiutato alla realizzazione tecnica di Brainloop? Intendo dire, come ti sei confrontato con gli scienziati di Graz per l’interfaccia BCI, con un sound designer, con un performer e con un programmatore? Come hai acquisito le conoscenze neurologiche di base per coordinare un progetto di questo tipo?

Davide Grassi: Dopo aver assistito ad una dimostrazione pratica del BCI Graz chiesi appuntamento al Prof. Gert Pfurtscheller che allora era a capo del Laboratorio di interfacce cervello-computer di Graz. Durante l’incontro gli descrissi il progetto Braiscore che avevo realizzato qualche anno prima utilizzando un sistema di neurofeedback e ció che mi sarebbe piaciuto fare utilizzando il BCI Graz. Il Professore rimase entusiasta dell’idea ed accettó immediatamente la collaborazione che gli proposi. Mi diede subito moltissima letteratura (dalla quale é nato poi il sunto che si trova nella sezione research della pagina web del progetto) e mi mise in contatto con Reinhold Scherer che diventó poi il vero e proprio collaboratore del progetto Brainloop da parte del BCI-Lab. Le conoscenze neurologiche di base le avevo giá aquisite con il progetto Brainscore, ma la letteratura di Pfurtscheller e soprattutto le precisazioni verbali di Reinhold mi fornirono ulteriori importantissimi chiarimenti che mi guidarono nell’approfondimento del tema.

Con Brane Zorman, il sound designer, e con Suncica Hermansson, la programmatrice, avevo giá collaborato a svariati progetti in precedenza. Conoscevo bene le loro capacitá e ció che potevano offrire a questo progetto. Nelle primissime fasi di sviluppo organizzavo incontri separati con ciascun collaboratore sloveno e mi recavo da solo a Graz almeno una volta ogni due mesi per incontrare Reinhold e Seppo Gruendler, il coordinatore del VisionSpace, lo spazio che poi ospitó la performance. Quando il quadro finanziario si delineó piú chiaramente, permettendomi di stabilire con piú esattezza la scala in cui il progetto si poteva effettivamente realizzare, cominciai a organizzare riunioni di gruppo con spedizioni collettive a Graz a scadenze mensili. Con Markus Rapp, il performer, cominciammo a testare concretamente i risultati del nostro lavoro solo qualche mese prima della presentazione ufficiale in pubblico.

.

Imagen © Co-producción: cankarjev dom

Marco Mancuso: Molta attenzione è posta sulla spazializzazione del suono e delle immagini nell’ambiente performativo, argomento questo tra i più importanti e “caldi” nell’ambito delle moderne performance multimediali. Nella descrizione del progetto, si parla di immersività sensoriale tridimensionale del pubblico, ottenuta non solo attraverso le immagini ma anche mediante un’impianto 5.1 i cui suoni sono “manipolati” in tempo reale dal performer stesso mediante sempre l’interfaccia BCI, quindi senza movimenti fisici e senza “suonare” alcunchè. Quanto era importante per te questo aspetto o quanto è venuto quasi come una conseguenza del tutto?

Davide Grassi: In Brainloop l’aspetto che mi interessava maggiormente non era tanto l’immersivitá sensoriale quanto l’utilizzo di impulsi celebrali per la gestione controllata e volontaria di eventi in realtá virtuale. Ad ogni modo considerai sin dall’inizio anche l’importanza e l’impatto che la spazializzazione del suono e la percezione tridimensionale delle immagini potevano avere per la performance ma non ne feci una questione centrale per lo sviluppo del progetto. In effetti la questione della spazializzazione del suono fu addirittura ridimensionata rispetto a ció che doveva essere inizialmente. Infatti, in un primo momento, Brainloop si sarebbe dovuto performare nel CUBE, uno spazio che si trova all’interno dell’IEM (Istituto di Musica Elettronica di Graz), opportunamente allestito per la spazializzazione dei suoni attorno a tutti e tre gli assi, X, Y e Z. Poi, per svariati motivi, rinunciammo a questa opzione ripiegando su un semplice surround 5.1.

.

Marco Mancuso: In conclusione, tu in quanto artista con un progetto come Brainloop, finanziato da un’organismo come Aksioma, sei maggiormente interessato alla sperimentazione tra i linguaggi estetici audiovisivi, le tecnologie a disposizione, il design dell’interattività e gli strumenti realizzativi multimediali o sei più concentrato sul dare una direzione precisa alla tua forma artistica in modo tale che, come suddetta new media art, possa dialogare con il mondo dell’arte contemporanea, delle sue istituzioni e delle sue cattedrali? Essendo anche questo un tema d’attualità in molti festival internazionali, vorrei conoscere la tua opinione a riguardo…

Davide Grassi: Sono interessato ai due aspetti. Non credo che l’uno escluda l’altro. Mi sembra ovvio che in Brainloop l’aspetto della sperimentazione dei linguaggi estetici e delle tecnologie occupa un piano piú rilevante rispetto al tentativo di dialogo con il mondo dell’arte contemporanea. Ma non é sempre cosí nel mio lavoro perché non escludo a priori il dialogo con nessuno e credo sia importante incentivare i punti di contatto tra certe pratiche di sperimentazione ed il modo “ufficiale” dell’arte contemporanea, le sue istituzioni e le sue cattedrali, come del resto credo sia importante che il lavoro artistico non sia meramente autoreferenziale e riesca a mettersi in relazione, ad avere un rapporto di scambio effettivo, con i piú svariati diversi campi e le sfere piú diverse che compongono la societá contemporanea.


www.aksioma.org/brainloop/index.html 

SHARE ONShare on FacebookGoogle+Tweet about this on TwitterShare on LinkedIn