La RAI e la Realtà Aumentata, ne parla Davide Meda

Realtà aumentata (Augmented Reality) e intelligenza artificiale (Artificial Intelligence) sono concetti entrati nel lessico e nella prassi delle produzioni televisive negli ultimi anni. Uno sviluppo tecnologico che ha trovato una formidabile accelerazione in tempi di pandemia e di forzato rispetto del distanziamento tra le persone.

Una volta c’era solo lo statico chroma-key per catapultare i soggetti su uno sfondo virtuale, ma l’immagine dello sfondo non poteva interagire con il soggetto inquadrato in primo piano. Ora nella Realtà Aumentata lo ‘sfondo’ si adatta alle variazioni della prospettiva di ripresa delle telecamere, i background a loro volta si modificano in armonia con il soggetto principale, creando una sensazione di  coinvolgimento. In altre parole le immagini virtuali si “fondono” con le riprese delle telecamere. Questo è reso possibile soprattutto da una serie di marker installati sul set di ripresa. Vengono riconosciuti dal software che elabora le immagini della telecamera e fanno agire di conseguenza in simbiosi le prospettive di soggetto inquadrato e sfondo virtuale. Con un diverso approccio tecnologico il risultato può essere ottenuto rilevando i movimenti delle telecamere con una serie di encoder piazzati sulle camere stesse permettendo analogamente di armonizzare le riprese con gli inserimenti virtuali.  I software che fanno ‘vivere’ la Realtà Aumentata sono ancora più sorprendenti se utilizzano anche applicazioni di intelligenza artificiale, ad esempio per il riconoscimento di immagini e facce. Lo vediamo in alcune riprese sportive: non appena il software riconosce una persona sono disponibili in regia le informazioni e le schede del personaggio inquadrato che possono andare ad arricchire la grafica delle riprese.

Soluzioni che aprano una serie di molteplici possibilità di utilizzo per il regista e ne esaltano la capacità creativa.

Ne parliamo con Davide Meda che in RAI si occupa di Realtà Aumentata e con la sua squadra ha sviluppato soluzioni ad effetto con scenografie virtuali di grande impatto.

Le parole prendono vita

“Nella trasmissione  Le parole della settimana su RAI 3, dove l’obiettivo era mantenere il focus della conversazione tra gli ospiti e il conduttore del talk sulla parola di cui si discute è stato scelto un modo accattivante e non invasivo come sarebbe stato un cartello fisso, sfruttando la grafica 3d .  – afferma Meda – Con la parola di cui si discute sempre presente in scena e altri arricchimenti scenografici virtuali. Ci sono tre telecamere in realtà aumentata, un braccio telescopico che dall’alto fornisce delle riprese che navigano all’interno della scena con effetto spettacolare, oltre a due camere a livello del pavimento che forniscono due prospettive diverse.

Il ciclista intervistato viene teletrasportato all’interno del set virtuale

Altro esempio è il set virtuale delle interviste al Giro d’Italia con gli atleti che non potevano intervenire in studio perchè tutto il ‘circo’ del giro doveva vivere “in una bolla” a causa del Covid. Quindi si è scelto di teletrasportare virtualmente i corridori intervistati all’interno dello studio.

Continua Davide Meda: “Sono perito elettronico e ho fatto la Scuola di Cinema di Milano, specializzandomi come tecnico audiovideo – prosegue Davide – ma la mia passione per la computer grafica risale agli anni in cui si utilizzava il computer Amiga”.

“Una volta in RAI nel 2004-2005 ha iniziato a lavorare per lo studio virtuale, dove ho acquisito le competenze legate alla creazione di scene virtuali tridimensionali e dei relativi sistemi di tracking per far sì che le immagini riprese dalle telecamere reali coincidano come prospettiva con gli elementi del virtual set. Dopo una decina d’anni di lavoro sul virtual set, nel 2015 ha realizzato una demo per uso interno per dimostrare le possibilità della realtà aumentata anche al di fuori del set virtuale. Una semplice ripresa in un corridoio della RAI nella quale aveva inserito elementi virtuali. L’idea è piaciuta molto e l’azienda ha con lungimiranza deciso di investire sulle realizzazioni in realtà aumentata.”

Davide –  “A distanza di meno di un anno dalla mia demo è arrivata una grossa produzione: “The Voice of Italy. E’ andata molto bene perché inizialmente la richiesta della produzione era di fare quattro scenari di realtà aumentata sulla base delle finali quindi per quattro concorrenti , in realtà eravamo pronti prima e abbiamo iniziato a fare degli inserti anche durante le semifinali. Alla fine sono state più di 20 realizzazioni di performance durante il programma.

Tutto live

“C’erano due telecamere con realtà aumentata. C’era un braccio di 8 metri e una telecamera sul cavalletto che dava un altro punto di vista perché giustamente la realtà aumentata si vedeva solo su queste due telecamere e il regista aveva bisogno di poterla sfruttare un po’ di più che non da un solo punto di vista”.

Tecnicamente era organizzato con una workstation per ognuna delle due camere utilizzate. In questo modo l’operatore e anche  il regista avevano la possibilità di vedere sempre la resa finita, completa di realtà aumentata. Con altri sistemi nel passato, quando la tecnologia costava molto, bisognava condividere le risorse ed era necessario utilizzare una sola workstation che elaborava il segnale di più telecamere costringendo il regista a vedere l’effetto finale della scena solo per la camera che era abbinata alla workstation in quel momento.

“In un live questo rischia di non funzionare in maniera snella, – continua Davide – può rappresentare più un ostacolo che un aiuto.  Col passare degli anni la tecnologia si è abbassata di costo è ci ha permesso di lavorare one camera/one station”.

“Subito dopo the Voice ci sono state le Olimpiadi Rio de Janeiro 2016 e lì abbiamo utilizzato per la prima volta la realtà aumentata su situazioni remote. La sfida è stata quella di sensorizzare due telecamere, una era alla cosiddetta Platform allo stadio dell’atletica e un’altra era alla piscina del nuoto, a circa 10-15 km di distanza rispetto all’International Broadcast Center dove c’era tutta la parte impiantistica e hardware. I dati sono stati trasferiti tramite IP.  Con il segnale di queste telecamere, quelle che la Rai utilizza per personalizzare l’evento, abbiamo realizzato degli inserti di realtà aumentata, sensorizzandole opportunamente. Ad esempio nel nuoto segnalavano le corsie degli italiani, mentre nell’atletica abbiamo fatto degli inserti di alleggerimento (tipo segnalare il meteo con dei simboli), ma anche la visualizzazione grafica degli spazi all’interno dello stadio dove si svolgevano le gare delle varie discipline.

Anche per le prossime Olimpiadi di Tokyo stiamo studiando una soluzione analoga.  Oltre al nuoto e all’atletica organizzeremo un piccolo studio e altri inserti. La tendenza è ormai questa: arricchire i contenuti delle riprese con una serie di informazione a video presentate in modo accattivante. La realtà aumentata è un nuovo linguaggio televisivo, efficace e legato a doppio filo alle immagini riprese dalle telecamere”.

Realtà Aumentata, la ciliegina sulla torta

Altra realizzazione importante  della squadra Realtà Aumentata di Rai  è Sanremo Giovani nel 2017. Ancora una volta tutto live con due bracci telescopici Tecnocrane e una camera sul cavalletto, più tutto il sistema Televoto. Un lavoro veramente impegnativo perchè concentrato in un’unica serata live con tutte le performance degli artisti, oltre al televoto.

Tra le ulteriori realizzazioni interessanti l’anno scorso ci sono state le cerimonie della Mostra del Cinema di Venezia, che verrà realizzata anche per quest’anno, e poi due edizioni della Partita del Cuore.

Insomma la Realtà Aumentata lavora molto sui grandi eventi “Perchè – dice Davide Meda – secondo me rappresenta proprio la ciliegina sulla torta che arricchisce di contenuti visivi una produzione”.

Merita una menzione anche la Prima della Scala dell’anno scorso. In questo caso Davide Meda era supervisore collaborando con una società esterna che lavorava già sulle grafiche del LED Wall e già  generava in quel occasione realtà aumentata, la Rai però ha messo in piedi tutto il sistema di ripresa, il sistema di tracking delle tre camere e quindi ha dato poi il segnale di tracking alle workstation della società di produzione che hanno prodotto il risultato finito. “In questo caso un lavoro non completamente live, perchè con il problema del Covid e quindi senza il pubblico i vari inserti sono stati registrati in settimana e poi mixati nello spettacolo finale”.

“L’esperienza e la specializzazione della RAI resta produrre live. Su questo la Rai ha un’esperienza che altri non hanno: lavorare live e lavorare registrati ovviamente sono sono due situazioni completamente diverse, non si può rifare nel live una scena che non è riuscita bene e quindi il lavoro  è molto più complesso.”

Tecnologie sempre in evoluzione

Viene in aiuto l’evoluzione della tecnologia: i motori di rendering sono sempre più potenti e si sta passando dell’OpenGL alla UnrealEngine che permette di sfruttare tutte le possibilità di elaborazione delle immagini in tempo reale che fino ad ora erano limitate dai tempi di rendering.

Davide Meda: “La direzione è quella di abbandonare l’Open GL che comunque si usa ancora tantissimo perché è molto solido e collaudato e dà la possibilità di lavorare veramente in tempo reale anche sulla modifica delle geometrie e delle texture cosa che invece la Unreal ancora non permette. Un testo, un dato statistico, un grafico che deve generarsi in tempo reale richiede ancora un’interfaccia un po’ complessa che non si può collegare come è possibile al momento fare ad esempio con Brainstorm che possiede un software di utilizzo e un’interfaccia votata al broadcast. Nasce  come uno strumento progettato per i tempi del broadcast, quindi pensato per il live. L’Unreal nasce per soddisfare altre esigenze, soprattutto il gaming, e quindi certe operazioni necessarie nel broadcast live possono essere realizzate attualmente soltanto seguendo vie un po’ tortuose. Servono ancora degli sviluppi nella Unreal che vadano in sintonia con le esigenze del mondo broadcast.

Workstation Brainstorm

Per quanto riguarda i sistemi di tracking ci sono state tante evoluzioni partendo dal virtuale tuttora utilizzato negli studi Rai di Milano, anzi qui ho messo in piedi una Render Farm che permette di condividere le risorse utilizzate per la realtà aumentata. Ad esempio per la Domenica Sportiva ci sono due telecamere e un braccio sensorizzati negli studi di Corso Sempione collegati in remoto con la Render Farm attrezzata con le workstation Brainstorm (ndr distribuite da For.A) che generano la grafica virtuale e producono il compositing finale in realtà aumentata. Le stesse workstation sono cablate con lo studio virtuale di Milano. Una condivisione di risorse creata non tanto per ragioni economiche ma proprio per ottimizzare le modalità operative. In questo modo ci consente di lavorare in maniera indipendente sui progetti senza essere vincolati a un determinato studio. La Render Farm vive di vita propria e quando deve andare in onda viene collegata allo studio virtuale piuttosto che a quello della Domenica Sportiva o ad altri studi secondo le necessità.”

Tracking ottico o meccanico

Per tornare al discorso del tracking , nel Virtual Set Rai c’è un sistema ottico per quanto riguarda la posizione della telecamera e anche il suo orientamento di pan tilt, mentre per zoom e focus ci sono degli encoder meccanici. I sistema ottici danno una gran libertà di movimento rispetto ai meccanici, però risentono molto dei fattori esterni. Se ci sono impallamenti o delle luci potrebbero non essere precisi oppure perdere dei riferimenti.

In uno studio virtuale la situazione è abbastanza statica quindi una volta installato si continua alavorare con questo sistema. In situazioni estemporanee di eventi, magari outdoor i sistemi ottici al momento non sono spesso la soluzione migliore perché richiedono dei marker che vanno posizionati o sul soffitto o sul pavimento oppure bisogna inventarsi delle cose che possono essere delle reti con dei piccoli marker. Sono situazioni un po’ precarie.

“Io prediligo al momento sistemi meccanici quando facciamo le installazioni che sono al di fuori dei perimetri aziendali, ma anche nelle Parole della Settimana c’è un sistema meccanico, ovvero  una serie di encoder rotativi che intercettano i movimenti della telecamera, quindi su un braccio c’è l’ encoder del pan e tilt del braccio stesso, sulla testa pan e tilt e poi sull’ottica zoom e focus. In totale su un braccio ci sono 6 encoder che vengono mandati in un box che fa il calcolo trigonometrico per ottenere la posizione precisa della camera. Bisogna settare bene tutte le componenti ma alla fine questi sistemi meccanici sono molto affidabili e robusti”.

Infine la realtà aumentata è approdata recentemente anche al TG1, per ora solo nei cosiddetti ‘lanci’ del preserale, ma l’intento è quello di adottarla anche durante il telegiornale. “E’ un lavoro molto complesso, soprattutto dal punto di vista operativo perchè il tg è in onda 365 all’anno e le squadre che gestirebbero la Realtà Aumentata sarebbero tante e nel caso andranno addestrate tutte in modo appropriato”.