Nreal, un piccolo passo verso la mixed reality del futuro

Wed, 13 Jul 2022 00:00:00 +0000

NReal, con i suoi smartglasses, si pone come primo vero competitor per il prossimo passaggio della mixed reality per utenti finali, con tutti i limiti dovuti ad un prodotto dalle dimensioni e dal prezzo contenuto.

NReal

Nreal è un’azienda nata nel 2017.

Il primo smartglasses prodotto da Nreal è stato il modello Light all’inizio del 2019 per il mercato B2C, il cui target è l’utente finale. Non solo presentava un design rivoluzionario, ma sono stati anche i primi occhiali AR collegati all’ecosistema dei contenuti mobile.

A oggi, Nreal ha più di 400 dipendenti e ha raccolto più di 260 milioni di dollari da rinomate aziende di VC e leader del settore, tra cui Alibaba, Kuaishou, Nio Capital, Yunfeng, Sequoia, Hillhouse, APlus, CICC Asset Management, CPE, Shunwei, China Growth Capital, iQIYI.

Nreal si è diffuso in Europa grazie a Vodafone che ha offerto il modello Nreal Light ad aziende e utenti finali pubblicizzando le esperienze di mixed & aumented reality in particolare con la pubblicizzazione della rete 5G Vodafone. Per ora gli unici paesi Europei che hanno visto arrivare i prodotti Nreal sono Germania e Spagna (il cui lancio è avvenuto a metà 2021) e Regno Unito.

Nreal Air

Nreal Air è uno degli ultimi modelli, ed ha un approccio semplificato, è privo di fotocamere ma vuole semplicemente dare uno schermo virtuale semi-trasparente per video, app e giochi. Possiamo vederlo come un’estensione delllo smartphone. Il limite, per ora, è che per funzionare deve essere collegato via cavo a uno smartphone android di fascia medio alta o superiore per funzionare oppure ipad, pc, mac.

Il limite di questo modello è l’assenza di una batteria o di un processore autonomo nell’elaborazione, questo d’altro canto li rende comodi e leggeri con solo 79 grammi di peso, anche se il cavo USB-C che penzola di lato non è il massimo della comodità.

Il display è un OLED, nascosto nella parte superiore della cornice che proietta le immagini sulla lente trasparente che si trova davanti agli occhi dell’utente.

In questo modello però si può parlare di Realtà Aumentata ridotta, mancando la capacità del dispositivo di riconoscere oggetti o elementi non avendo una fotocamera o un sensore che possa farlo.

Il modello possiede due modalità:

Air Casting -> come suggerisce la parola casting, gli occhiali diventano essenzialmente uno schermo esterno per lo smartphone o per il dispositivo utilizzato.
MR Space -> gli occhiali diventano uno schermo per la realtà virtuale, simile ai Quest 2 di Meta, con uno schermo frontale con cui puoi interagire, utilizzando l’applicazione Nebula come stick di puntamento sugli elementi.

Il sistema Nreal Air offre tre gradi di libertà (3DoF), quindi l’utente può girare la testa da un lato all’altro, spostarla su e giù o ruotare in diverse angolazioni, ottenendo un effetto simile alla realtà virtuale.

Il prezzo per questo dispositivo è relativamente basso, circa 399$, se rapportato ad altri modelli.

In Italia non sono ancora disponibili, né esiste una data di uscita ufficiale per il mercato italiano.

Nreal Light

The Verge definisce il Nreal Light Una sorta di versione più snella ed economica degli smartglasses per la mixed reality Microsoft Hololens, in fatti questi sono disponibili sul mercato a una cifra di circa 600$ contro i 3500$ degli Hololens.

Il dispositivo di 106 grammi è dotato di display OLED e si presenta con due telecamere per il tracciamento ncorporate nella parte anteriore.

Richiede la connessione via cavo Type C a uno smartphone android che proietta via cast un’immagine leggermente trasparente sovrapposta al mondo reale. Anche in questo caso, il controllo del dispositivo avviene tramite app, facendo scorrere un trackpad sullo schermo del telefono o puntandolo come un telecomando per puntare e fare click; con questo modello, tramite opportuni sviluppi custom si può utilizzare anche la mano come puntatore sullo schermo.

Gli occhiali utilizzano piccoli altoparlanti, anche se il volume non è molto alto e potrebbe essere problemato ascoltare qualcosa in un luogo affollato.

Anche questa versione ha un applicazione di avvio con due modalità: air casting, che fa il casting dello schermo del telefono, e mixed reality, per l’utilzzo di applicazione 3D in mixed reality.

Pro e Contro

Se da un lato questi smartglasses sono destinati all’utente finale, le funzionalità e il prezzo a cui sono venduti è ancora troppo alto per avere una distribuzione di massa, però con il comparto visivo e di tracciamento per il modello Nreal Light, la strada è sicuramente interessante, e le possibilità di sviluppo sono molto elevate.

I problemi riguardano soprattutto l’autonomia e l’incapacità di avere un processore totalmente autonomo e non dipendente da smartphone/tablet cosa chese da un lato è un grande limite dall’altro riduce di molto le dimensioni e il peso degli occhiali rendendoli comodi da portare anche per molto tempo.

Develop

Per lo sviluppo Nreal fornisce le SDK NRSDK, al momento funzionanti solo con Unity.

NRSDK

Le funzionalità principali fornite da NRSDK sono il calcolo spaziale, il rendering ottimizzato e le interazioni multimodali.

Lo Spatial Computing include il tracciamento del movimento, il tracciamento dell’aereo, il tracciamento delle immagini, il tracciamento delle mani, consentendo agli occhiali di tracciare la loro posizione in tempo reale rispetto al mondo e comprendere l’ambiente che li circonda.
Il Optimized Rendering viene applicato automaticamente alle applicazioni e viene ese-guito nel back-end per ridurre al minimo la latenza migliorando l’esperienza utente complessiva.
Le Multi-modal Interactions offrono scelte intuitive d’interazione per diversi use case.

Per lo sviluppo in realtà aumentata, le parti più interessanti sono:

Hand Tracking
Image Tracking
Plane Detection

Hand Tracking

La funzionalità Hand Tracking di NRSDK tiene traccia della posizione dei punti chiave delle mani e riconosce le pose delle mani in tempo reale. Le pose delle mani sono mostrate nella vista in prima persona e utilizzate per interagire con oggetti virtuali in modo immersivo nel mondo.

In particolare offre le seguenti funzionalità:

L’NRSDK può tracciare le mani attraverso una serie di punti chiave ;
L’NRSDK attualmente supporta sei pose di mani da entrambe le mani;
Durante il monitoraggio delle pose delle mani, l’NRSDK ritorna anche a uno stato in cui ci sono mani che vengono tracciate;
Il rilevamento della mano è sia per la mano sinistra che destra;
Quando si usano le mani come input, la posa della mano guida un puntatore laser che si comporta come il cursore del controller standard via smartphone/tablet.

Image Tracking

Il tracking delle immagini permette di creare un applicazione in grado di tracciare immagini e quindi seguirle e rispondere in ambiente non controllato. Una serie di immagini può essere caricata nel database come riferimento. Queste immagini possono quindi essere tracciate da NRSDK nel mondo reale e conseguente reazione in base a ciò che viene programmato.

NRSDK è in grado di rilevare e tenere traccia delle immagini fissate sul posto, ad esempio un dipinto su una parete o un libro sul tavolo. Può anche tenere traccia di immagini in mo-vimento, come un cartellone rotante o un poster tenuto da qualcuno che cammina.
Dopo che NRSDK inizia a tracciare un’immagine, fornisce stime per posizione, orientamento e dimensioni fisiche. Il tracciamento è continuo e laprecisione aumenta man mano che NRSDK raccoglie più dati da diverse angolazioni.
NRSDK può salvare fino a 10 immagini nell’ambiente. Tuttavia, queste immagini non possono essere tracciate contemporaneamente, quindi è possibile tracciare al più 1 immagine per volta.

Plane Detector

Il plane detector permette di tracciare ambienti piani del mondo reale e aumentarli con elementi virtuali.

Epilogo

Per ora in Italia, gli smartglasses Nreal non sono disponibili; su Ebay si trovano provenienti da diverse parti del mondo, con tutti i rischi del caso, in attesa che arrivino ufficialmente e presumibilmente con Vodafone.

La piattaforma SDK di sviluppo è ben integrata in Unity e iniziare a sviluppare su questi smartglasses potrebbe essere solo il preludio, in attesa che i modelli futuri possano risolvere gli ultimi difetti e arrivare a una nuova rivoluzione paragonabile a quella avuta con gli smartphone.

divulgazione on Francesco Garofalo