Problema # 3: Incorporamento realistico degli oggetti AR nell'ambiente urbano

In assenza di sensori che individuano lo spazio di fronte a loro, i moderni dispositivi non sono in grado di determinare la geometria dello spazio circostante, in poche parole il dispositivo non può individuare gli oggetti della realtà aumentata che sono posizionati oltre gli oggetti reali. Oppure, al contrario, nasconderli nel caso in cui gli oggetti della AR sono dietro gli edifici che si trovano di fronte allo spettatore ovvero al dispositivo. La risoluzione di questo problema dipende, quindi, direttamente dalla risoluzione dei primi due problemi.

La possibilità di determinare con precisione la posizione del dispositivo e la direzione della sua visione in qualsiasi punto nel tempo permette di scaricare le informazioni sugli edifici che lo circondano nel mondo virtuale, e utilizzare i dati sulla loro geometria per la sovrapposizione corretta e quindi i rendering degli oggetti di realtà aumentata all’interno del mondo reale.