Virtualna resničnost se uporablja vsak dan na številnih področjih, od fizikalne terapije do zabave. Ne glede na prednosti tega, kar bi tehnologija nekega dne lahko dosegla, bo treba upoštevati tudi slabosti virtualne resničnosti. Nekateri vidiki, kot je tehnologija, ki se uporablja, predstavljajo velike težave razvijalcem in povzročajo omejitve pri poskusih široke uporabe in distribucije. Drugi pomisleki se nanašajo na implementacijo programske opreme navideznih okolij in meje tega, kaj je mogoče in česar ni mogoče doseči. Nenazadnje obstajajo pomisleki glede družbenega vpliva, ki ga lahko imajo potopljena okolja na ljudi, kot tudi psiholoških učinkov dolgotrajne uporabe.
Ena največjih pomanjkljivosti navidezne resničnosti je, da je tehnologija, potrebna za poglobljeno ali naravno izkušnjo, ostala nedosegljiva. Haptični sistemi, ki zagotavljajo fizično povratno informacijo ali omogočajo popolnoma artikulirano prisotnost v okolju, so okorni in lahko povzročijo težave med uporabo. Vrsta strojne opreme, ki jo uporabljajo celo preprosti zasloni, nameščeni na glavo, lahko prekine občutek potopljenosti, saj je treba napravo prilagoditi, komponente, kot so žice in slušalke, pa se spremenijo v ovire za naravno gibanje.
Tudi najosnovnejša strojna in programska oprema za navidezno resničnost poudarja še eno od slabosti navidezne resničnosti, in sicer stroške. Vsak sistem, ki poskuša zagotoviti poglobljeno izkušnjo, zahteva nekakšen prikaz, ki bo poskušal preslepiti človeške čute. Ti sistemi so zelo dragi in so lahko problematični za uporabo, predvsem zato, ker ima tako malo ljudi tehnično znanje za njihovo popravilo ali vzdrževanje. Poleg tega večina sistemov navidezne resničnosti ni zlahka zamenljiva z različno strojno opremo, kar povečuje stroške in zmanjšuje dolgoročno vrednost začetne naložbe v tak sistem.
V družbenem smislu so se nekatere slabosti uporabe virtualne resničnosti kot zabave že začele pojavljati, tudi brez izkušenj, ki človeka popolnoma odstranijo iz okoliških dražljajev. Ena od težav je socialna izolacija, pri kateri se uporabnik virtualne resničnosti bolj zanaša na interakcije, ki potekajo v virtualnem svetu, kot na izkušnje v resničnem svetu. To pomanjkanje resnične, fizične interakcije lahko ustvari napačne povezave, ki niso del resničnega družbenega okolja. Izolacija lahko sčasoma povzroči depresijo, disociacijo in druga stanja, če je dovolj huda.
Druga možna psihološka in socialna pomanjkljivost navidezne resničnosti je desenzibilizacija. Če bi nekateri uporabniki navidezno resničnost veliko uporabljali za zabavo, bi lahko tvegali, da ne bodo prepoznali resničnih posledic za dejanja, v katerih sodelujejo ali jih gledajo. Če se prevede v resnični svet, bi to lahko v skrajnem primeru povzročilo nerazumevanje učinkov nekaterih dejanj, ko se izvajajo zunaj virtualnega okolja.