mgr Radosław Wesołowski
Politechnika Gdańska
radoslaw.wesolowski@pg.edu.pl
Podczas gdy świat zachłystuje się dyskusją o generatywnej sztucznej inteligencji, niemal niezauważalnie przemyka obok nas inna technologiczna rewolucja o intrygującej nazwie Rzeczywistość Mieszana (Mixed Reality, w skrócie MR). Chociaż ten temat przewinął się w mainstreamowych mediach, głównie za sprawą głośnej premiery gogli Apple Vision Pro na początku 2024 roku, to niestety dość szybko stał się też viralowym memem (rys. 1), ośmieszając nieco ideę Mixed Reality, zanim na dobre zagościła w wyobraźni potencjalnych użytkowników. Czy słusznie?
Rys. 1. Kadry z viralu, na którym mężczyzna w headsecie (goglach XR) „wyprowadza” na spacer psa robota ulicami Londynu, luty 2024 (Źródło: https://x.com/zacalsopp/status/1754208772480782741 [dostęp: 22.04.2025]).
Zanurzeni w kontinuum immersji i inne trudne słowa
Nim przejdę do rozważań nad Rzeczywistością Mieszaną, warto zauważyć, że na przestrzeni ostatnich 30 lat znaczenie tego terminu ulegało zmianom w zależności od przyjętej klasyfikacji (rys. 2).
Rys. 2. Spektrum immersji - klasyfikacja z 1994 roku (Opracowano na podstawie taksonomii stworzonej przez zespół badaczy: P. Milgram, F. Kishino).
Na potrzeby tego artykułu posłużę się terminem Rzeczywistość Mieszana w znaczeniu, które obecnie jest powszechnie akceptowane na rynku producentów sprzętu i oprogramowania tej kategorii, a co za tym idzie także przez konsumentów. Aby lepiej zrozumieć, czym jest Mixed Reality przełóżmy spektrum doświadczeń cyfrowych na oś (rys. 3).
Rys. 3. XR jako kategoria nadrzędna dla technologii AR, MR, VR. Wzrost immersji postępuje w prawym kierunku osi spektrum (Źródło: opracowanie własne).
Na jednym jej końcu znajduje się Rzeczywistość (Środowisko Rzeczywiste), a na drugim Środowisko Wirtualne, którego wszystkie elementy są wygenerowane cyfrowo. Pomiędzy umiejscowione są technologie zbiorczo określane skrótem XR (od angielskiego terminu Extended Reality, które w Polsce funkcjonuje jako dosłowne tłumaczenie Rzeczywistość Rozszerzona). W ramach terminu XR możemy wyróżnić dwie technologie, w których świat rzeczywisty w jakimś stopniu przenika się (nomen omen „miesza”) ze światem wirtualnym: Rzeczywistość Poszerzoną (AR, częściej określana jako „Rzeczywistość Rozszerzona”) oraz Rzeczywistość Mieszaną (MR).
O ile AR pozwala nam jedynie obserwować cyfrowe elementy „nałożone” na świat rzeczywisty (rys. 4) to MR idzie o krok dalej. W rzeczywistości mieszanej nie tylko widzimy wirtualne obiekty w naszym (realnym) otoczeniu, ale także możemy wchodzić z nimi w interakcję – przesuwać je, manipulować nimi, traktować jak rzeczywiste przedmioty. To właśnie ta możliwość interakcji zbliża MR do immersyjnego charakteru VR, jednocześnie pozwalając zachować kontakt z rzeczywistym światem (rys. 5).
Rys. 4. Typowy przykład Rzeczywistości Poszerzonej (AR) - cyfrowy model 3D (w tym wypadku rakiety) - generowany w czasie rzeczywistym i nałożony na obraz z kamery video smartfona (Źródło: opracowanie własne).
Rys. 5. Podstawowa różnica technologii immersyjnych opiera się na zróżnicowanym stopniu zanurzenia – od obserwacji (AR), przez możliwość interakcji (MR), po pełne zanurzenie w wygenerowanej rzeczywistości (VR) (Źródło: opracowanie własne).
Wybrakowana rzeczywistość czy może jednak „less is more”?
W tym miejscu naturalne wydaje się pytanie: skoro VR oferuje „pełne” zanurzenie w wirtualnym świecie, to po co nam technologia MR, która robi to tylko częściowo? Czy to nie jest technologiczny krok w tył? Przede wszystkim całkowite odcięcie od rzeczywistości, które oferuje VR, niesie ze sobą pewne wyzwania. Część użytkowników (w zależności od metodologii badania jest to od 5% do nawet 50%) doświadcza tzw. choroby symulatorowej (której objawy są bardzo zbliżone do choroby lokomocyjnej), co zawęża krąg osób zdolnych do swobodnego korzystania z VR w sytuacji, gdy symulowane jest dynamiczne manewrowanie w wirtualnej przestrzeni (np. jazda samochodem czy lot samolotem). Nie mniej istotna jest kwestia bezpieczeństwa – używanie VR powinno odbywać się w specjalnie przygotowanej przestrzeni wolnej od obiektów, o które można się uderzyć, najlepiej też pod nadzorem drugiej osoby. Nie bez znaczenia pozostaje także ekonomiczny aspekt tworzenia aplikacji VR, które wymagają modelowania całego (czyli zazwyczaj rozbudowanego) wirtualnego środowiska – od ścian pomieszczenia po często najdrobniejsze detale otoczenia. Niezależnie czy postawimy na prace graficzne realizowane od podstaw, czy na zakup gotowych assetów (gotowych graficznych prefabrykatów) – koszt przygotowania sceny VR zazwyczaj będzie wyższy niż w przypadku MR.
Rzeczywistość Mieszana oferuje inne podejście. Dzięki obrazowi z kamer i czujników zachowujemy kontakt wzrokowy z realnym światem (rys. 6), co w efekcie nie tylko ogranicza problemy z tzw. chorobą symulatorową, ale też pozwala bezpieczniej poruszać się w przestrzeni roboczej, dając większą swobodę i poczucie bezpieczeństwa użytkownikowi.
Rys. 6. Rzeczywistość Mieszana (MR) – dzięki technologii pass-through model 3D zostaje umieszczony na obrazie otoczenia zarejestrowanym przez kamery headsetu MR (Źródło: opracowanie własne).
Jednak prawdziwa siła MR leży w jej zdolności do mapowania przestrzeni. System nie tylko wyświetla obraz rzeczywistego otoczenia, ale także tworzy jego cyfrową reprezentację. Oznacza to, że wirtualne obiekty mogą wchodzić w fizycznie wiarygodne interakcje z realną przestrzenią – odbijać się od ścian, spadać ze stołów czy zatrzymywać się na rzeczywistych przeszkodach (rys. 7). Ta integracja świata realnego i wirtualnego otwiera zupełnie nowe możliwości dla użytkowników przenosząc np. cyfrowe symulacje do realnej przestrzeni.
Rys. 7. Obraz wirtualnej piłki nałożony na obraz realnej (i zeskanowanej w 3D) powierzchni, symulowana fizyka oddziaływań pomiędzy piłką, a zeskanowanym stołem tworzy iluzję jakoby wirtualny obiekt toczył się po stole (Źródło: opracowanie własne).
Na tym nie koniec, gdyż współczesne systemy MR potrafią precyzyjnie śledzić ruchy dłoni użytkownika i odtwarzać je w cyfrowym środowisku, eliminując w wielu przypadkach potrzebę stosowania dodatkowych kontrolerów (rys. 8). To znacząco zwiększa naturalność interakcji, bo możemy po prostu sięgać, chwytać i manipulować wirtualnymi obiektami tak, jak robimy to z rzeczywistymi przedmiotami. Zresztą dotyczy to również interfejsów aplikacji, które często można obsługiwać za pomocą gestów dłoni czy rąk, w sposób analogiczny do tego, jak robimy to choćby na ekranie smartfona.
Rys. 8. Rzeczywistość Mieszana (MR) – możliwość interakcji z modelem 3D za pomocą dłoni, której ruch jest śledzony bez żadnych dodatkowych kontrolerów jedynie za pomocą systemów rejestracji otoczenia wbudowanych w headset MR (Źródło: opracowanie własne).
Pod ciężarem innowacji
Czy zatem rzeczywistość mieszana to technologia pozbawiona wad? Dzisiejsze headsety MR to wciąż dość masywne urządzenia, szczególnie biorąc pod uwagę, że nosimy je na twarzy. Choć każda kolejna generacja przynosi postęp w miniaturyzacji, wciąż nie osiągnęliśmy etapu, w którym gogle umożliwiałyby wielogodzinne sesje bez poczucia zmęczenia. Przeciętna waga urządzeń VR/MR oscyluje wokół 500 gramów, co stanowi jeden z głównych czynników wpływających na obniżony komfort użytkowania.
Zanurzenie w zaawansowane graficznie światy wymaga znacznej mocy obliczeniowej, co przekłada się na szybkie nagrzewanie się urządzenia i rosnący poziom szumu generowanego przez wbudowane chłodzenie. Tu również ujawnia się kolejna słabość większości headsetów – ograniczona pojemność baterii. Równoczesna praca kamer, czujników, ekranów wysokiej rozdzielczości oraz procesora GPU renderującego sceny 3D potrafi wyczerpać akumulator nawet w ciągu godziny. To zdecydowanie za krótko!
Jakość obrazu oferowana przez ekrany schowane wewnątrz gogli potrafi zachwycić, patrząc na generowane obiekty trójwymiarowe, ale w odniesieniu do prezentowanego w goglach obrazu rzeczywistego otoczenia, dla którego punktem odniesienia jest ludzki wzrok, można poczuć niedosyt. Jakość obrazu w goglach pozwala bez problemu poruszać się i działać w otoczeniu, ale niekoniecznie jest wystarczająca do obserwacji detali typu tekst na ekranie komputera. W tym aspekcie nadal potrzebny jest rozwój.
Przyszłość będzie mieszana!
Mam nadzieję, że udało mi się choć trochę odczarować memiczny wizerunek Mixed Reality, który prawdopodobnie funkcjonował w świadomości części czytelników oraz zainteresować nowymi możliwościami dostępnymi już teraz. Osobiście uważam, że MR odniesie większy sukces niż VR – pozostający rozwiązaniem niszowym mimo kolejnych lat obecności na rynku elektroniki użytkowej. Większa elastyczność wpisana w istotę środowiska Rzeczywistości Mieszanej w połączeniu z faktem, że jest to też rozwiązanie tańsze we wdrożeniu i mniej kłopotliwe w użytkowaniu (przypomnę choćby wspomniany aspekt bezpieczeństwa) w mojej ocenie pozwoli upowszechnić tę technologię i zaadaptować na potrzeby branży, które do tej pory podchodziły do VR bez jakiegoś większego entuzjazmu – jak choćby edukacja akademicka.