W jaki sposób przekazać człowiekowi informacje o tym, czy wyświetlana rzecz jest ciężka? Albo ile siły wymaga jej przesunięcie? Specjaliści z laboratoriów Microsoftu wpadli na prosty pomysł dający złudzenie rzeczywistego obcowania z wirtualnymi przedmiotami.
Pierwszym krokiem było stworzenie oprogramowania wyświetlającego trójwymiarowy obraz na ekranie LCD — tak jak w nowoczesnych telewizorach. Ekran jest dotykowy — reaguje na naciśnięcie palcem (jak w smartfonach). Drugim — umieszczenie ekranu na zrobotyzowanym ramieniu, którego ruchami steruje komputer.
Gdy człowiek naciska palcem obiekt na ekranie, komputer kontroluje w jakim stopniu ekran na ramieniu poddaje się naciskowi. Regulując ten parametr i odpowiednio zmieniając wyświetlany obraz można „oszukać" człowieka, że popycha przedmiot. Cała trudność polegała na odpowiednim dobraniu siły, z jaką działa ramię (tzw. force feedback) przy jednoczesnym dopasowaniu trójwymiarowego obrazu.
W demonstracyjnym filmie Michel Pahud z Microsoft Research popycha palcem wyświetlane na ekranie kostki z różnych materiałów. Ta „kamienna" wymaga użycia większej siły nacisku na ekran. Drewniana kostka jest lżejsza i wymaga mniejszego nacisku na ekran, za to gąbka toczy się przy minimalnym wysiłku użytkownika systemu.
Specjaliści Microsoft poszli jeszcze krok dalej i wypróbowali dotykowy system „bezwzrokowo". Ochotnikom zawiązano oczy i poproszono o rozpoznawanie wyświetlanych kształtów wyłącznie na podstawie dotyku. — Byłem zaskoczony, że poszło tak dobrze. Byli nawet tacy, którzy rozpoznali 100 proc. wyświetlanych na ekranie przedmiotów — mówi Mike Sinclair, inżynier pracujący nad tym urządzeniem.
