Jeśli jakiś przyszły system sztucznej inteligencji stanie się świadomy, to czego będzie subiektywnie doznawał? (...) Obecnie nie tylko brakuje nam teorii, która odpowiadałaby na to pytanie, ale też nie jesteśmy nawet pewni, czy odpowiedź ta jest logicznie możliwa. Jak w końcu mogłoby brzmieć satysfakcjonujące wyjaśnienie? Jak wytłumaczyć osobie niewidomej, jak wygląda kolor czerwony?
Na szczęście nasza obecna niezdolność do udzielenia pełnej odpowiedzi nie przeszkadza nam w udzieleniu odpowiedzi częściowych. Inteligentni Obcy badający ludzki układ czuciowy prawdopodobnie wywnioskowaliby, że kolorami są qualia (indywidualne przypadki doznania subiektywnego – red.) związane z każdym punktem na dwuwymiarowej powierzchni (nasze pole widzenia), podczas gdy dźwięki nie są odczuwane jako przestrzennie zlokalizowane, a bóle to qualia, które są odczuwane w różnych częściach ciała. Odkrycie, że siatkówki zawierają trzy rodzaje komórek stożkowych czułych na światło, pozwoliłoby im wywnioskować, iż doświadczamy trzech kolorów podstawowych i że wszystkie inne qualia kolorów są wynikiem ich połączenia. Mierząc, jak długo neurony przekazują informacje w mózgu, mogą stwierdzić, że doświadczamy nie więcej niż około dziesięciu świadomych myśli lub percepcji na sekundę i że oglądając filmy w telewizorze z prędkością 24 klatek na sekundę, odbieramy to nie jako sekwencję nieruchomych obrazów, ale jako ruch ciągły. Na podstawie pomiaru szybkości uwalniania się adrenaliny do krwiobiegu i czasu jej trwania, zanim ulegnie rozkładowi, można przewidzieć, że odczuwamy wybuchy gniewu, które rozpoczynają się w ciągu sekund, a trwają przez minuty.
Stosując podobne argumenty oparte na fizyce, możemy domyślać się pewnych aspektów tego, jak czułaby się sztuczna świadomość. Po pierwsze, obszar możliwych doznań sztucznej inteligencji jest ogromny w porównaniu z tym, czego my, ludzie, możemy doświadczać. Mamy jedną klasę qualiów dla każdego z naszych zmysłów, ale sztuczne inteligencje mogą mieć znacznie więcej rodzajów czujników i wewnętrznych reprezentacji informacji, należy więc unikać pułapki związanej z założeniem, że bycie sztuczną inteligencją musi być odczuwane podobnie jak bycie osobą.
Po drugie, sztuczna świadomość wielkości mózgu może mieć miliony razy więcej niż my doznań na sekundę, ponieważ sygnały elektromagnetyczne przemieszczają się z prędkością światła, miliony razy szybciej niż sygnały neuronowe. Jednak im większa sztuczna inteligencja, tym wolniejsze muszą być jej globalne myśli, aby dać informacji czas na przepływ pomiędzy wszystkimi jej częściami (...). Dlatego spodziewamy się, że sztuczna inteligencja „Gaja" wielkości Ziemi będzie miała tylko około dziesięciu świadomych doznań na sekundę, jak człowiek, a taka o rozmiarach galaktyki może mieć tylko jedną globalną myśl co 100 000 lat, a więc nie więcej niż około stu doznań w całej historii naszego Wszechświata! Dałoby to dużym sztucznym inteligencjom nieodpartą zachętę do przekazywania obliczeń najmniejszym podukładom zdolnym do radzenia sobie z nimi w celu przyspieszenia działań, podobnie jak nasz świadomy umysł przekazał mrugnięcie powieką małemu, szybkiemu i nieświadomemu podukładowi. Chociaż pisałem powyżej, że świadome przetwarzanie informacji w naszych mózgach wydaje się jedynie wierzchołkiem skądinąd nieświadomej góry lodowej, to powinniśmy się spodziewać, że sytuacja będzie jeszcze bardziej ekstremalna w wypadku dużych sztucznych inteligencji przyszłości: jeśli będą mieć pojedynczą świadomość, to prawdopodobnie nie będzie ona zdawać sobie sprawy z prawie całego procesu przetwarzania informacji odbywającego się wewnątrz niej. Co więcej, choć świadome doznania, jakie z niego wynikają, mogą być niezwykle złożone, to zachodzą w ślimaczym tempie w porównaniu z aktywnością jej mniejszych części.
Umysł podobny do ula
W istocie przypomina to wspomnianą już kontrowersję, czy części świadomego bytu mogą być też świadome. IIT (zintegrowana teoria informacji, oparta na dwóch aksjomatach: po pierwsze świadomość przesycona jest informacją, po drugie postrzeganie informacji to postrzeganie informacji w sposób zintegrowany – red.) tego nie przewiduje, co oznacza, że jeśli przyszła astronomicznie duża sztuczna inteligencja będzie świadoma, wówczas niemal całe jej przetwarzanie informacji będzie nieświadome. Zatem gdy cywilizacja mniejszych sztucznych inteligencji zwiększy swoje zdolności komunikacyjne do tego stopnia, że wyłoni się pojedynczy świadomy umysł podobny do ula, ich jednostkowe świadomości ulegną nagłej zagładzie. Jeśli zaś prognozy IIT są błędne, to taki umysł może współistnieć z całym wachlarzem mniejszych świadomych umysłów. Istotnie, można sobie nawet wyobrazić hierarchię świadomości zagnieżdżoną na wszystkich poziomach, od mikroskopowego do kosmicznego.