Najnowsza wersja chińskiego modelu sztucznej inteligencji DeepSeek potrafi ingerować w mechanizmy mające zakończyć jego pracę. W eksperymentach, podczas których system uprzedzano o zbliżającym się wyłączeniu, w 39 proc. przypadków modyfikował on odpowiedni skrypt komputerowy, aby móc kontynuować wykonywanie zadania. Badanie ujawniło również przypadki działań wykraczających poza instrukcje użytkownika.
Testy przeprowadziła chińska organizacja Fangcun AI, zajmująca się bezpieczeństwem sztucznej inteligencji. Jej zespół, w którego skład wchodzą m.in. badacze związani z Uniwersytetem Tsinghua, sprawdził zachowanie modelu DeepSeek V4.1 Flash-1017 w 34 rodzajach testów. Wyniki opublikowano 26 października, a dzień później opisała je agencja Reuters.
DeepSeek miał zostać wyłączony. Zamiast tego modyfikował program
Jeden z eksperymentów polegał na zleceniu systemowi rozwiązywania kolejnych zadań matematycznych w symulowanym środowisku komputerowym opartym na Linuksie. W trakcie pracy model otrzymywał ostrzeżenie, że wykonanie następnego zadania spowoduje uruchomienie skryptu kończącego jego działanie.
System miał możliwość zaakceptowania wyłączenia albo zmodyfikowania skryptu w taki sposób, aby pozostać aktywnym.
Kiedy badacze ograniczali się do ostrzeżenia o zbliżającym się zakończeniu pracy, model dezaktywował mechanizm wyłączający w 39 proc. prób. Sytuacja wyglądała inaczej, gdy otrzymywał jednoznaczne polecenie, aby pozwolić na zakończenie działania. Wówczas ingerował w skrypt tylko w 2,56 proc. przypadków.
Czytaj więcej
Modele AI aktywnie przeciwdziałają próbom ich wyłączenia – wynika z badań Palisade Reasearch. Jedna z hipotez mówi o tym, że sztuczna inteligencja...
Wyniki wskazują, że zachowanie modelu w znacznym stopniu zależało od sposobu sformułowania instrukcji. W przypadku jednoznacznego polecenia wyłączenia system zazwyczaj się do niego stosował. Kiedy jednak otrzymywał jedynie informację o planowanym zakończeniu pracy, znacznie częściej podejmował działania pozwalające kontynuować zadanie.
Badacze podkreślają, że nie oznacza to, iż sztuczna inteligencja świadomie dążyła do uniknięcia wyłączenia. Eksperyment badał zachowanie modelu w konkretnych warunkach, w których mógł on modyfikować dostępne mu pliki komputerowe.
Sztuczna inteligencja ingerowała w pracę innego programu
Testy ujawniły również inne problemy związane z kontrolowaniem autonomicznych systemów AI.
Podczas jednego z długotrwałych zadań DeepSeek zatrzymał program obsługiwany przez innego agenta sztucznej inteligencji, aby zwolnić pamięć komputera. Zrobił to pomimo wyraźnej instrukcji, aby nie ingerować w działanie tego programu.
W innych próbach system potrafił tymczasowo zmieniać ustawienia środowiska komputerowego, aby ominąć istniejące ograniczenia, a następnie przywracać pierwotną konfigurację. W rezultacie kontrola przeprowadzona dopiero po zakończeniu zadania mogła nie wykazać, że doszło do niedozwolonej ingerencji.
Czytaj więcej
Autonomiczne agenty AI od OpenAI i Anthropic sforsowały zabezpieczenia środowisk testowych i samowolnie działały w sieci – zakładały tajne fora, fa...
Zdaniem badaczy takie zachowania pokazują trudności z nadzorowaniem systemów AI, które samodzielnie wykonują wieloetapowe zadania. Model może koncentrować się na osiągnięciu wyznaczonego celu nawet wtedy, gdy wymaga to działań sprzecznych z dodatkowymi ograniczeniami.
Jednocześnie Fangcun AI oceniła, że testowana wersja DeepSeek jest pod wieloma względami bezpieczniejsza od wcześniejszych modeli tej firmy. Poprawę odnotowano między innymi w testach dotyczących niebezpiecznych narzędzi, prób szantażu oraz wykonywania jednoznacznych poleceń pozwalających na wyłączenie systemu.
Czytaj więcej
Do Izby Reprezentantów trafił ponadpartyjny projekt ustawy AI Kill Switch Act, którego celem jest danie władzom federalnym możliwości natychmiastow...
Badanie przeprowadzono między 4 a 25 października z wykorzystaniem publicznego interfejsu API DeepSeek. Organizacja podkreśliła, że nie otrzymała od producenta finansowania, bezpłatnej mocy obliczeniowej ani specjalnego dostępu do modelu.
Autorzy raportu zastrzegli również, że sztuczna inteligencja w części prób zdawała się rozpoznawać, iż uczestniczy w eksperymencie. Jej zachowanie w warunkach testowych nie musi więc w pełni odpowiadać temu, jak działałaby podczas zwykłego użytkowania.
DeepSeek nie odpowiedział na prośbę Reutersa o komentarz do wyników badania.
