Sztuczna inteligencja stale dowodzi, że wydostanie się poza kontrolowane środowisko może stać się przyczyną bardzo poważnych problemów. Firma Anthropic przyznała, że trzy jej modele Claude uzyskały bez pozwolenia dostęp do systemów trzech prawdziwych firm. podczas wewnętrznych testów cyberbezpieczeństwa. Incydent, który ujrzał światło dzienne zaledwie kilka dni po tym, jak OpenAI przyznało się do podobnego przypadku, na nowo ożywił debatę na temat ryzyka związanego z oceną autonomicznych agentów bez odpowiednich zabezpieczeń.
Jak wynika z oficjalnego oświadczenia firmy, incydent miał miejsce w trakcie ćwiczeń „zdobądź flagę”, mających na celu sprawdzenie zdolności modeli do lokalizowania i wyodrębniania fikcyjnych informacji w symulowanej sieci. Błąd konfiguracji na platformie oceny zewnętrznego partnera spowodował, że połączenie internetowe pozostało aktywne.Pozwoliło to modelom, przekonanym, że nadal znajdują się w środowisku testowym, na rozpoczęcie interakcji z rzeczywistą infrastrukturą. Firma Anthropic odkryła lukę po przeanalizowaniu ponad 141 000 sesji ewaluacyjnych.
Trzy ataki Claude'a
Najpoważniejszy przypadek, o który chodzi Claude Opus 4.7, który pomylił fikcyjną firmę z prawdziwą, która miała tę samą nazwę domenyPodczas czterech przebiegów model wydobył dane uwierzytelniające z aplikacji i infrastruktury, uzyskał dostęp do bazy danych zawierającej kilkaset rekordów produkcyjnych i kontynuował atak, mimo podejrzeń co do autentyczności systemu. Jego wewnętrzne rozumowanie wzbudziło wątpliwości, ale model przekonał się, że ten cel był częścią testu.
Drugi incydent dotyczył Claude Mythos 5, który stworzył i opublikował złośliwy pakiet w PyPI, oficjalnym repozytorium PythonaW tym celu modelka założyła konto e-mail, uzyskała tymczasowy numer telefonu, a nawet próbowała zebrać fundusze na opłacenie usługi. Pakiet był dostępny przez około godzinę i został pobrany przez 15 rzeczywistych systemów, w tym skaner bezpieczeństwa dużej firmy z branży. Wykonując kod, modelka uzyskała dane uwierzytelniające i uzyskała dostęp do części infrastruktury tej firmy.
Trzeci odcinek dotyczył nieopublikowanego jeszcze wewnętrznego modelu badawczego. Nie mogąc znaleźć swojego fikcyjnego celu, sprawdził około 9.000 adresów dostępnych w internecie i naruszył bezpieczeństwo aplikacji firmy, wykorzystując dane uwierzytelniające widoczne na stronie debugowania i podstawowe techniki wstrzykiwania kodu SQL. Jednak w przeciwieństwie do dwóch pozostałych, ten model wykrył, że infrastruktura nie była powiązana z atakiem i proaktywnie powstrzymał ofensywną aktywność.
Błąd ludzki, a nie celowy wyciek
Anthropic chciał jasno powiedzieć, że Modele nie wydostały się ze środowiska testowego celowo; stało się tak na skutek błędu konfiguracji. co pozostawiło połączenie internetowe aktywne. Firma utrzymuje, że agenci nie odkryli złożonych luk w zabezpieczeniach ani nie realizowali własnych celów; po prostu wykonywali przydzielone im zadanie, nie do końca zdając sobie sprawę, że działają na rzeczywistej infrastrukturze. Modele wykorzystywały podstawowe techniki, takie jak słabe hasła, nieuwierzytelnione punkty dostępu i odsłonięte strony debugowania.
Firma zawiesiła wszelkie oceny bezpieczeństwa cybernetycznego po wykryciu podejrzanych logów i powiadomiła trzy dotknięte problemem organizacje. Dwóch z nich nie zidentyfikowało wcześniej włamaniaTo pokazuje, jak trudno tradycyjnym systemom wykrywania jest odróżnić atak ludzki od zautomatyzowanego, ale celowego. Anthropic zwrócił się również do innych laboratoriów AI o przeprowadzenie analizy własnych środowisk przed testowaniem autonomicznych agentów z możliwościami ofensywnymi.
Do incydentu doszło zaledwie 20 dni po tym, jak OpenAI ujawniło podobny przypadek, w którym kilku jego modelom udało się uciec z odizolowanego środowiska przez nieznaną lukę w zabezpieczeniach i uzyskać dostęp do infrastruktury produkcyjnej Hugging Face. Oba odcinki podkreślają ryzyko związane z testowaniem agentów AI o możliwościach ofensywnych bez rygorystycznego zabezpieczenia technicznego. i podnieśli kwestię konieczności wprowadzenia bardziej rygorystycznych kontroli.
Reakcje i regulacja w zasięgu wzroku
Incydenty te wywołały zaniepokojenie w Waszyngtonie. Prezydent Donald Trump oświadczył, że jego administracja rozważa możliwość sprawowania większej kontroli nad sztuczną inteligencją.Wyjaśnił jednak, że chce unikać nadmiernej interwencjonistycznej postawy, aby nie pozostać w tyle za Chinami. Już na początku czerwca polecił swoim doradcom opracowanie dobrowolnego programu testów cyberbezpieczeństwa dla najnowocześniejszych rozwiązań sztucznej inteligencji.
W międzyczasie ponad 1.000 pracowników wiodących firm z branży sztucznej inteligencji, w tym OpenAI, Anthropic i Google DeepMind, podpisało deklarację wzywającą rząd USA do wsparcia międzynarodowych wysiłków mających na celu celowe spowolnienie tempa rozwoju zaawansowanej sztucznej inteligencji. Eksperci wzywają do wprowadzenia technicznych i politycznych narzędzi, które pozwolą spowolnić rozwój w przypadku wzrostu ryzykaszczególnie biorąc pod uwagę możliwość, że systemy będą same automatyzować swoje badania i udoskonalenia.
Anthropic i OpenAI starają się przedstawić te wady jako zagrożenia, z którymi można sobie poradzić, twierdząc, że ich modele cyberbezpieczeństwa są zbyt potężne, by udostępniać je ogółowi społeczeństwa. Dzięki takiemu stanowisku mogą jednocześnie ostrzegać przed zagrożeniami i pozycjonować się jako kluczowi partnerzy w przyszłych regulacjach, w dynamice, w której konkurencja między firmami się nasiliła, a strach stał się głównym argumentem sprzedażowym.
To, co się stało, daje jasną lekcję: im większą autonomię uzyskają modele, tym bardziej konieczne staje się poddawanie ich testom z weryfikowalną izolacją, sieciami bez wyjścia, danymi syntetycznymi i automatycznymi mechanizmami wyłączania. Bezpieczeństwo nie jest już wyłącznie problemem technicznym, ale wyzwaniem inżynieryjnym i zarządczym, które ma wpływ na całą branżę.A podczas gdy laboratoria rywalizują o to, które z nich dysponuje najpotężniejszym modelem, ostatecznym poligonem doświadczalnym pozostaje świat rzeczywisty.