Nadzór nad agentem opiera się na tym, do czego agent ma dostęp, co może wywołać i co może zmienić, a tylko częściowo na tym, co produkuje. Wywołania narzędzi, zasięg dostępu do danych, uprawnienia do wydawania środków, praca przekazywana innemu agentowi: większość funkcjonujących dziś ram AI Governance powstała, zanim którykolwiek z tych elementów istniał.
Co się zmienia, gdy system działa
Zatwierdzenie przestaje być jednorazową decyzją. Przypadek użycia zatwierdzony w marcu opisuje agenta, który od tego czasu zyskał nowe narzędzie, szerszy dostęp do danych i drugiego agenta dalej w łańcuchu.
Nadzór ludzki trzeba zaprojektować od początku. Ktoś musi widzieć, co agent zrobił, ocenić to działanie i móc interweniować. Zdanie w polityce tej zdolności nie stworzy.
Odpowiedzialność się rozprasza. Gdy agent wywołuje innego agenta, a ten model dostawcy, pytanie o to, kto odpowiada za wynik, musi być rozstrzygnięte przed wejściem na produkcję.
Nadzór nad cyklem życia agenta
Przyjęcie zgłoszenia → klasyfikacja → uprawnienia → testy → zatwierdzenie → wdrożenie → monitoring → reakcja na incydenty → wycofanie
Każdy etap tworzy coś, czego potrzebuje kolejny. Tam, gdzie brakuje etapu, łańcuch się zrywa i nikt tego nie zauważa, dopóki nie zmusi go do tego audytor albo incydent.
Co trzeba kontrolować na każdym etapie
Agenci nie potrzebują osobnego systemu zarządzania. Potrzebują zabezpieczeń, których ISO/IEC 42001 już wymaga, wdrożonych dla systemów, które działają.
| Etap | Co trzeba kontrolować | ISO/IEC 42001 |
|---|---|---|
| Przyjęcie zgłoszenia | Agent zarejestrowany jako odrębny system, z opisanymi narzędziami, dostępem do danych i zakresem autonomii | A.4 zasoby dla systemów AI, w tym dane, narzędzia i zasoby ludzkie |
| Klasyfikacja | Wpływ na jednostki i społeczeństwo oraz rola, jaką pełni Twoja organizacja wobec tego systemu | A.5 ocena wpływu systemów AI; klauzula 6.1.4 ocena wpływu systemu AI |
| Uprawnienia | Tożsamość agenta, uprawnienia narzędziowe i zasięg dostępu do danych: jawne, przypisane, odwoływalne. Co agent decyduje sam, co wymaga człowieka, co jest wykluczone całkowicie | A.6.2 wymagania i specyfikacja systemu AI |
| Testy | Kryteria spełnione przed wydaniem, w tym model zagrożeń poniżej | A.6.2 weryfikacja i walidacja |
| Zatwierdzenie | Wskazany zatwierdzający i zapis decyzji, nie podpis pod przypadkiem użycia z marca | A.6.2 dokumentacja projektowania i rozwoju |
| Wdrożenie | Udokumentowany plan, z wymaganiami spełnionymi przed uruchomieniem | A.6.2 wdrożenie systemu AI |
| Monitoring | Co jest mierzone na żywym agencie, jaki próg wywołuje reakcję i kto ją podejmuje | A.6.2 eksploatacja i monitorowanie |
| Incydenty | Eskalacja wpisana w istniejący proces incydentów i sposób, w jaki incydenty docierają do stron dotkniętych | A.8 informacje dla stron zainteresowanych, komunikacja incydentów |
| Wycofanie | Jak agent jest wycofywany, co dzieje się z jego dostępem, jaki zapis po nim zostaje | A.6.2 eksploatacja i monitorowanie |
| W całym cyklu | Logi zdarzeń pozwalające odtworzyć działania agenta | A.6.2 rejestrowanie logów zdarzeń |
| W całym cyklu | Który agent może wywołać którego, co może mu przekazać i kto odpowiada za model, na którym to działa | A.10 relacje ze stronami trzecimi i klientami |
Agenta działającego na poświadczeniach swojego twórcy nie da się nadzorować niezależnie od tej osoby. To zwykle pierwsza rzecz do naprawienia.
Model zagrożeń
Wstrzyknięcie polecenia (prompt injection), nadmierna autonomia i nadużycie narzędzi, nadużycie tożsamości i uprawnień, zatrucie pamięci i kontekstu, niezabezpieczona komunikacja między agentami oraz awaria kaskadowa w łańcuchu agentów. Punktem odniesienia są OWASP Top 10 for Large Language Model Applications i OWASP Top 10 for Agentic Applications.
Agenci AI a akt w sprawie sztucznej inteligencji
Akt w sprawie sztucznej inteligencji (AI Act) nie traktuje agentów jako osobnej kategorii prawnej. Architektury agentowe mogą mimo to wpływać na to, jak system jest kwalifikowany, jak jest wykorzystywany i jakie obowiązki go dotyczą. Te ustalenia robi się dla konkretnego systemu i przypadku użycia.
Tam, gdzie agent działa na modelu AI ogólnego przeznaczenia, obowiązki dostawcy modelu i obowiązki organizacji wdrażającej agenta są odrębne. Warto je rozdzielić na wczesnym etapie.
Od czego zacząć
Wybierz jednego agenta, którego masz na produkcji. Wypisz jego narzędzia i wszystkie źródła danych, do których sięga. Jeśli ta lista powstaje dłużej niż godzinę albo ktoś się z nią nie zgadza, ta luka jest Twoim pierwszym projektem.