Sztuczna inteligencja nie będzie regulowana w Unii Europejskiej jednolicie dla każdego zastosowania. AI Act opiera się na podejściu opartym na ryzyku. Oznacza to, że zakres obowiązków prawnych zależy przede wszystkim od tego, do czego system AI jest przeznaczony, w jakim kontekście ma być używany oraz jakie skutki może wywoływać dla ludzi, zdrowia, bezpieczeństwa, praw podstawowych lub interesu publicznego. W ocenie obowiązków regulacyjnych i klasyfikacji systemów AI pomocna może być kancelaria prawna Warszawa, szczególnie gdy firma wdraża lub wykorzystuje rozwiązania sztucznej inteligencji w swojej działalności.

‍

Dlatego klasyfikacja ryzyka z AI Act jest jednym z pierwszych etapów wdrożenia zgodności z nowymi przepisami. Firma, która korzysta z narzędzi AI, tworzy je, wdraża u klientów albo integruje z własnymi produktami, powinna ustalić, do której kategorii ryzyka należy dany system. Dopiero później można prawidłowo ocenić, jakie obowiązki wynikają z AI Act.

‍

Dlaczego klasyfikacja systemu AI ma znaczenie

‍

AI Act nie zakłada, że każdy system sztucznej inteligencji jest tak samo niebezpieczny. Inaczej należy oceniać prosty chatbot informacyjny o usługach firmy, inaczej system wspierający rekrutację, a jeszcze inaczej system wykorzystywany w wyrobach medycznych.

‍

W praktyce AI Act kategorie ryzyka pełnią funkcję mapy regulacyjnej. Pozwalają ustalić, czy dany system AI:

• jest zakazany,
• jest systemem wysokiego ryzyka,
• podlega szczególnym obowiązkom przejrzystości,
• nie jest objęty istotnymi obowiązkami AI Act, choć nadal może podlegać innym przepisom, na przykład RODO, prawu pracy, przepisom konsumenckim lub zasadom odpowiedzialności cywilnej.

‍

To istotne, ponieważ błędna kwalifikacja systemu AI może prowadzić do nieprawidłowego wdrożenia AI Act compliance. W wielu organizacjach najważniejszym problemem nie będzie samo korzystanie z AI, lecz brak wiedzy, czy wykorzystywane narzędzie powinno zostać potraktowane jako system wysokiego ryzyka.

‍

AI Act kategorie ryzyka - podstawowy podział

‍

W uproszczeniu AI Act przewiduje cztery główne poziomy ryzyka.

‍

Pierwsza kategoria to ryzyko niedopuszczalne. Obejmuje praktyki zakazane, czyli takie zastosowania AI, które ustawodawca unijny uznał za sprzeczne z wartościami Unii, prawami podstawowymi lub bezpieczeństwem osób. Chodzi m.in. o określone formy manipulacji, wykorzystywanie podatności osób, niektóre formy scoringu społecznego, zakazane przypadki kategoryzacji biometrycznej czy niektóre zastosowania zdalnej identyfikacji biometrycznej w czasie rzeczywistym.

‍

Druga kategoria to systemy AI wysokiego ryzyka. Nie są one co do zasady zakazane, ale podlegają rozbudowanym obowiązkom regulacyjnym. To najważniejsza kategoria z perspektywy przedsiębiorców, administracji publicznej i dostawców technologii.

‍

Trzecia kategoria obejmuje systemy, które powodują ryzyko związane z przejrzystością. W takich przypadkach AI Act może wymagać poinformowania użytkownika, że ma kontakt z systemem AI albo że dana treść została wygenerowana lub zmanipulowana przez AI.

‍

Czwarta kategoria to systemy minimalnego ryzyka. AI Act nie nakłada na nie rozbudowanych obowiązków, choć w praktyce nadal mogą być objęte innymi przepisami, standardami kontraktowymi, wymogami bezpieczeństwa, ochroną danych lub wewnętrznymi zasadami governance.

‍

Systemy AI wysokiego ryzyka - kiedy występują

‍

Systemy AI wysokiego ryzyka są centralnym elementem AI Act. Ich klasyfikacja wynika przede wszystkim z art. 6 AI Act oraz załączników I i III.

‍

Pierwsza grupa obejmuje systemy AI, które są produktem lub elementem bezpieczeństwa produktu objętego określonym unijnym prawodawstwem harmonizacyjnym. Może to dotyczyć m.in. maszyn, wyrobów medycznych, zabawek, wind, urządzeń radiowych, środków transportu lub innych produktów wymienionych w odpowiednich przepisach sektorowych. Nie każdy produkt z komponentem AI będzie automatycznie systemem wysokiego ryzyka. Istotne jest m.in. to, czy system AI pełni funkcję bezpieczeństwa oraz czy produkt wymaga oceny zgodności z udziałem strony trzeciej.

‍

Druga grupa obejmuje samodzielne systemy AI wskazane w załączniku III AI Act. Są to zastosowania uznane za szczególnie wrażliwe z punktu widzenia praw podstawowych, bezpieczeństwa lub sytuacji życiowej osób fizycznych. Przykładowo mogą dotyczyć biometrii, infrastruktury krytycznej, edukacji, zatrudnienia, dostępu do podstawowych usług, egzekwowania prawa, migracji, kontroli granicznej, wymiaru sprawiedliwości oraz procesów demokratycznych.

‍

Ważne jest, że samo użycie AI w obszarze wymienionym w załączniku III nie zawsze oznacza automatycznie system wysokiego ryzyka. 

‍

Przeznaczenie systemu AI jako punkt wyjścia

‍

Dla klasyfikacji systemu AI kluczowe jest jego przeznaczenie. Należy ustalić, do czego system jest przeznaczony przez dostawcę, w jakim kontekście ma działać, jakie decyzje lub rekomendacje ma wspierać oraz jakie kategorie użytkowników lub osób mogą być dotknięte jego działaniem.

‍

Nie wystarczy nazwać narzędzia „asystentem”, „chatbotem” albo „systemem analitycznym”. Ten sam model lub podobna technologia może mieć różną kwalifikację prawną w zależności od zastosowania. Chatbot odpowiadający na ogólne pytania klientów może generować głównie obowiązki przejrzystości. System oceniający kandydatów do pracy, nadający im ranking lub rekomendujący odrzucenie aplikacji może już wchodzić w kategorię systemów wysokiego ryzyka.

‍

Dlatego w ramach AI Act compliance trzeba dokumentować nie tylko samą technologię, ale również jej funkcję biznesową, kontekst użycia, grupę użytkowników, dane wejściowe, rodzaj wyniku oraz wpływ wyniku na decyzje człowieka.

‍

Przykłady obszarów wysokiego ryzyka

‍

W praktyce systemy AI wysokiego ryzyka mogą wystąpić m.in. w następujących popularnych obszarach:

• Biometria - np. zdalna identyfikacja biometryczna, kategoryzacja biometryczna lub rozpoznawanie emocji, o ile dane zastosowanie nie jest zakazane i mieści się w zakresie systemów wysokiego ryzyka.
• Infrastruktura krytyczna - np. systemy wpływające na zarządzanie ruchem drogowym, dostawy wody, gazu, energii elektrycznej, ogrzewania lub funkcjonowanie krytycznej infrastruktury cyfrowej.
• Edukacja i szkolenie zawodowe - np. systemy oceniające wyniki nauczania, przydzielające osoby do instytucji edukacyjnych albo wpływające na dostęp do określonego poziomu kształcenia.
• Zatrudnienie i zarządzanie pracownikami - np. narzędzia do selekcji kandydatów, oceny CV, rankingowania aplikacji, podejmowania decyzji o awansie, monitorowania pracy lub oceny wydajności.
• Podstawowe usługi prywatne i publiczne - np. systemy oceny zdolności kredytowej osób fizycznych, oceny prawa do świadczeń publicznych lub ryzyka w ubezpieczeniach zdrowotnych i na życie.
• Egzekwowanie prawa, migracja i wymiar sprawiedliwości - np. systemy wspierające ocenę ryzyka, analizę dowodów, rozpatrywanie wniosków wizowych lub azylowych, a także narzędzia wspierające organy sądowe.

‍

‍

Czy człowiek w procesie wyłącza wysokie ryzyko

‍

Nie. Sam fakt, że człowiek zatwierdza decyzję albo ma możliwość nadzoru, nie oznacza, że system przestaje być systemem wysokiego ryzyka. Nadzór człowieka jest jednym z wymogów zgodności dla systemów wysokiego ryzyka, ale nie jest prostym sposobem na uniknięcie kwalifikacji.

‍

Jeżeli przeznaczenie systemu obejmuje przypadek użycia wymieniony w załączniku III, a system wpływa na decyzję dotyczącą osoby, to udział człowieka nie zmienia automatycznie klasyfikacji. Inaczej mówiąc, regulacje AI ryzyko oceniają przez funkcję i wpływ systemu, a nie wyłącznie przez formalne pozostawienie człowieka „w pętli”.

‍

Mechanizm wyłączenia z wysokiego ryzyka

‍

AI Act przewiduje tzw. mechanizm filtrujący dla niektórych systemów z załącznika III. System może nie zostać uznany za wysokiego ryzyka, jeżeli spełnia warunki wskazane w AI Act, np. wykonuje wąskie zadanie proceduralne, poprawia wynik wcześniej zakończonej czynności człowieka, wykrywa wzorce decyzyjne bez zastępowania oceny człowieka albo wykonuje zadanie przygotowawcze.

‍

Ten mechanizm trzeba jednak stosować ostrożnie. Nie będzie on dostępny, jeżeli system dokonuje profilowania w rozumieniu przepisów o ochronie danych osobowych. Nie powinien być też traktowany jako sposób formalnego obchodzenia przepisów przez rozbicie jednego systemu na kilka modułów.

‍

Systemy objęte obowiązkami przejrzystości

‍

Niektóre systemy AI nie będą systemami wysokiego ryzyka, ale nadal będą podlegały obowiązkom przejrzystości. Dotyczy to m.in. sytuacji, w których użytkownik wchodzi w interakcję z systemem AI, a także określonych przypadków generowania treści syntetycznych, deepfake’ów lub treści tekstowych publikowanych w celu informowania opinii publicznej o sprawach interesu publicznego.

‍

W takich przypadkach przedsiębiorca powinien ustalić, czy musi poinformować użytkownika o korzystaniu z AI, oznaczyć treść jako wygenerowaną przez AI albo zapewnić inne środki transparentności.

‍

Jak przeprowadzić klasyfikację ryzyka AI Act w firmie

‍

Prawidłowa klasyfikacja ryzyka AI Act powinna obejmować kilka etapów.

‍

Po pierwsze, trzeba ustalić, czy dane rozwiązanie w ogóle jest systemem AI w rozumieniu AI Act. Nie każde oprogramowanie i nie każda automatyzacja będą systemem AI.

‍

Po drugie, należy ustalić rolę organizacji. Inne obowiązki mogą dotyczyć dostawcy, inne importera, dystrybutora, podmiotu stosującego, producenta produktu etc.

‍

Po trzecie, trzeba opisać przeznaczenie systemu. W praktyce należy przeanalizować dokumentację techniczną, instrukcje używania, materiały sprzedażowe, komunikację marketingową, funkcje narzędzia i realny kontekst wdrożenia.

‍

Po czwarte, należy sprawdzić, czy system nie wchodzi w zakres praktyk zakazanych. Ten etap powinien poprzedzać analizę wysokiego ryzyka.

‍

Po piąte, trzeba ocenić, czy system jest objęty art. 6 AI Act i załącznikiem I albo III. Jeżeli tak, należy ustalić, czy możliwy jest mechanizm wyłączenia z klasyfikacji wysokiego ryzyka.

‍

Po szóste, należy sprawdzić, czy system podlega obowiązkom przejrzystości, nawet jeżeli nie jest systemem wysokiego ryzyka.

‍

Po siódme, wynik analizy powinien zostać udokumentowany. W AI Act compliance dokumentacja procesu decyzyjnego jest równie ważna jak sama konkluzja. Przy projektach obejmujących wdrożenie, integrację lub komercjalizację systemów AI znaczenie może mieć również obsługa prawna projektów AI.

‍

Co oznacza klasyfikacja dla dostawców i podmiotów stosujących

‍

Dla dostawców klasyfikacja wpływa na projektowanie systemu, dokumentację techniczną, zarządzanie ryzykiem, jakość danych, nadzór człowieka, dokładność, cyberbezpieczeństwo, rejestrowanie zdarzeń, ocenę zgodności i obowiązki po wprowadzeniu systemu na rynek.

‍

Dla podmiotów stosujących klasyfikacja ma znaczenie przy wyborze narzędzia, negocjowaniu umowy, ocenie dostawcy, kontroli instrukcji używania, wdrożeniu nadzoru człowieka, prowadzeniu rejestrów, informowaniu osób i organizacji procesu korzystania z AI.

‍

W praktyce nie wystarczy zapytać dostawcy, czy jego system jest zgodny z AI Act. Firma powinna rozumieć, do czego sama używa systemu, ponieważ zmiana sposobu użycia może zmienić kwalifikację prawną. System kupiony jako narzędzie ogólne może stać się systemem wysokiego ryzyka, jeżeli zostanie wdrożony do zastosowania wskazanego w AI Act.

‍

Podsumowanie

‍

AI Act nie reguluje sztucznej inteligencji według jednej, prostej zasady. Kluczowe znaczenie ma klasyfikacja ryzyka systemu AI. To od niej zależy, czy dane rozwiązanie jest zakazane, czy stanowi system wysokiego ryzyka, czy podlega obowiązkom przejrzystości, czy też pozostaje w kategorii minimalnego ryzyka.

‍

Dla przedsiębiorców oznacza to konieczność uporządkowania portfela narzędzi AI. Pierwszym krokiem nie powinno być tworzenie ogólnej polityki AI, lecz identyfikacja konkretnych systemów, opisanie ich przeznaczenia i przeprowadzenie kwalifikacji prawnej. Dopiero na tej podstawie można ustalić wymogi AI Act, obowiązki dostawców i podmiotów stosujących oraz zakres realnego AI Act compliance.

‍

Klasyfikacja ryzyka z AI Act nie jest formalnością. Jest punktem wyjścia do całego procesu zgodności z regulacjami dotyczącymi sztucznej inteligencji.

‍

AI Act wprowadza jeden z najbardziej dotkliwych systemów sankcji w unijnym prawie technologicznym. Kary AI Act mogą być nakładane nie tylko na dostawców systemów sztucznej inteligencji, ale również na inne podmioty uczestniczące w obrocie lub wykorzystywaniu AI, jeżeli naruszają obowiązki wynikające z rozporządzenia. W analizie obowiązków i ryzyk regulacyjnych pomocna może być kancelaria prawna Warszawa, szczególnie gdy firma wdraża lub wykorzystuje systemy sztucznej inteligencji w swojej działalności.

‍

Najwyższe AI Act sankcje dotyczą zakazanych praktyk AI. Chodzi między innymi o wybrane formy manipulacji, niedozwolonego scoringu społecznego, niektóre zastosowania biometrii oraz systemy rozpoznawania emocji w miejscach pracy lub instytucjach edukacyjnych, poza przewidzianymi wyjątkami. Za takie naruszenie AI Act kary mogą wynieść do 35 mln EUR albo do 7% całkowitego rocznego światowego obrotu przedsiębiorstwa z poprzedniego roku obrotowego - w zależności od tego, która wartość jest wyższa.

‍

Niższy, ale nadal bardzo istotny próg sankcji dotyczy naruszenia obowiązków operatorów systemów AI. AI Act przepisy kary przewidują w takich przypadkach do 15 mln EUR albo do 3% całkowitego rocznego światowego obrotu. Ten poziom może mieć znaczenie między innymi przy naruszeniu obowiązków dostawców, importerów, dystrybutorów, podmiotów stosujących, jednostek notyfikowanych oraz obowiązków przejrzystości.

‍

Przy ocenie tych obowiązków wsparciem może być prawnik AI, zwłaszcza gdy firma chce ustalić swoją rolę prawną wobec systemu AI oraz zakres odpowiedzialności wynikającej z rozporządzenia.

‍

Osobna kategoria dotyczy przekazania organom lub jednostkom notyfikowanym informacji nieprawidłowych, niekompletnych albo wprowadzających w błąd. W takim przypadku kara może wynieść do 7,5 mln EUR albo do 1% całkowitego rocznego światowego obrotu.

‍

W praktyce AI Act compliance kary nie powinny być oceniane wyłącznie przez pryzmat maksymalnych kwot. Organ, ustalając wysokość sankcji, powinien brać pod uwagę konkretne okoliczności sprawy, w tym charakter, wagę i czas trwania naruszenia, liczbę osób dotkniętych skutkami działania systemu AI, rozmiar szkody, stopień winy, współpracę z organem oraz działania podjęte w celu ograniczenia negatywnych skutków.

‍

W przypadku MŚP, w tym startupów, AI Act przewiduje łagodniejszy mechanizm ustalania maksymalnych kar. Nie oznacza to zwolnienia z odpowiedzialności. MŚP nadal mogą podlegać sankcjom za naruszenie AI Act, jednak maksymalna kara pieniężna jest ustalana według niższej z dwóch wartości: kwoty wskazanej w rozporządzeniu albo odpowiedniego procentu rocznego światowego obrotu.

‍

Przykładowo, przy naruszeniu zakazanych praktyk AI standardowy próg wynosi do 35 mln EUR albo do 7% rocznego światowego obrotu. Dla MŚP zastosowanie ma niższa z tych wartości. Analogicznie działa to przy karach do 15 mln EUR albo 3% obrotu oraz do 7,5 mln EUR albo 1% obrotu.

‍

W praktyce oznacza to, że AI Act compliance kary mogą być dla MŚP mniej dotkliwe niż dla dużych przedsiębiorstw, ale nadal mogą stanowić istotne ryzyko finansowe. Dlatego także mniejsze firmy powinny przeprowadzić podstawową klasyfikację używanych systemów AI, ustalić swoją rolę prawną oraz wdrożyć proporcjonalne procedury zgodności.

‍

Podsumowanie - Jak ograniczyć ryzyko kar za naruszenie AI Act

Dla firm oznacza to jedno: wdrożenie AI Act compliance nie jest wyłącznie formalnością. Kluczowe znaczenie ma ustalenie, czy dane rozwiązanie spełnia definicję systemu AI, jaka jest jego rola w organizacji, do jakiej kategorii ryzyka należy oraz jakie obowiązki spoczywają na firmie jako dostawcy, importerze, dystrybutorze lub podmiocie stosującym.

‍

Im wcześniej przedsiębiorca przeprowadzi klasyfikację systemów AI i uporządkuje dokumentację, procedury nadzoru, przejrzystości oraz zarządzania ryzykiem, tym mniejsze ryzyko naruszenia AI Act i odpowiedzialności finansowej. Przy bardziej złożonych wdrożeniach znaczenie może mieć również obsługa prawna projektów AI, obejmująca analizę ryzyk, dokumentacji i obowiązków związanych z wykorzystaniem sztucznej inteligencji.

‍

AI Act to unijne rozporządzenie, które wprowadza nowe zasady dotyczące projektowania, wdrażania i wykorzystywania systemów sztucznej inteligencji. Dla przedsiębiorców oznacza to konieczność uporządkowania sposobu korzystania z AI w organizacji. AI Act dla firm nie powinien być traktowany wyłącznie jako obowiązek prawny, ale także jako element zarządzania ryzykiem technologicznym. W analizie obowiązków związanych z AI Act pomocna może być kancelaria prawna Warszawa, szczególnie gdy firma wdraża lub wykorzystuje systemy sztucznej inteligencji w swojej działalności.

‍

Audyt narzędzi AI używanych w firmie

‍

Pierwszym krokiem powinien być audyt narzędzi AI używanych w firmie. Należy ustalić, czy dane rozwiązanie jest systemem AI w rozumieniu AI Act, kto jest jego dostawcą, kto go stosuje oraz w jakim celu jest wykorzystywany. Dopiero na tej podstawie można ocenić, jakie wymagania AI Act mają zastosowanie do konkretnego przypadku. W takiej analizie wsparciem może być także prawnik AI, jeżeli firma potrzebuje oceny prawnej konkretnego narzędzia lub procesu opartego na sztucznej inteligencji.

‍

Klasyfikacja ryzyka systemów AI

‍

Drugim etapem jest klasyfikacja ryzyka. Przepisy AI Act przewidują różne poziomy obowiązków w zależności od rodzaju systemu AI. Największe znaczenie mają systemy zakazane, systemy wysokiego ryzyka, systemy objęte obowiązkami przejrzystości oraz modele ogólnego zastosowania. W praktyce firma powinna sprawdzić, czy AI jest używana w obszarach takich jak rekrutacja, ocena pracowników, edukacja, usługi finansowe, infrastruktura krytyczna, biometria lub dostęp do usług publicznych.

‍

Dokumentacja i procedury wymagane przez AI Act

‍

Trzecim krokiem jest przygotowanie dokumentacji. Wdrożenie AI Act wymaga opisania celu użycia systemu, zasad nadzoru człowieka, źródeł danych, ryzyk, środków kontroli oraz procedur reagowania na błędy i incydenty. W przypadku systemów wysokiego ryzyka obowiązki będą znacznie szersze i mogą obejmować między innymi system zarządzania ryzykiem, dokumentację techniczną, rejestrowanie zdarzeń, nadzór człowieka oraz ocenę zgodności.

‍

AI Act compliance w relacjach z dostawcami

‍

Czwartym elementem jest AI Act compliance w relacjach z dostawcami. Firma powinna zweryfikować umowy z podmiotami dostarczającymi narzędzia AI, w tym zakres odpowiedzialności, instrukcje używania systemu, dostęp do dokumentacji, zasady aktualizacji oraz obowiązki informacyjne. Sam fakt zakupu narzędzia AI od zewnętrznego dostawcy nie zwalnia firmy z obowiązków, jeżeli wykorzystuje ona system we własnej działalności. Przy bardziej złożonych wdrożeniach znaczenie może mieć również obsługa prawna projektów AI, obejmująca analizę ryzyk, dokumentacji i relacji z dostawcami technologii.

‍

Szkolenia pracowników z zasad korzystania z AI

‍

Ostatnim etapem jest przeszkolenie pracowników. AI Act wymaga rozwijania kompetencji w zakresie AI, dlatego osoby korzystające z systemów AI powinny rozumieć ich ograniczenia, ryzyka oraz zasady prawidłowego użycia. Dotyczy to nie tylko działów IT, ale także HR, marketingu, sprzedaży, compliance, prawnego i zarządu.

‍

AI Act compliance jako element zarządzania ryzykiem

‍

Przygotowanie firmy na AI Act powinno obejmować audyt, klasyfikację ryzyka, dokumentację, procedury, umowy z dostawcami oraz szkolenia. Im wcześniej organizacja rozpocznie AI Act compliance, tym łatwiej ograniczy ryzyko regulacyjne, kontraktowe i reputacyjne związane z wykorzystaniem sztucznej inteligencji.

‍

Więcej na ten temat znajdziecie w tym artykule: AI Act compliance checklista dla firm.

‍

AI Act a rola dostawcy systemu AI

‍

AI Act to unijne rozporządzenie, które wprowadza horyzontalne zasady dotyczące sztucznej inteligencji. Z perspektywy przedsiębiorców jednym z kluczowych zagadnień jest ustalenie, czy dana firma występuje jako dostawca systemu AI podlegającym pod to rozporządzenie. W ocenie obowiązków regulacyjnych pomocna może być kancelaria prawna Warszawa, zwłaszcza gdy projekt AI wymaga analizy prawnej, technicznej i organizacyjnej.

‍

Nie chodzi wyłącznie o podmiot, który samodzielnie programuje system od podstaw. Dostawcą może być również podmiot, który zleca opracowanie systemu AI, a następnie wprowadza go do obrotu lub oddaje do użytku pod własną nazwą lub znakiem towarowym. W praktyce oznacza to, że obowiązki dostawców AI mogą dotyczyć nie tylko firm technologicznych, ale także przedsiębiorców wdrażających rozwiązania AI jako element własnego produktu lub usługi.

‍

Dla firm kluczowe jest więc nie samo pytanie, czy używają sztucznej inteligencji, lecz pytanie, jaką pełnią rolę w łańcuchu wartości AI. Inne obowiązki będzie miał dostawca systemu AI wysokiego ryzyka, inne importer, dystrybutor, podmiot stosujący, a jeszcze inne dostawca modelu AI ogólnego przeznaczenia.

‍

Dlaczego status dostawcy ma znaczenie

‍

Status dostawcy ma zasadnicze znaczenie dla AI Act compliance. To dostawca odpowiada za wiele obowiązków, które muszą zostać spełnione jeszcze przed wprowadzeniem systemu AI na rynek albo przed oddaniem go do użytku.

‍

W przypadku systemów AI wysokiego ryzyka ciężar regulacyjny spoczywa przede wszystkim na dostawcy. To on powinien zapewnić zgodność systemu z wymaganiami AI Act, przygotować dokumentację techniczną, przeprowadzić odpowiednią procedurę oceny zgodności, zapewnić system zarządzania ryzykiem, wdrożyć system zarządzania jakością oraz prowadzić monitorowanie po wprowadzeniu systemu na rynek.

‍

Regulacje AI dostawcy traktują jako podmiot odpowiedzialny za projekt, przeznaczenie i warunki działania systemu. Z tego powodu nie wystarczy ograniczyć się do oceny własnej i deklaracji, że narzędzie jest „bezpieczne” albo „zgodne z prawem”. AI Act wymaga wykazania zgodności w sposób udokumentowany.

‍

Pierwszy krok - czy rozwiązanie jest systemem AI

‍

Przed analizą obowiązków należy ustalić, czy dane rozwiązanie spełnia definicję systemu AI. AI Act nie obejmuje każdego oprogramowania. System AI według tego rozporządzenia to system maszynowy zaprojektowany do działania z różnym poziomem autonomii, który może wykazywać zdolność adaptacji po wdrożeniu i który, dla wyraźnych lub dorozumianych celów, wnioskuje na podstawie otrzymanych danych wejściowych, jak generować wyniki, takie jak predykcje, treści, zalecenia lub decyzje mogące wpływać na środowisko fizyczne lub wirtualne.

‍

W praktyce analiza powinna obejmować między innymi:

• sposób działania systemu;
• poziom autonomii;
• rodzaj danych wejściowych;
• rodzaj generowanych wyników;
• przeznaczenie systemu;
• wpływ wyników systemu na użytkowników, klientów, pracowników lub inne osoby fizyczne.

‍

Nie każde narzędzie automatyzujące proces biznesowy będzie systemem AI. Jednocześnie wiele systemów wykorzystujących uczenie maszynowe, modele predykcyjne, systemy rekomendacyjne lub generatywną AI będzie wymagało dalszej analizy pod kątem AI Act.

‍

Drugi krok - klasyfikacja ryzyka

‍

AI Act opiera się na podejściu opartym na ryzyku. Oznacza to, że zakres obowiązków zależy przede wszystkim od kategorii systemu AI.

‍

Z perspektywy dostawcy najważniejsze kategorie to:

• systemy AI objęte zakazanymi praktykami;
• systemy AI wysokiego ryzyka;
• systemy AI podlegające obowiązkowi przejrzystości (art. 50 AI Act);
• modele AI ogólnego przeznaczenia.

‍

Największe znaczenie praktyczne mają systemy AI wysokiego ryzyka. To właśnie w ich przypadku wymogi AI Act są najbardziej rozbudowane i wymagają realnego wdrożenia procesów compliance, technicznych zabezpieczeń oraz dokumentacji.

‍

Więcej o tym znajdziesz w tym artykule:  AI Act - klasyfikacja ryzyka systemów AI

‍

Obowiązki dostawcy systemu AI wysokiego ryzyka

Dostawca systemu AI wysokiego ryzyka musi zapewnić, aby system spełniał wymagania określone w AI Act. Nie jest to pojedynczy obowiązek, ale cały pakiet wymogów obejmujących cykl życia systemu.

‍

Do najważniejszych obowiązków dostawcy należą:

System zarządzania ryzykiem

‍

Dostawca powinien ustanowić, wdrożyć, dokumentować i utrzymywać system zarządzania ryzykiem. Taki system powinien obejmować identyfikację, analizę, ocenę i ograniczanie ryzyk związanych z systemem AI.

‍

W praktyce oznacza to konieczność odpowiedzi na pytania:

• jakie szkody może wywołać system;
• kto może być dotknięty jego działaniem;
• jakie błędy są racjonalnie przewidywalne;
• jakie środki ograniczające ryzyko zostały wdrożone;
• jak ryzyka będą monitorowane po wdrożeniu.

‍

System zarządzania ryzykiem nie powinien być dokumentem tworzonym wyłącznie na potrzeby audytu. Powinien być częścią rzeczywistego procesu projektowania, testowania i utrzymywania systemu AI.

‍

Jakość danych i zarządzanie danymi

‍

Jeżeli system AI wysokiego ryzyka jest trenowany, walidowany lub testowany z wykorzystaniem danych, dostawca musi zadbać o odpowiednie praktyki zarządzania danymi. Obejmuje to między innymi adekwatność, reprezentatywność, kompletność i odpowiednią jakość danych.

‍

Ten obowiązek ma szczególne znaczenie w systemach stosowanych w rekrutacji, edukacji, kredytowaniu, ubezpieczeniach, ochronie zdrowia lub dostępie do usług publicznych. Wadliwe dane mogą prowadzić do dyskryminacji, błędnych decyzji lub naruszenia praw podstawowych.

‍

Dokumentacja techniczna

‍

Dostawca powinien sporządzić dokumentację techniczną przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku. Dokumentacja ma wykazywać, że system spełnia wymogi AI Act i przepisy dotyczące systemów wysokiego ryzyka.

‍

Dokumentacja techniczna powinna opisywać między innymi:

• ogólne cechy systemu;
• jego przeznaczenie;
• architekturę i sposób działania;
• dane wykorzystywane w procesie trenowania, walidacji i testowania;
• mechanizmy nadzoru człowieka;
• środki zarządzania ryzykiem;
• cyberbezpieczeństwo;
• testy i walidację;
• monitorowanie po wprowadzeniu do obrotu.

‍

Brak dokumentacji technicznej może być jednym z najpoważniejszych problemów w razie kontroli organu nadzoru lub sporu z klientem. Na tym etapie przydatny może być także prawnik AI, jeżeli firma potrzebuje oceny obowiązków związanych z wdrożeniem lub rozwojem systemu sztucznej inteligencji.

‍

Rejestrowanie zdarzeń

‍

System AI wysokiego ryzyka powinien umożliwiać automatyczne rejestrowanie zdarzeń, czyli logowanie działania systemu. Celem jest zapewnienie identyfikowalności działania systemu, ułatwienie nadzoru i umożliwienie analizy incydentów.

‍

Logi mogą mieć kluczowe znaczenie, gdy trzeba ustalić, dlaczego system wygenerował określoną rekomendację, decyzję lub wynik. Z perspektywy dostawcy jest to także element ochrony dowodowej.

‍

Przejrzystość i instrukcje używania

‍

Dostawca musi przygotować instrukcje używania systemu. Powinny być one jasne, kompletne i zrozumiałe dla podmiotu stosującego system AI.

‍

Instrukcje powinny obejmować między innymi:

• przeznaczenie systemu;
• warunki prawidłowego używania;
• ograniczenia systemu;
• przewidywalne ryzyka;
• wymagania dotyczące danych wejściowych;
• informacje o wynikach działania systemu;
• środki nadzoru człowieka;
• parametry dokładności, odporności i cyberbezpieczeństwa.

‍

To szczególnie ważne, ponieważ błędne opisanie przeznaczenia systemu może prowadzić do błędnej klasyfikacji ryzyka. Jeżeli materiały sprzedażowe, instrukcje lub dokumentacja sugerują zastosowanie w obszarze wysokiego ryzyka, system może zostać zakwalifikowany jako system wysokiego ryzyka.

‍

Nadzór człowieka

‍

Dostawca powinien zaprojektować system AI wysokiego ryzyka w taki sposób, aby możliwy był skuteczny nadzór człowieka. Nie chodzi o pozorną obecność człowieka w procesie, ale o realną możliwość zrozumienia, monitorowania i - w razie potrzeby - przerwania lub zakwestionowania działania systemu.

‍

Nadzór człowieka powinien być adekwatny do ryzyka, przeznaczenia systemu i potencjalnego wpływu na osoby fizyczne.

‍

Dokładność, odporność i cyberbezpieczeństwo

‍

Wymogi AI Act obejmują również zapewnienie odpowiedniego poziomu dokładności, odporności i cyberbezpieczeństwa. Dostawca powinien określić parametry działania systemu oraz monitorować, czy system utrzymuje wymagany poziom jakości w czasie.

‍

W praktyce oznacza to konieczność testowania systemu nie tylko przed wdrożeniem, ale także po jego aktualizacjach, zmianach danych, zmianach środowiska operacyjnego lub zmianach sposobu używania systemu.

‍

System zarządzania jakością

‍

Dostawca systemu AI wysokiego ryzyka powinien wdrożyć system zarządzania jakością. Taki system powinien obejmować procedury, zasady i odpowiedzialności wewnętrzne dotyczące zgodności z AI Act.

‍

System zarządzania jakością powinien regulować między innymi:

• strategię zgodności z AI Act;
• projektowanie i rozwój systemu;
• testowanie i walidację;
• zarządzanie danymi;
• zarządzanie ryzykiem;
• kontrolę zmian;
• dokumentację;
• monitorowanie po wprowadzeniu na rynek;
• zgłaszanie incydentów;
• komunikację z organami nadzoru.

‍

Dla wielu firm będzie to jeden z najważniejszych elementów AI Act compliance.

‍

Ocena zgodności i oznakowanie CE

‍

Przed wprowadzeniem systemu AI wysokiego ryzyka do obrotu lub oddaniem go do użytku dostawca musi przeprowadzić właściwą procedurę oceny zgodności. W zależności od rodzaju systemu może to być ocena wewnętrzna albo procedura z udziałem jednostki notyfikowanej.

‍

Po pozytywnej ocenie zgodności dostawca powinien sporządzić deklarację zgodności UE i - tam, gdzie ma to zastosowanie - umieścić oznakowanie CE.

‍

Rejestracja w unijnej bazie danych

‍

Niektóre systemy AI wysokiego ryzyka wymagają rejestracji przed ich wprowadzeniem do obrotu lub oddaniem do użytku. Dotyczy to przede wszystkim systemów wysokiego ryzyka wskazanych w załączniku III AI Act, z zastrzeżeniem wyjątków, w tym systemów z załącznika III pkt 2, które podlegają rejestracji na poziomie krajowym.

‍

Rejestracja ma zwiększać przejrzystość i identyfikowalność systemów AI wysokiego ryzyka oraz ułatwiać nadzór nad ich zgodnością z AI Act. W określonych przypadkach informacje w bazie danych UE są publicznie dostępne, natomiast część rejestracji, zwłaszcza w obszarach ścigania przestępstw, migracji, azylu i kontroli granic, trafia do bezpiecznej, niepublicznej sekcji bazy.

‍

Monitorowanie po wprowadzeniu na rynek

‍

Obowiązki dostawcy nie kończą się w chwili sprzedaży lub wdrożenia systemu. Dostawca powinien prowadzić monitorowanie po wprowadzeniu systemu na rynek. Celem jest zbieranie informacji o działaniu systemu w rzeczywistych warunkach i reagowanie na nowe ryzyka.

‍

Monitorowanie po wprowadzeniu na rynek powinno obejmować między innymi analizę skarg, błędów, incydentów, zmian parametrów działania oraz informacji od podmiotów stosujących system.

‍

Zgłaszanie poważnych incydentów

‍

Dostawcy systemów AI wysokiego ryzyka mają obowiązki związane ze zgłaszaniem poważnych incydentów właściwym organom nadzoru rynku. Poważny incydent może obejmować między innymi śmierć osoby, poważną szkodę dla zdrowia, poważne i nieodwracalne zakłócenie infrastruktury krytycznej, naruszenie obowiązków prawa UE chroniących prawa podstawowe albo poważną szkodę dla mienia lub środowiska.

‍

Ten obowiązek wymaga posiadania procedury wewnętrznej. Firma powinna wiedzieć, kto identyfikuje incydent, kto ocenia jego kwalifikację, kto kontaktuje się z organem oraz jakie dane należy zabezpieczyć.

‍

Obowiązki dostawców z art. 50 AI Act

‍

Odrębne znaczenie mają obowiązki dostawców wynikające z art. 50 AI Act. Nie dotyczą one wyłącznie systemów AI wysokiego ryzyka, ale są odrębną kategorią AI Act. Są to obowiązki przejrzystości, które mogą obejmować także systemy niższego ryzyka, w szczególności chatboty, wirtualnych asystentów oraz systemy generujące treści syntetyczne.

‍

Po pierwsze, dostawcy systemów AI przeznaczonych do bezpośredniej interakcji z osobami fizycznymi muszą zapewnić, aby system był zaprojektowany i opracowany w taki sposób, że dana osoba zostanie poinformowana, iż wchodzi w interakcję z systemem AI. Obowiązek ten nie będzie miał zastosowania, jeżeli z okoliczności i kontekstu użycia jest to oczywiste dla osoby fizycznej należycie poinformowanej, uważnej i rozsądnej.

‍

Po drugie, dostawcy systemów AI, w tym systemów AI ogólnego przeznaczenia, które generują syntetyczne treści audio, obrazy, wideo lub tekst, muszą zapewnić, aby wyniki działania systemu były oznaczone w formacie nadającym się do odczytu maszynowego oraz wykrywalne jako sztucznie wygenerowane lub zmanipulowane.

‍

Trzeba odróżnić obowiązki dostawców od obowiązków podmiotów stosujących. Dostawca ma przede wszystkim zaprojektować system i jego funkcjonalności tak, aby umożliwić przejrzystość i wykrywalność treści. Podmiot stosujący może mieć natomiast własne obowiązki ujawniania, na przykład przy publikacji deepfake'ów lub tekstów wygenerowanych przez AI w celu informowania społeczeństwa o sprawach leżących w interesie publicznym.

‍

Obowiązki dostawców AI wynikające z art. 50 AI Act powinny być traktowane jako osobna część wdrożenia AI Act, obok klasyfikacji ryzyka, obowiązków dla systemów wysokiego ryzyka i obowiązków dotyczących modeli AI ogólnego przeznaczenia.

‍

Dostawcy modeli AI ogólnego przeznaczenia

‍

Odrębną kategorię stanowią dostawcy modeli AI ogólnego przeznaczenia, czyli modeli, które mogą być wykorzystywane w wielu różnych zastosowaniach. Obowiązki takich dostawców różnią się od obowiązków dostawców klasycznych systemów AI.

‍

W zależności od rodzaju modelu dostawca może być zobowiązany między innymi do:

• sporządzenia i aktualizowania dokumentacji technicznej modelu;
• udostępniania informacji dostawcom systemów AI, którzy integrują model w swoich rozwiązaniach;
• wdrożenia polityki zgodności z prawem autorskim UE;
• publikowania odpowiedniego streszczenia treści wykorzystanych do trenowania modelu.

‍

Jeżeli model AI ogólnego przeznaczenia zostanie uznany za model stwarzający ryzyko systemowe, obowiązki są dalej idące. Mogą obejmować ocenę modelu, ograniczanie ryzyk systemowych, dokumentowanie poważnych incydentów i zgłaszanie ich do właściwych organów.

‍

Kiedy dystrybutor, importer lub użytkownik może stać się dostawcą

‍

AI Act przewiduje sytuacje, w których inny podmiot może zostać potraktowany jak dostawca systemu AI wysokiego ryzyka. Może to dotyczyć między innymi dystrybutora, importera, podmiotu stosującego lub innej osoby trzeciej.

‍

Taki skutek może powstać w szczególności, gdy podmiot:

• umieszcza własną nazwę lub znak towarowy na systemie AI wysokiego ryzyka;
• dokonuje istotnej zmiany systemu AI wysokiego ryzyka;
• zmienia przeznaczenie systemu w taki sposób, że system staje się systemem wysokiego ryzyka.

‍

To istotne dla firm, które kupują gotowe rozwiązania AI, a następnie oferują je klientom pod własną marką albo modyfikują ich funkcje. W takim scenariuszu firma może przejąć część obowiązków typowych dla dostawcy.

‍

AI Act compliance jako proces, a nie jednorazowy dokument

‍

AI Act compliance nie powinien być traktowany jako jednorazowe przygotowanie polityki AI. W przypadku dostawców systemów AI zgodność wymaga procesu obejmującego projektowanie, rozwój, testowanie, wdrożenie, monitorowanie, aktualizacje i reagowanie na incydenty.

‍

W praktyce wdrożenie powinno obejmować co najmniej:

• mapowanie systemów AI;
• ustalenie roli firmy w łańcuchu wartości AI;
• klasyfikację ryzyka;
• analizę przeznaczenia systemu;
• analizę danych;
• ocenę obowiązków technicznych;
• przygotowanie dokumentacji;
• wdrożenie procedur zarządzania ryzykiem;
• wdrożenie procedur nadzoru człowieka;
• przygotowanie procesu obsługi incydentów;
• aktualizację umów z klientami, dostawcami i integratorami.

‍

Dobrze przygotowana firma powinna być w stanie wykazać, dlaczego zakwalifikowała system do określonej kategorii ryzyka i jakie środki wdrożyła, aby spełnić wymogi AI Act. Przy projektach obejmujących wdrożenie, rozwój lub komercjalizację systemów AI istotna może być również obsługa prawna projektów AI.

‍

Najczęstsze błędy dostawców systemów AI

‍

W praktyce największe ryzyka prawne wynikają zwykle nie z samego używania AI, lecz z braku uporządkowanego procesu zgodności.

‍

Do najczęstszych błędów należą:

• brak ustalenia, czy rozwiązanie spełnia definicję systemu AI;
• brak określenia przeznaczenia systemu;
• zbyt ogólne materiały marketingowe sugerujące szerokie zastosowania, także w obszarach wysokiego ryzyka;
• brak dokumentacji technicznej;
• brak procedury zarządzania ryzykiem;
• brak testów jakości danych;
• pozorny nadzór człowieka;
• brak procedury zgłaszania incydentów;
• nieuwzględnienie AI Act w umowach z klientami i partnerami technologicznymi;
• traktowanie zgodności z AI Act wyłącznie jako zadania działu prawnego.

‍

Tymczasem przepisy AI Act projektują regulację łączącą prawo, technologię, zarządzanie ryzykiem, cyberbezpieczeństwo, dokumentację i odpowiedzialność organizacyjną.

‍

Podsumowanie

‍

Obowiązki dostawców AI należą do najważniejszych elementów AI Act. Dostawca nie odpowiada wyłącznie za stworzenie technologii, ale także za jej zgodność regulacyjną, dokumentację, bezpieczeństwo, przejrzystość, zarządzanie ryzykiem i monitorowanie po wdrożeniu.

‍

Dla przedsiębiorców oznacza to konieczność przejścia od podejścia „budujemy narzędzie AI” do podejścia „budujemy system AI zgodny z prawem, bezpieczny i możliwy do audytu”. Im wcześniej firma ustali swoją rolę, kategorię ryzyka systemu i właściwe wymogi AI Act, tym łatwiej ograniczy ryzyka prawne, kontraktowe i reputacyjne.

‍