Państwo w centrum UE z kafkowskim, dyskryminującym algorytmem wymierzonym we własnych obywateli. Czyli opowieść o tym jak brak nadzoru nad nowymi technologiami obalił rząd w Niderlandach.

Technologia stosowana przez rząd w celu powstrzymania przestępstw socjalnych i poprawy wydajności urzędów może prowadzić do nieuzasadnionego wykluczenia i naruszenia prawa do ochrony prywatności. Przekonał się o tym premier Niderlandów, który w konsekwencji wadliwego działania algorytmu złożył dymisję rządu.

Wiele mówi się ostatnio o zaletach i ryzykach dotyczących stosowania zaawansowanych algorytmów i sztucznej inteligencji. Dyskusje te zazwyczaj mają jednak dość teoretyczny charakter, tak długo przynajmniej, dopóki nie zdarzy się coś takiego jak niedawno w Niderlandach.

Konsekwencje „Bezprecedensowej niesprawiedliwości”

W grudniu 2020 roku niderlandzka parlamentarna komisja śledcza wydała raport zatytułowany „Bezprecedensowa niesprawiedliwość”. Autorzy wskazali, że od 2012 roku około 20 tysięcy rodzin zostało niesłusznie oskarżonych o oszustwa w zakresie pobierania zasiłków socjalnych na dzieci. Oskarżeni rodzice byli poddawani natychmiastowej egzekucji komorniczej i zmuszani do zwrotu pobranych środków. Jako że organ podatkowy nie podawał przyczyn odebrania prawa do zasiłku, komisja śledcza stwierdziła, że praktyki urzędów były „łamaniem podstawowych zasad praworządności”.

Mark Rutte, premier Niderlandów, publicznie przeprosił za niesłuszne oskarżenia i przeznaczył 500 milionów euro na odszkodowania dla rodzin dotkniętych bezprawnymi egzekucjami. Nie zniwelowało to jednak publicznego oburzenia i aby uniknąć zaplanowanego głosowania nad wotum nieufności dla rządu, Mark Rutte 15 stycznia 2021 roku złożył dymisję swojego rządu na ręce króla.

Problematyczny algorytm

Niderlandzki organ podatkowy wydawał decyzje o odebraniu prawa do zasiłku w oparciu o wskazania Systemu Risico Indicatie (SyRI) – do wykrywania ryzyka wprowadzonego ustawą z 2014 roku. System był używany przez organizacje rządowe do zapobiegania nadużyciom m.in. w dziedzinie świadczeń społecznych i podatków. SyRI wykorzystywał algorytm, który analizował dane udostępniane przez instytucje publiczne i generował sprawozdania dotyczące potencjalnych ryzyk w oparciu o profile osób karanych za oszustwa związane z ubezpieczeniami społecznymi. Następnie system znajdował w rejestrach osoby o podobnym profilu, wskazywał je jako potencjalnych oszustów i umieszczał na liście do dalszego badania. Zainteresowani nie byli informowani o umieszczeniu ich nazwisk w rejestrze ryzyka.

System wykorzystywał dane dotyczące m.in. pracy, grzywien, kar, podatków, nieruchomości, edukacji, emerytur, długów, świadczeń, zezwoleń i zwolnień. W 2014 roku Rada Państwa w swojej negatywnej opinii na temat SyRI stwierdziła, że „prawie nie ma danych osobowych, których nie można przetwarzać”. Ponadto SyRI była wykorzystywana przede wszystkim w niezamożnych środowiskach.

Chris van Dam, przewodniczący komisji śledczej, wskazał, że system jest nieprzejrzysty, a rząd objął zasady jego funkcjonowania ścisłą tajemnicą. Stosowany model, wskaźniki ryzyka ani wykorzystywane dane nie były publicznie dostępne. Niemniej, niderlandzki organ podatkowy przyznał, że 11 tysięcy rodzin o podwójnym obywatelstwie zostało poddanych szczególnej kontroli.

Droga do zakazania używania SyRI

Powyższe cechy systemu oraz wpływ, który jego wskazania miały na życie niesłusznie oskarżonych o oszustwo spowodowały, że w 2018 roku niderlandzkie organizacje zajmujące się ochroną praw obywatelskich wniosły przeciwko państwu niderlandzkiemu pozew z żądaniem o zaprzestanie używania SyRI. Philip Alson, specjalny sprawozdawca ONZ ds. skrajnego ubóstwa i praw człowieka, także wyraził swoje obawy dotyczące SyRI w piśmie do niderlandzkiego sądu.

Dodatkowo 29 listopada 2019 roku SyRI zdobyła nagrodę Big Brother Award przyznawaną przez Bits of Freedom, niderlandzką organizację chroniącą prawa cyfrowe. Nagroda ta jest przyznawana za największą ingerencję w prywatność w danym roku. Dyrektor generalny Carsten Herstel przyjął nagrodę w imieniu Ministerstwa Pracy i Ubezpieczeń Społecznych i stwierdził, że „uważa za logiczne, że rząd zostaje zaalarmowany, gdy ktoś otrzymuje zasiłek na wynajem mieszkania i jednocześnie jest właścicielem domu”.

System narusza EKPC

W dniu 5 lutego 2020 roku sąd w Hadze nakazał natychmiastowe zaprzestanie używania SyRI, wskazując, że system narusza prawo do poszanowania życia prywatnego i rodzinnego chronionego w art. 8 Europejskiej Konwencji Praw Człowieka. Stwierdzono, że brak przejrzystości i możliwości weryfikacji raportów SyRI powoduje, że ingerencja w życie prywatne obywateli nie jest proporcjonalna i nie można jej uzasadniać ochroną interesu publicznego. Sąd podkreślił, że rząd ponosi szczególną odpowiedzialność za zapewnienie odpowiedniej równowagi interesów prywatnych i publicznych, jeżeli decyduje się na używanie nowych technologii.

Skutki niderlandzkiej afery

Niderlandzki rząd, który zostanie wyłoniony po przyspieszonych wyborach parlamentarnych w marcu 2021 roku, będzie musiał opracować nowy system, który pozwoli skutecznie zapobiegać oszustwom w zakresie ubezpieczeń społecznych, a jednocześnie zapewni odpowiedni poziom ochrony prywatności obywateli. Jednak można przypuszczać, że konsekwencje orzeczenia niderlandzkiego sądu nie ograniczą się do Niderlandów.

Jest kilka powodów, które okazały się kluczowe dla fiaska tego holenderskiego projektu technologicznego. Po pierwsze to brak przejrzystości działania algorytmu. Oczywiście rząd bronił się twierdząc, że mechanika i przesłanki brane pod uwagę muszą być poufne bowiem inaczej łatwo byłoby go obejść. Niemniej jednak jest różnica między totalną jawnością mechanizmu, a transparentnością założeń. Po drugie rozliczalność i nadzór. Można i czasem trzeba ufać technologii, ale to zaufanie powinno mieć ograniczony charakter. Zwłaszcza w tak sensytywnym wykorzystaniu technologii nie można działać bezrefleksyjnie, jednocześnie utrudniając – na różnych szczeblach – możliwości weryfikacji działania algorytmu. Wreszcie zawiodła tutaj również możliwość skutecznego odwołania się od decyzji oraz jeszcze wcześniej prawo obywateli do bycia poinformowanym o podleganiu pod automatyczne profilowanie. Na koniec, wg. przynajmniej niektórych źródeł, sam proces nauczania tego algorytmu („karmienia go danymi”) był daleki od ideału – gdyż nie miał wbudowanych bezpieczników, które powinny przeciwdziałać dyskryminacji (w tym przypadku chodziło m.in. o obcobrzmiące imiona).

Decydując się na wykorzystywanie nowych technologii w celu usprawnienia funkcjonowania państwa, także rządy innych państw będą musiały brać pod uwagę podstawowe prawa człowieka, w szczególności prawo do ochrony życia prywatnego i zagwarantować, że te wartości nie zostaną naruszone. Biorąc pod uwagę złożoność technologii takich jak sztuczna inteligencja, zapewnienie wystarczającego poziomu transparentności może stanowić wyzwanie. Należy mieć nadzieję, że takie przypadki jak ten Niderlandzki będą jedynie powodować intensyfikację prac w UE, nad regulacjami dot. sztucznej inteligencji i zaawansowanych technologii oraz że ostrze sankcji i wymogów będzie równie mocno skierowane do biznesu, jak i do administracji państwowej.

Autorzy:

Maciej Kubiak – adwokat, wspólnik, współkierujący praktyką własności intelektualnej i nowych technologii.

Zuzanna Kietlińska – praktykantka w dziale własności intelektualnej.