Czy grozi nam dyktatura procedur i algorytmów?

Marek Ryszkowski

Dynamiczne rozpowszechnianie się w przodujących technologicznie krajach urządzeń zinformatyzowanych – w tym robotów i cobotów – w ramach tzw. informatyzacji rzeczy, procedur edukacyjnych i administracyjnych, a nawet technik medycznych, budzi niepokój nie tylko środowisk naukowych.

Dotychczas nie udało się zapewnić bezwzględnej przewidywalności działania tych urządzeń ich konstruktorom, a przede wszystkim osobom współpracującym z nimi na wspólnych stanowiskach roboczych, ani w innych zastosowaniach, np. w systemach nadzoru działania autonomicznych lub quasi-autonomicznych dronów uzbrojonych o przeznaczeniu militarnym lub policyjnym. Wielu przewiduje, że te ostatnie – na razie w wersji nieuzbrojonej, ale wkrótce uzbrojone – mogą znaleźć się w wyposażeniu SUFO.
Roboty i coboty¹⁾ to – trywializując – wysoce zinformatyzowane maszyny o różnym przeznaczeniu i technicznym skomplikowaniu, składające się (jak każde urządzenie informatyczne) z hardware’u i software’u, czyli z tego, co materialne, i z oprogramowania. W części sprzętowej są one z reguły urządzeniami elektro-, pneumo- lub hydromechanicznymi, obudowanymi różnym oprzyrządowaniem dostosowanym do indywidualnego przeznaczenia każdego z nich.

Dla zapewnienia wymaganej niezawodności działania hardware’owego komponentu robotów i cobotów i jego oprzyrządowania podlegają one w okresie swojej eksploatacji doraźnej „alimentacyjnej obsłudze technicznej”, okresowej obsłudze technicznej realizowanej metodą „wg resursu” lub nieregularnej obsłudze technicznej realizowanej w razie potrzeby metodą „wg stanu technicznego”²⁾. Wraz z rozwojem technik informatycznych coraz częściej stosowaną metodą obsługiwania technicznego nie tylko robotów i cobotów staje się obecnie metoda „wg stanu technicznego” uzupełniana „obsługami alimentacyjnymi”.

Każdy rodzaj robotów i cobotów wymaga specjalistycznego oprogramowania, bez którego te najbardziej wyrafinowane urządzenia techniczne będą bezużytecznymi przedmiotami (podobnie jak szpadel, motyka czy topór, jeśli nie weźmie ich do ręki człowiek). I obecnie to jakość oprogramowania robotów i cobotów decyduje, czy zapewniają one wymaganą niezawodność, precyzję i szybkość działania, a jednocześnie akceptowalne bezpieczeństwo dla współpracujących z nimi ludzi. To ostatnie dotyczy szczególnie cobotów.

Ułomności oprogramowania są przyczyną incydentów polegających na pojawianiu się zachowania danego urządzenia, którego jego oprogramowanie nie przewidywało i którego pojawieniu się oprogramowanie to powinno przeciwdziałać. Nieprzewidziane zachowanie się urządzenia zinformatyzowanego może być spowodowane także celowym działaniem człowieka (hakerstwo) czy smogiem elektromagnetycznym.

Twój nowy współpracownik – cobot
Dla laików roboty wydają się być nieszkodliwymi, łatwymi do sterowania urządzeniami, które zastępują ludzi przy niebezpiecznych dla nich pracach na liniach produkcyjnych, i nie tylko. Niestety roboty przemysłowe mogą być niebezpieczne również dla człowieka. Opinia ta wynika z doświadczeń wieloletniego ich stosowania.

Do niedawna robot przemysłowy – maszyna potężna i „inteligentna inaczej”, pracując obok ludzi, musiał być od nich odizolowany barierami mechanicznymi i/lub elektronicznymi. Mimo to zdarzały się wypadki, także śmiertelne, gdy pracownik nieopatrznie znalazł się w strefie jego pracy, a jakaś czujka bezpieczeństwa nie zadziałała lub robot wykonał czynność, której nie powinien wykonać, bo nie przewidywało tego jego oprogramowanie, gdyż człowiek znalazł się w jego strefie pracy.
Współpracę z robotami można powierzyć tylko odpowiednio wyszkolonym do tego pracownikom. Jak zatem zapewnić akceptowalne bezpieczeństwo współpracy człowieka z robotem na wspólnym stanowisku pracy? Należało skonstruować i wdrożyć do współpracy z człowiekiem robota współpracującego – cobota. Ogólne wskazówki, jak należy to zrobić, sformułował już dawno Isaac Asimov w swoich trzech zasadach robotyki³⁾, uzupełnionych przez jego następców o jeszcze jedną zasadę.

A oto wskazania bardziej szczegółowe.

1. Ograniczyć energię ruchów ramion robota lub przemieszczania się jego korpusu w granicach stanowiska pracy do takiego poziomu, by w kontakcie z ciałem człowieka – gdy zawiodą inne stosowane środki bezpieczeństwa, o których niżej – nie był on w stanie stworzyć poważniejszego zagrożenia zdrowia lub życia człowieka.
2. Zastosować „zabezpieczające zatrzymanie monitorowane” (safetyrated monitored stop), np. z wykorzystaniem czujek ruchu PIR, które potrafią wykryć osobę zbliżającą się niebezpiecznie blisko do robota i wyłączyć go. Jest to sposób dość łatwy do wdrożenia, może jednak prowadzić do częstych przestojów robota, by zapewnić należyte bezpieczeństwo poruszających się w jego pobliżu osób. Częste przestoje robota na taśmie przemysłowej nie są mile widziane przez menedżerów produkcji.
3. Zastosować w systemie bezpieczeństwa robota zestaw czujek ultradźwiękowych (sonarów) i/lub czujek reagujących w podczerwieni (lidarów). Zawęzi to strefę wyłączania robota, która zostanie otoczona strefą jego spowalniania w momencie, gdy człowiek zbliży się do jego strefy roboczej. Zatrzymania i przestoje robota będą wówczas rzadsze niż przy użyciu tylko czujek PIR. Rozwiązanie to określa się jako „monitorowanie prędkości i separacji” (speed and separation monitoring). Sprawdza się w wielu zastosowaniach, ale z powodu wirtualnej klatki z nim zintegrowanej przenoszenie robota w inne miejsce wymaga oddzielenia go od stanowiska wraz z wirtualną klatką. Taki zintegrowany system „robot – wirtualna klatka” będzie wymagał ponownego zainstalowania i sprawdzenia poprawności funkcjonowania w nowym miejscu pracy, także w zakresie bezpieczeństwa współpracowników.
4. Wykonać ruchome elementy robota i jego efektora końcowego (np. chwytaka) z miękkiego, giętkiego materiału, co zmniejszy skutki zetknięcia się jego elementów z ciałem człowieka. Jednak elastyczne elementy robota nie zapewniają wystarczającej dokładności i precyzyjnej powtarzalności ruchu lub przyczepności niezbędnej do wykonania zadań (wymagających precyzji działania robota np. z dokładnością do 0,1 mm). Należy zatem poszukiwać innych rozwiązań technicznych zapewniających bezpieczeństwo zetknięcia się ciała ludzkiego z ramieniem roboczym lub innym elementem cobota.
5. Projektować i instalować w robotach oprogramowanie odporne na nieuprawnione modyfikacje zewnętrzne, smog elektromagnetyczny w przestrzeni otaczającej stanowisko pracy robota, zanieczyszczenia stanowiska pracy robota szkodliwymi płynami i/lub gazami technicznymi albo spalinami, a także na oddziaływania mechaniczne środowiska pracy (wibracje, drgania, hałas itp.).

Na rynku wytwórców robotów już działają firmy oferujące modernizację wielu typów tradycyjnych robotów do klasy cobotów lub fabrycznie nowe, produkowane przez siebie coboty. Są wśród nich także firmy polskie. Rozpowszechniania się cobotów nie da się już zatrzymać, gdyż w wielu zastosowaniach są one bardziej przydatne od tradycyjnych robotów. Interesujące są możliwości zastosowania cobotów w systemach safety & security, co może wywrzeć istotny wpływ na funkcjonowanie tej branży w Polsce, i nie tylko.

Czy to już rządy, a nawet dyktatura algorytmów i procedur?
Algorytmy/procedury (A/P) już współrządzą w większym lub mniejszym stopniu w wielu krajach, także tych, które cieszą się ustrojem liberalnej demokracji⁴⁾. Sterowane nimi komputery tworzą olbrzymie bazy danych tzw. profili publicznych obywateli, częściej nazywanych także profilami zaufania społecznego. W niektórych krajach, np. w ChRL, to już codzienność. Niedawno władze chińskie ogłosiły, że do końca 2018 r. sądy odmówiły ponad 17 mln obywateli prawa zakupu biletów lotniczych (także na loty wewnątrzkrajowe), ponad 5 mln – prawa zakupu biletów kolejowych, a 128 obywatelom wydały zakaz wyjazdu poza granice kraju. Powód? Nie zapłacili w terminie podatków, zostali więc wpisani do wspomnianej bazy danych jako obywatele niegodni zaufania społecznego. Może wkrótce i ci obywatele polscy, którzy z jakiegoś powodu mają problemy z fiskusem, odejdą „z kwitkiem” od lotniczej, kolejowej lub innej kasy biletowej albo dowiedzą się w banku, że co prawda mają „zdolność kredytową”, lecz ze względu na ich „nędzny profil zaufania społecznego” algorytm kredytowy banku odmawia udzielenia im jakiegokolwiek kredytu.

W Polsce od niedawna kierowcy nie mają obowiązku posiadania w prowadzonym przez siebie pojeździe dowodu rejestracyjnego tego pojazdu i własnego prawa jazdy. Przy sobie muszą mieć jedynie dowód osobisty. Dobrze jest mieć także odpowiednią ilość biletów NBP o wysokich nominałach lub kartę bankomatową, najlepiej kredytową, na opłatę ewentualnych mandatów, grzywien lub kosztów holowania pojazdu w razie zdarzenia drogowego, uniemożliwiającego dalszą nim jazdę. Dlaczego taki zaszczyt spotkał kierowców? Bo zbudowano w Polsce olbrzymią bazę danych kierowców i pojazdów, do której zdalny internetowy dostęp mają funkcjonariusze policji drogowej i inni funkcjonariusze publiczni, np. ze Straży Granicznej, Inspekcji Drogowej, Inspekcji Skarbowej itp. W połączeniu z bazą PESEL zawiera ona wszystkie niezbędne dane o kierowcach – obywatelach polskich. Także zapewne o tych, którym sądy odebrały na stałe lub na czas określony prawo jazdy. Czy zatem możemy uważać, że w polskiej administracji publicznej nie tworzy się „profili zaufania społecznego” poszczególnych obywateli?

Algorytmy A/P bywają niedoskonałe, podobnie jak ludzie, którzy je tworzą. Nawet gdyby okazały się doskonałe, niezawodne i nieomylne w działaniu, to mogą działać tylko na podstawie danych, które do ich baz wprowadzą ludzie. A wśród nich zdarzają się i tacy, którzy się mylą, są leniwi albo – z sobie tylko wiadomych powodów – świadomie nie dbają o to, by w bazach danych, np. PESEL-u czy pojazdów i kierowców, znajdowały się tylko dane aktualne, prawdziwe i wprowadzane bądź usuwane niezwłocznie, gdy otrzymają polecenie wykonania którejś z tych czynności. O tym, że tacy ludzie w obsłudze różnych baz danych są, świadczą informacje, że w bazie PESEL znajdowało się – a może jeszcze się znajduje – wiele „martwych dusz”, czyli dane osób zmarłych.

Skutkowało to pobieraniem przez nieuprawnione do tego osoby bliskie zmarłym ich emerytur. Takie lub inne nieaktualności w bazach danych być może skutkują także błędnymi decyzjami administracyjnym w innych dziedzinach. Zatem czy możemy mieć pewność, że np. w bazie pojazdów odnotowano dane wszystkich skradzionych samochodów albo wszystkich tych, które nie mają aktualnego badania technicznego? Czy w bazie kierowców znajdują się np. dane wszystkich piratów drogowych, którym decyzjami administracyjnymi lub sądowymi odebrano prawa jazdy na stałe czy zatrzymano choćby tylko na czas określony? Nie mam takiej pewności.

Zinformatyzowane systemy podejmowania decyzji administracyjnych dały już o sobie znać w negatywny sposób w Szwecji (odbierając tysiącom osób prawo do należnych im zasiłków dla bezrobotnych), a także w Australii (nakazując zwrot pobranych świadczeń wypłaconych przez tamtejszy ZUS jako nienależnych, podczas gdy należały się jak najbardziej osobom dotkniętym tymi decyzjami). W Polsce zdarzyło się (we Wrocławiu), że zinformatyzowany system kwalifikowania dzieci do żłobków zapisał trzysta dzieci płci obojga, które jednak nie powinny być zapisane, bo ich prawni opiekunowie nie spełniali wszystkich kryteriów. Spowodowało to zapewne niemałe zamieszanie i niepokoje wielu rodziców, którzy ubiegali się o miejsce dla swojego malucha w tamtejszych żłobkach.

Coraz więcej danych wskazuje na to, że świat „pełznie” ku rządom wspomaganym przez A/P. Świat, w którym „znaczne obszary życia będą zarządzane przez […] kody cyfrowe, którym trudno będzie się […] przeciwstawić i okiełznać je regulacjami (prawnymi – przyp. M.R.)”⁵⁾. A na pewno nie będzie się można do nich dodzwonić, by cokolwiek wyjaśnić.

Jak w niedalekiej przyszłości mogą działać SUFO?
Najpierw nieco o tym, co się działo w styczniu br. na Cosumers Electronics Show w amerykańskim Las Vegas. Otóż w sektorze motoryzacyjnym tej wystawy jedna z firm chińskich prezentowała pierwszy terenowy samochód elektryczny, podobno bogato oprzyrządowany (wariantowo) na potrzeby różnych użytkowników: od myśliwych, poprzez straże leśne, po patrole policyjne i wojskowe. Niewiele wiadomo o wariantach możliwego uzbrojenia tego pojazdu ani o jego prędkości marszowej i zasięgu w jeździe po bezdrożach. Można sobie jednak łatwo wyobrazić, w co może być on wyposażony do użytku przez patrol wojskowy lub SUFO (w ochronie rozległego obszarowo obiektu wojskowego lub obiektu infrastruktury krytycznej).

Najbardziej interesująca na tej wystawie w sektorze motoryzacyjnym była ekspozycja prototypów samochodów latających. Podobno szczególnie oblegane było stoisko jednej z firm koncernu, na którym prezentowano auto ze składanymi skrzydłami. Ten dwumiejscowy pojazd podobno był w stanie w ciągu minuty przestroić się z jazdy na latanie. Jego osiągi w locie: prędkość – 100 km/h, zasięg – 650 km, pułap – ok. 3000 m. Podobny prototyp samochodu jeżdżąco-latającego o zbliżonych parametrach lotu prezentowała na tej wystawie firma japońska. Jeszcze inna firma przedstawiała prototyp drona do przewozu ludzi. Łącznie pokazano kilkanaście prototypów „samochodolotów”, niektóre z nich były „pionowzlotami” o zdolności pionowego startu i lądowania. Wszystkie one miały napęd elektryczny; niektóre wyposażono w elektronikę/awionikę, zapewniającą im autonomię poruszania się po drogach publicznych i w przestrzeni powietrznej, z funkcją autonomicznego powrotu po wykonaniu zadania do miejsca startu.

Jak więc w nieodległej przyszłości może wyglądać ochrona fizyczna rozległych obiektów podlegających obowiązkowi ochrony, wyposażonych w systemy kontroli dostępu, wykrywania intruzów i sygnalizowania napadu, sygnalizowania pożaru oraz dozoru wizyjnego. Wszystkie te systemy zwykle są zintegrowane w obiektowym centrum monitorowania alarmów podłączonym do lokalnego centrum monitorowania alarmów i lokalnego komisariatu policji. Niżej przedstawiono prognozę działania ochrony rozległego obiektu.

1. Po godzinach pracy i w dni wolne od pracy wszystkie ww. systemy są aktywne. W lokalnym CMA dyżurują (w systemie rotacyjnym, np. co 2 godz.) pracownicy ochrony fizycznej.
2. Granice zewnętrzne obiektu (o współczynniku odporności na przekroczenie przez osoby nieuprawnione zależnym od znaczenia obiektu dla obronności lub bezpieczeństwa albo dla lokalnej lub ponadlokalnej infrastruktury, jeżeli zaliczono go do infrastruktury krytycznej) patroluje z powietrza np. dwumiejscowy latający samochód z załogą lub automatyczny bądź dron. Obiekt patrolujący z powietrza przesyła obraz widziany przez zainstalowany na nim zespół kamer dozorowych do obiektowego CMA, gdzie jest on zapisywany i archiwizowany przez co najmniej 30 dób. Obiekt rozległy, np. lotnisko wojskowe lub morski port wojenny, w razie potrzeby powinien być monitorowany z powietrza więcej niż przez jeden z wymienionych środków latających.
3. W chwili pojawienia się jakiegokolwiek sygnału alarmu z jednego z ww. systemów lub od obiektu latającego pracownik obiektowego CMA informuje o tym lokalne CMA i lokalny komisariat policji, przekazując – jeżeli istnieją do tego możliwości techniczne – obraz incydentu powodującego alarm albo werbalnie jego opis.
4. Obiekt latający w trybie ciągłym lub dyskretnym przekazuje obrazy incydentu do obiektowego CMA, jeżeli incydent jest w zasięgu kamer na nim zainstalowanych.
5. Jeżeli rozwój sytuacji staje się niebezpieczny, pracownik lokalnego CMA, na wniosek pracownika obiektowego CMA, wysyła zespół interwencyjny SUFO w celu odparcia próby pokonania granicy ww. obiektu przez osoby nieuprawnione. Zespół ten może poruszać się pojazdem kołowym lub np. dronem osobowym podobnym do tego, którego prototyp prezentowano w Las Vegas. Transport powietrzny zespołu interwencyjnego zapewni szybsze jego przybycie na miejsce incydentu i przystąpienie do działania niż transport kołowy.
6. Jeżeli ww. działania doprowadziły do ujęcia sprawcy incydentu, zostaje on przekazany policji do dyspozycji organów wymiaru sprawiedliwości. Sprawca poszkodowany podczas akcji SUFO jest przekazywany policji po udzieleniu mu pomocy lekarskiej.
7. Ocena ewentualnych szkód w ochranianym obiekcie i ustalenie ich sprawców. Wyniki oceny podlegają przekazaniu organom wymiaru sprawiedliwości.

To lakoniczny opis możliwego prowadzenia podobnych działań z użyciem nowych zinformatyzowanych generacji sprzętu technicznego, w który mogą być wyposażone zespoły pracowników ochrony fizycznej obiektów i urządzeń podlegających obowiązkowi ochrony. Pominięto „biurokrację i papierologię” działania, z którą muszą się uporać pracownicy CMA oraz kierujący zespołem interwencyjnym SUFO. Wytwarzana dokumentacja może zostać wykorzystana w postępowaniu przed sądem, musi więc spełniać wymagania „dokumentów procesowych”.

Niewątpliwą zaletą powietrznego patrolowania granic chronionych obiektów rozległych jest zmniejszenie liczby pracowników ochrony fizycznej, którzy obecnie zapewniają ich ochronę w formie patroli pieszych lub zmotoryzowanych (quady, pojazdy terenowe jedno- i dwuśladowe), a także stałe posterunki, np. na wieżyczkach strażniczych, przy bramach i wejściach na teren obiektu. W omawianym hipotetycznym przypadku wystarczy patrolowanie z powietrza, pod warunkiem że zapewni się całodobową ciągłość patrolowania środkiem/ami lotniczym/ymi, wyposażonym/mi w kamery wideo o zdolności do obserwacji także przy słabym oświetleniu nocnym.

Szansę na taki rozwój sytuacji w systemach ochrony osób i mienia daje rozwój nie tylko informatyzacji urządzeń technicznych, o których była mowa wyżej, lecz także rozwój informatycznej techniki 5G, która zapewnia znacznie szybszą od obecnej transmisję danych między różnymi, zinformatyzowanymi urządzeniami technicznymi. Dotyczy to w naszym przypadku transmisji danych (obrazów lub filmów) z lotniczego środka patrolującego do centrów monitorowania alarmów. Im szybciej i w lepszej rozdzielczości to następuje, tym szybciej zareaguje ochrona obiektu na incydent. Technika 5G ma być wdrożona w Polsce do 2025 r., obecnie jest testowana w Warszawie i Gliwicach.

1) Coboty to specjalnego typu roboty, tzw. roboty współpracujące z ludźmi w tej samej strefie roboczej.
2) Przykładowo samochody są obsługiwane metodą „wg resursu” mierzonego upływem czasu, liczbą przejechanych kilometrów albo wykonaniem określonej liczby cykli pracy, do której zostały zaprojektowane. Bez dokonywania „obsług alimentacyjnych”, czyli uzupełniania paliwa, płynu hamulcowego, płynu do spryskiwania szyb, oleju silnikowego albo płynu niezamarzającego (zimą), daleko takie auto nie zajedzie. W bardziej zaawansowanych technicznie pojazdach komputer pokładowy sygnalizuje kierowcy, już często głosem, ile może jeszcze przejechać kilometrów bez uzupełnienia paliwa, zwraca uwagę na niskie ciśnienie powietrza w konkretnym kole, na zbyt niski poziom oleju lub płynów. Można to już nazwać obsługą pojazdów metodą „wg stanu technicznego”, zwłaszcza gdy komputer sygnalizuje także np. konieczność wymiany klocków hamulcowych, luzy w układzie kierowniczym czy zużycie amortyzatorów w zawieszeniu pojazdu.
3) M. Ryszkowski: Roboty i coboty w systemach safety i security osób i mienia, „a&s Polska” nr 1/2019.
4) J. Winiecki: Rządy algorytmów, „Polityka” nr 11(3203) z 2019 r., str. 42-44.
5) Patrz przypis 4 – cytowany artykuł w „Polityce” nr 11(3202) z 2019 r., str. 44.

Marek Ryszkowski dr inż., ekspert KSOIN, autor licznych artykułów i kilku książek z zakresu prawa ochrony informacji niejawnych, były pełnomocnik ochrony informacji niejawnych w kilku podmiotach prawa handlowego.