Systemy uczone maszynowo mogą wydawać się bardzo sprytne, ale da się oszukać je trikiem, na który człowiek nie nabrałby się. Oto atak na SI, odpowiedzialną za rozpoznawanie obrazów, wykorzystujący kolorowe, abstrakcyjne nalepki.

Na konferencji Neural Information Processing Systems w Long Beach w USA grupa naukowców Google’a zademonstrowała pracę pokazującą, jak prosto można oszukać wyrafinowane systemy automatycznego rozpoznawania obrazów, twarzy i obiektów. Badacze wykorzystali fakt, że sztucznej inteligencji brakuje… rozsądku – w ludzkim rozumieniu tego słowa. Do ataku, opracowanego przez pięciu badaczy, służą kolorowe, drukowane naklejki, które zawierają specyficzny, mocno abstrakcyjny, wręcz psychodeliczny wzór. Co powodują naklejki? Gdy jedną z nich umieścimy obok obiektu, poprawnie dotąd identyfikowanego przez sztuczną inteligencję, ta natychmiast przestanie go prawidłowo rozpoznawać.

Powyższy film przedstawia atak na algorytm rozpoznawania obrazu. Komputer, który wcześniej prawidłowo rozpoznawał banana, z powodu naklejki dosłownie „głupieje” i zaczyna „widzieć” toster. Co ciekawsze, psychodeliczna nalepka okazuje się być dla maszyny tosterem dużo bardziej niż faktyczne zdjęcie tostera, położone obok banana.

Dodatkowo badacze zwracają uwagę, że atakujący nie musi wiedzieć, jaki obraz rozpoznawany przez SI ma być poddany manipulacji. Nie ma znaczenia, czy chodzi o banana czy cokolwiek innego, np. bombę. Wystarczy, że w polu widzenia sztucznej inteligencji zostanie umieszczona specjalna nalepka (to zwykły wydruk, który – co też podkreślają naukowcy – można łatwo powielić) i cały wyrafinowany mechanizm rozpoznawania obrazów przestaje spełniać swoją rolę.

Różne typy naklejek, opracowane przez naukowców, prezentujących atak na SI (graf. arxiv.org)

Jak to w ogóle możliwe, że niewielka, mniejsza od właściwego obiektu, nalepka na tyle silnie przykuwa uwagę AI, że ta „traci rozum”? Problem tkwi w kognitywnych skrótach procesu rozpoznawania obrazu. Ludzkie umysły również bardzo często korzystają ze skrótów i uproszczeń na drodze przetwarzania sygnałów percepcyjnych z otoczenia. Przetwarzanie wszystkich dostępnych danych jest niemożliwe, bo byłoby po prostu zbyt pracochłonne. Oszukiwanie ludzkiego umysłu można zaobserwować we wszelkiego rodzaju iluzjach optycznych, które są odpowiednikiem ataku na biologiczny system postrzegania. Komputery widzą obraz zupełnie inaczej niż ludzie, ale sieci neuronowe w systemach rozpoznawania obrazu również stosują skróty kognitywne, czego właśnie użyli naukowcy, projektując „nalepkowy atak”.

Sprawa na pierwszy rzut oka być może wydaje się wam trywialna, albo zabawna. Jednak gdy zdamy sobie sprawę jak wiele systemów zautomatyzowanego rozpoznawania obrazów pomaga nam w podejmowaniu decyzji, okaże się, że łatwość nabrania sztucznej inteligencji w taki sposób jest groźna. Naukowcy podkreślają, że nalepki z perspektywy człowieka wyglądają niewinnie, przypominając np. sztukę abstrakcyjną, ale w przypadku silnie chronionych obiektów, takich jak lotniska, mają szansę skutecznie zakłócić pracę systemów komputerowych.

Zainteresowani szczegółami mogą sięgnąć do pracy badaczy Google’a.

 

 

 

 

Źródło: chip

Polecane: