Vědci z izraelské Ben Gurionovy univerzity v Negevu se rozhodli otestovat spolehlivost systémů v automobilech Tesla. Použili několik různých metod a v řadě případů uspěli. Výsledky své práce publikovali ve zprávě nazvané Fantom pokročilých systémů asistence řidiče.
Odborníci pod vedením bezpečnostního experta Bena Nassiho zkoušeli ošálit řídící systémy auta tak, aby to řidič nezaznamenal a nemohl tedy adekvátně reagovat. Promítali tedy na pouhý zlomek sekundy vozidlům různé dopravní značky, objekty a překážky a zkoumali, co udělá samořídící auto.
Reklama, která zastaví Teslu
Cílem experimentu bylo ukázat, jak snadno mohou případní útočníci zastavit automobil například vložením obrázku dopravní značky do reklamy zobrazované na digitálním billboardu u silnice. V tomto případě se jednalo o reklamu na hamburger, v jejímž průběhu se na malý okamžik ukáže značka STOP.
Výsledek byl překvapivý: ačkoli se značka objevila a následně zase zmizela, testovací Tesla na ni reagovala náhlým zastavením. Vědci na základě tohoto zjištění doporučují implementovat do algoritmů zodpovědných za chování auta neuronové sítě, které vyhodnocují autenticitu objektu na základě jeho světla, kontextu, povrchu a hloubky.
Další testy ukázaly, jak vnímání okolního světa kamerami bez ohledu na kontext může vést k naprosto mylným výsledkům. Tesla tak prudkým brzděním reagovala na obrázek chodce promítaný na vozovku, jakož i na dopravní značku projektovanou do větví stromů. V obou případech byla dle výstupu palubního počítače přesvědčená o tom, že se jedná o skutečné objekty.
Fantomové obrazy matou Teslu
Vědci připravili několik fantomových obrazů, které sloužily k oklamání pokročilých systémů asistence řidiče (ADAS). Jejích cílem bylo přesvědčit systémy vozidla, aby tyto objekty vnímaly a považovaly za skutečné. Takový objekt může být vytvořen například projektorem nebo ho lze promítat pomocí digitální obrazovky (např. na billboardu).
V další fázi pak testovali fantomové obrazy, jež se zobrazily jen na zlomek sekundy (konkrétně na 125 milisekund). I v tomto případě auta v autonomním režimu reagovala stejně, jako by se jednalo o skutečné objekty. Odborníci konstatují, že se nejedná o chybu ani špatnou implementaci. Dle jejich závěru jde o zásadní nedostatek modelů pro detekci objektů, které nebyly trénovány k rozlišení mezi skutečnými a falešnými předměty.
Zásadním závěrem je, že fantomové objekty lze detekovat pomocí kamer. Je však nutné, aby rozhodující systémy braly v úvahu další kontext, jako je umístění, odražené světlo, povrch a další faktory. Svá zjištění vědci průběžně předávali společnostem Mobileye a Tesla a nyní je na nich, jak se s tímto problémem vypořádají.
