DeepXplore hledá chyby a nebezpečí v neznámých útrobách hlubokých neuronových sítí

  • Vědci vytvořili nástroj pro zkoumání a testování hlubokých neuronových sítí
  • DeepXplore má za cíl prozkoumat zákoutí chování, které může být značně nebezpečné
  • S novým nástrojem budou umělé inteligence ještě „dokonalejší“

Vědci z univerzity v Kolumbii a univerzity Lehigh představili systém automatického testování hlubokých neuronových sítí DeepXplore, který se snaží odkrývat dosud neviděné souvislosti a chování uvnitř těchto sítí a odhalit tak jejich chyby, problémy, slabiny či potenciální nebezpečí, které se mohou projevit jen v určitých případech, takže je nelze jednoduše detekovat při standardních testech.

Vzhledem k tomu, že se hluboké neuronové sítě (DNN) začínají používat v rámci umělé inteligence takřka všude, je nový systém testování velkým přínosem pro všechny segmenty.

Hluboké neuronové sítě zažívá za poslední roky obrovský rozmach, především díky tomu, že jsou velmi efektivní v mnoha oblastech, kde doposud vládl lidský mozek. Dočkali jsme se tak opět typických porážek člověka strojem, tentokrát v mnohem náročnějších úlohách (například ve hře Go, rozpoznávání obrazu, zvuku a další) a brzy tak dojde k nahrazení ve velmi „lidských“ dovednostech jako je třeba řízení vozidla a dalších činnostech, které pracují s obrovským množstvím dat i ze spousty senzorů.

Černá skříňka

Problémem hlubokých neuronových sítí je, že jsou uvnitř tak komplikované (generují se dle trénování, nikoli přímo člověkem), že vlastně nevíme, co je uvnitř, respektive proč má daná hluboká neuronová síť takovou či makovou konfiguraci. Pochopitelně jde o komplexní modely, nikoli jednoduché, kde si lze částečně představit například různé váhy rozhodování a podobně. Taková komplexnost je zkrátka pro lidský mozek nepochopitelná.

S používáním těchto sítí tak přichází nebezpečná situace, protože je mnohem těžší predikovat, jak se bude daná umělá inteligence chovat a hlavně, zda se bude chovat správně v nějakém nestandardním případě. Důvodem komplikací je několik, kromě samotných trénovačích algoritmů je to i chyba ve vstupních datech nebo třeba přetrénování.

Tvůrci pochopitelně podrobně testují nové modely, ale není v možnostech otestovat vše a problém se tak týká v různých krajních situacích. A právě na detaily uvnitř sítí se zaměřuje systém DeepXplore alias „whitebox framework“.

Nalezení a odstranění chyby

Najít v takto komplexních sítích logickou chybu je jedna věc, druhou (a možná ještě těžší) je její odstranění. DeepXplore přichází s takzvaným „neuronovým pokrytím“ coby metrikou, kdy se snaží na základě vstupních dat měřit i jednotlivé částí hluboké neuronové sítě a tedy i její chování při různých krajních situacích.

Základní kontrola se provádí ve spojení s několika hlubokými neuronovými sítěmi s mírně odlišnými nastaveními. Díky tomu dochází i ke kontrole konzistence s pomocí diferenciálního testování.

Obrovské množství chyb

Automatizovaný systém je extrémně důležitý, protože chyb je opravdu hodně. Vědci si vzali na paškál snímky ze známých databází MNIST, ImageNet nebo třeba data o virech a pomocí těchto dat trénovali populární hluboké neuronové sítě.

V rámci testování přes DeepXplore našli velmi rychle tisíce různých nestandardních chování, což platí jak pro chybné autonomní řízení (vyhodnocování obrazu), tak i špatnou detekci virů. Celkem bylo otestováno 15 modelů s 132 057 neurony na datech o objemu 162 GB.

Typickou ukázku můžete vidět i na fotografii vozovky, kdy při standardním jasnosti obrazu umělá inteligence správně vyhodnotila, že má zatáčet doleva. V případě nižšího jasu ale nesmyslně začala zatáčet doprava, což potenciálně může znamenat smrt uživatele. Odstranění takových nebezpečných chyb je tak extrémně důležité a aby bylo možné vyzkoušet co možná nejvíce variant všeho, je nutné vše provádět automatizovaně v rámci několika sítí. Nelze si totiž představovat, že se bude člověk ručně probírat každým rozdílem, ale zkrátka jakmile třeba jedna z pěti sítí dá jiný výsledek, s velkou pravděpodobností se jedná o nějakou krajní situaci a ostatní sítě se zachovaly správně.

Robustnější umělá inteligence

Pokud chceme umělé inteligenci dát do rukou doslova vlastní život, je nutné, aby byla neuvěřitelně dobrá a konzistentní. Nerozhodily ji nějaké změny barev nebo nelogické věci, které jsou ke správnému vyhodnocení jednoduché i pro malé děti.

DeepXplore slouží přesně k tomu, aby umělé inteligence byly ještě více testované i zevnitř a jejich robustnost tak byla na stále vyšší úrovni.

Podrobný materiál k výzkumu si můžete stáhnout v PDF.

Pro Google je umělá inteligence už na prvním místě:

Diskuze (9) Další článek: Mobilní revoluce není jen iPhone. Také Android už je s námi 10 let

Témata článku: Google, Umělá inteligence, Věda, Výzkum, Bezpečnost, Strojové učení, Neuronová síť, Síť, Pravděpodobnost, Paškál, Špatná detekce, Odlišné nastavení, Komplexnost, DNN, Inteligence, Nový model, Dovednost, Obrovský rozmach, Určitý případ, Nalezení, Obrovské množství, Dee, Standardní test, Komplexní síť, Nový systém



Bude to o prsa. Facebook a Instagram pořád neví, kdy jsou zobrazené bradavky porno

Bude to o prsa. Facebook a Instagram pořád neví, kdy jsou zobrazené bradavky porno

**Meta má zjednodušit pravidla a být ke všem spravedlivá **Facebook s Instagram věnují samostatný odstavec bradavkám **Pravidla ale neřeší nebinární, transsexuální a intersexuální osoby

Petr Urban
InstagramFacebookSociální sítě
Test notebooku Acer Swift Edge. Lehkou OLED žiletku už můžete mít i s úhlopříčkou 16“

Test notebooku Acer Swift Edge. Lehkou OLED žiletku už můžete mít i s úhlopříčkou 16“

Extrémně tenké a lehké notebooky byly doposud doménou malých úhlopříček, což se Acer rozhodl změnit a zkombinovat to navíc i s úchvatným 4K OLED displejem.

Antonín Trčálek
AcerTestyNotebooky
U filipínského ostrova Luzon se na obloze objevilo něco neznámého. Mohla by to být nová čínská vzducholoď

U filipínského ostrova Luzon se na obloze objevilo něco neznámého. Mohla by to být nová čínská vzducholoď

** Na internetu se objevily snímky něčeho, co by mohla být vzducholoď určená k dlouhodobým letům ve velkých výškách ** Tento objekt se pohyboval v blízkosti západního pobřeží filipínského ostrova Luzon ** Vzhledem k okolnostem by mohlo jít o moderní čínskou vojenskou vzducholoď

Stanislav Mihulka
VzducholoďVojenství
Všichni žijeme v Bublině. Je velká 1000 světelných let a magnetizovaná

Všichni žijeme v Bublině. Je velká 1000 světelných let a magnetizovaná

** O bublinách v galaxiích toho víme jen velmi málo ** Theo O’Neill a jeho kolegové se to snaží zlepšit ** Zmapovali magnetická pole naší Lokální Bubliny

Stanislav Mihulka
Astronomie
Na povrchu Měsíce je tolik kyslíku, že by stačil pro lidstvo na 100 tisíc let

Na povrchu Měsíce je tolik kyslíku, že by stačil pro lidstvo na 100 tisíc let

** Lidstvo se připravuje na kolonizaci Měsíce ** Jednou ze základních surovin, bez nichž se na naší přirozené družici neobejdeme, je nepochybně kyslík ** Kde ho vzít?

Stanislav Mihulka
KolonizaceMěsícO2