Máme tady další pokus o evoluční AI, která s pomocí zpětnovazebního učení a genetických mutací vyvinula cosi, co vzdáleně připomíná chobotnici nebo pavouka. Jmenuje se DERL (PDF) – Deep Evolutionary Reinforcement Learning – a pochází ze Stanfordu.
Neuronová síť napodobuje Darwinovu evoluční teorii. To znamená, že se síť učí neustálým vytvářením potomků, kteří pomocí mutací postupně mění svůj tvar a schopnosti tak dlouho, dokud nesplní úkol. Tím je zdolání překážky, ale třeba také přesun kostičky ve virtuálním prostředí fyzikálního simulátoru MuJoCo.
Zpočátku to může být třeba jen prostá rovina a schopnost dostat se z bodu A do bodu B, k čemuž jsou potřeba končetiny. Postupem času se ale úkoly komplikují a rovinu vystřídá zvlněný terén.
Evoluční AI DERL
Lamarackova evoluce
Podobných evolučních simulátorů tu už bylo mnoho, většinou se ale jednalo o jednoduší modely na bázi již století překonané lamarckistické teorie. Ta na rozdíl od Darwina předpokládá, že se z rodičů na potomka mohou dědit nejen základní biologické rysy, ale i zkušenosti ze života, které se promítnou do genetické informace.
Kdybychom žili v lamarckistickém světě, možná bychom v dětství nikdy nesáhli na rozpálenou plotnu, protože by se tato zkušenost jako určitý instinkt přenesla z předchozích generací.
Pro simulace AI je ale přístup J. B. Lamarcka docela vhodný, protože to výrazně zjednodušuje architekturu neuronové sítě.
Darwinova evoluce
U Darwina naopak každý nový umělý tvoreček začíná od nuly a generaci od generace jej postupně mění jen sled přirozených mutací. Taková simulace je tedy ve svém evolučním vývoji mnohem pomalejší, ale o to realističtější.
DERL vytváří podivné tvorečky v simulátoru MuJoCo
Jak to dopadlo? Darwinistický DERL v simulaci vytváří podivné hranolovité tvorečky UNIMAL, kteří se podle stanoveného DoF (stupně volnosti) učí pohybovat svými končetinami tak dlouho, dokud pochopí, jak se přesouvat po mapě. Ostatně, podívejte se na video: