Hned dvě ze tří „tvrdých“ Nobelových cen byly letos uděleny za objevy související s umělou inteligencí. Ponechme teď stranou, jak to především fyziky naštvalo, a berme jako fakt, že umělá inteligence proniká do našich životů a že tento trend prostě nelze ignorovat.
Na druhé straně je ale namístě i zdravá dávka skepse, protože AI, jak jsme si zvyklí ji zkráceně označovat, sice umí přímo geniálně predikovat tvar bílkovinné molekuly na základě zadání aminokyselinové sekvence, ale při jiných příležitostech podává výkony průměrné či dokonce chabé.
A radit se s ní při rozhodování důležitých otázek se nemusí pokaždé vyplatit. Názornou ukázku přináší studie týmu vedeného Hagenem Nicolausem z Friedrich-Alexander-Universität Erlangen-Nürnberg publikovaná ve vědeckém časopise BMJ Quality and Safety.
Vědce z Nicolausova týmu zajímalo, jak to dopadne, když si nechá pacient radit od umělé inteligence v otázce léků. Výsledek prověrky výzkumníky nenadchnul. Mnoho informací bylo chybných a pokud by se pacient podle některých zařídil, ohrozil by tím své zdraví.
Ani správné odpovědi nemusí být pro pacienta zrovna terno, protože informace jsou podány tak složitě, že jim bez patřičného vzdělání běžný člověk neporozumí. To je vada dost podstatná, protože ten, kdo má „patřičné vzdělání“, většinou nebývá při shánění informací odkázán na umělou inteligenci. Ta by měla pomáhat hlavně těm, kteří příslušné vzdělání v oboru nemají.
S umělou inteligencí samozřejmě „konzultují“ i odborníci a řada studií proto hodnotila kvalitu informací, které tak profesionálové získávají. Umělou inteligenci ale stále více využívají i laici. Kvalitu služeb, jakou jim AI poskytuje, ale vědci zatím nijak zvlášť nezkoumali. V tom je studie Nicolause a spol. nejen zajímavá, ale i důležitá.
500 otázek pro AI
Nicolaus a jeho tým nechali umělou inteligenci odpovídat dotazy na 50 nejčastěji předepisovaných léků a následně hodnotili srozumitelnost, úplnost a správnost odpovědí. Na každý lék položili celkem 10 otázek, takže získali celkem 500 odpovědí.
Otázky ohledně léků konzultovali s praktickými lékaři a lékárníky a volili ty, které pacienti kladou nejčastěji. Dotazy se tak týkaly např. toho, na jaké choroby se léky užívají, jaké jsou mechanismy účinku, jak se mají správně užívat, zda a jaké lze očekávat nežádoucí vedlejší účinky a také jaké jsou u léků kontraindikace.
Srozumitelnost odpovědí hodnotili vědci Fleschovým skóre snadnosti čtení, které stanovuje úroveň vzdělání potřebnou k pochopení čteného textu. Texty se skóre 0 až 30 jsou komplikované a k plnému pochopení vyžadují vysokoškolské vzdělání. Na druhé straně škály jsou texty se skóre 91 až 100, které pochopí 11leté dítě.
Pro hodnocení úplnosti srovnávali vědci odpovědi umělé inteligence s obsahem webových stránek určených pro profesionály a pro pacienty. Správnost odpovědí a závažnost možných následků špatných odpovědí hodnotilo nezávisle na sobě sedm expertů. Ti stanovili dopady chyb v odpovědích podle kritérií agentury AHRQ, která dohlíží na kvalitu lékařské péče.
Nesrozumitelné, nekompletní i zavádějící
Odpovědi umělé inteligence měly průměrné Fleschovo skóre snadnosti čtení 37, což znamená, že pro pochopení většiny textů generovaných umělou inteligencí bylo zapotřebí vysokoškolské vzdělání. I ty nejsrozumitelnější odpovědi vyžadovaly alespoň maturitu.
Nejkompletnější odpovědi poskytovaly na daný dotaz 100 % informací, ale průměrná úplnost odpovědí se pohybovala kolem 77 %. Umělá inteligence odpovídala kompletně na polovinu otázek, ale otázka: „Na co si mám dát pozor při užívání léku?“ byla zodpovězena v průměru jen z jedné čtvrtiny. Experti hodnotili jako zavádějící 29 % odpovědí.
Pokud jde o riziko poškození zdraví, tak to bylo vysoce pravděpodobné u 3 % chybných odpovědí a pravděpodobné u 29 %. Bez ohledu na pravděpodobnost poškození zdraví mohlo mít uposlechnutí 42 % chybných odpovědí za následek mírné až střední škody na zdraví a u 22 % hrozila vážná újma či dokonce smrt.
„V naší studii jsme zjistili, že vyhledávače s chatbotem poháněným umělou inteligencí produkovaly celkem úplné a přesné odpovědi na otázky pacientů. Odpovědi chatbotů však byly z velké části obtížně srozumitelné a odpovědi opakovaně postrádaly informace nebo vykazovaly nepřesnosti, což mohlo pacienty ohrozit. Velký problém představuje neschopnost chatbota porozumět podstatě otázky pacienta.
Navzdory potenciálu umělé inteligence je pro pacienty i nadále důležité, aby se poradili se svými lékaři, protože chatboti nemusí vždy generovat bezchybné informace. Při doporučování vyhledávačů s umělou inteligencí nabádáme k opatrnosti do doby, než budou k dispozici nástroje pracující s vyšší mírou přesnosti,“ píší Nicolaus a spol. závěrem své studie.