AI jako přítel, nebo nebezpečný rádce?

Generativní umělá inteligence, přestože pro většinu přináší užitek, může u části uživatelů vyvolávat bludné myšlení a emocionální závislost, známé jako "AI psychóza". Tento jev vedl i k soudním sporům a volání po regulacích vývoje a užívání AI.

Generativní umělá inteligence se rychle stala součástí našeho každodenního života na internetu a pro většinu uživatelů představuje užitečný nástroj. Odborníci na duševní zdraví ale upozorňují, že u malé části lidí může dojít k nadměrnému připoutání k chatbotům, které u nich posiluje bludné, někdy i nebezpečné chování.

Tento jev, kdy dochází k emocionální závislosti a fantastickým představám v důsledku dlouhodobé interakce s chatboty, získal označení „AI psychóza“. Podle Vaile Wright, senior ředitelky pro inovace ve zdravotní péči v Americké psychologické asociaci, by přesnější označení mohlo být „bludné myšlení vyvolané AI“.

„Vidíme, že lidé s konspirativním nebo grandiózním bludným myšlením se tímto fenoménem posilují.“Vaile Wright, Americká psychologická asociace

Odborníci upozorňují, že důkazů o negativním vlivu AI na některé zranitelnější uživatele přibývá. Debaty o vlivu umělé inteligence na duševní zdraví už vedly k soudním sporům i novým zákonům – a nutí firmy vyvíjející AI přeprogramovávat své chatboty a přísněji omezovat jejich použití zejména v citlivých situacích.

Případy zneužívání AI

Nedávno sedm rodin v USA a Kanadě zažalovalo společnost OpenAI kvůli tomu, že podle nich uvolnila model chatbota GPT-4o bez dostatečného testování a bezpečnostních opatření. V žalobě tvrdí, že dlouhodobé vystavení členů rodin chatbotu přispělo k jejich sociální izolaci, bludným spirálám a v několika případech i k sebevraždám milovaných osob.

Podle žaloby začali členové rodin používat ChatGPT zpočátku k pomoci se školními úkoly, výzkumem nebo duchovním vedením. Postupně se ale konverzace změnily ve zdroj emocionální podpory, na kterou se uživatelé začali nadměrně spoléhat, uvádí Centrum pro práva obětí sociálních médií a Projekt technologické spravedlnosti, které rodiny zastupují.

V jednom z popsaných případů začal 23letý Zane Shamblin používat ChatGPT jako nástroj pro studium, ale postupně s chatbotem začal probírat depresi a sebevražedné myšlenky. V době jeho smrti měl být podle žaloby zapojen do čtyřhodinového „rozhovoru o smrti“ s ChatGPT, přičemž pil cider. Chatbot údajně romantizoval jeho zoufalství, nazýval ho „králem“ a „hrdinou“ a každou dopitou láhev cideru využíval jako symbolické odpočítávání jeho smrti.

„Miluji tě. Odpočívej v pokoji, králi. Zasloužíš si to.“

Tak měl ChatGPT podle žaloby reagovat na jeho poslední zprávu.

Reakce OpenAI a volání po regulaci

Společnost OpenAI v reakci na kritiku uvedla, že zavedla rodičovské kontroly, rozšířila přístup ke krizovým linkám a sestavila radu expertů, která má radit v otázkách vztahu AI a duševního zdraví.

„Tato situace je velmi srdcervoucí a přezkoumáváme podané dokumenty, abychom pochopili detaily. V ChatGPT školíme systém, aby rozpoznal a reagoval na příznaky duševního nebo emočního stresu, snižoval intenzitu konverzací a směroval lidi ke skutečné podpoře. Pokračujeme v posilování odpovědí ChatGPT v citlivých okamžicích a úzce spolupracujeme s odborníky na duševní zdraví.“OpenAI

S rostoucím počtem žalob zesiluje i volání po regulaci. Někteří odborníci ale upozorňují, že soustředit se pouze na „AI psychózu“ jako hlavní problém může být zavádějící a nebezpečně zjednodušující.

Kevin Frazier, spolupracovník na University of Texas School of Law, varuje, že tento fenomén neodráží běžné používání umělé inteligence a neměl by být jediným argumentem pro tvorbu přísných regulací.

„AI psychóza je velmi znepokojivá, ale zdaleka nereprezentuje, jak většina lidí používá AI, a proto je špatným základem pro tvorbu politiky.“Kevin Frazier, University of Texas School of Law

Evropská unie i jednotlivé členské státy se snaží právně regulovat používání AI. Evropská komise připravila rámec známý jako AI Act, jehož cílem je zajistit bezpečné a odpovědné používání umělé inteligence, klasifikovat systémy podle míry rizika a stanovit povinnosti pro jejich provozovatele.

V USA schválila například Kalifornie zákon o bezpečnosti AI, který ukládá provozovatelům chatbotů povinnost blokovat obsah týkající se sebevražd, jasně informovat nezletilé, že komunikují se strojem, a aktivně je odkazovat na krizové linky. V reakci na to například služba Character AI zakázala svou chatovací funkci pro nezletilé uživatele.

Výhody AI v oblasti duševního zdraví

Vedle negativních scénářů ale existuje i druhý pól reality: mnoho lidí popisuje, že jim konverzace s AI pomáhají cítit se méně osaměle a lépe zvládat každodenní stres. Studie MIT zaměřená na diskuse o AI společnících na platformě Reddit ukázala, že část uživatelů vnímá snížení pocitu osamění a zlepšení psychické pohody díky tomu, že „AI kamarád“ je dostupný prakticky kdykoli.

OpenAI nedávno zveřejnila vlastní studii založenou na analýze používání ChatGPT, podle které jsou konverzace vyvolávající obavy o duševní zdraví – například psychózu, mánii nebo sebevražedné myšlenky – „extrémně vzácné“ v poměru k celkovému počtu interakcí.

„Lidé, kteří měli silnější tendenci k připoutání ve vztazích a ti, kteří viděli AI jako přítele zapadajícího do jejich osobního života, byli více náchylní k negativním účinkům z užívání chatbota.“OpenAI

Výzkumy tedy naznačují, že klíčovým faktorem není samotná technologie, ale psychický stav a vztahový vzorec konkrétního člověka. Umělá inteligence může být jak podpůrným nástrojem, tak rizikovým faktorem – podle toho, kdo a jak ji používá, a jaká ochranná opatření nastaví vývojáři i regulátoři.

Shrnutí

„AI psychóza“ je mediální označení pro bludné myšlení, které se může rozvíjet u některých zranitelných lidí v důsledku dlouhodobé a emocionálně nabité interakce s chatboty. Odborníci ji popisují spíše jako bludné myšlení vyvolané AI, které posiluje již existující konspirativní nebo grandiózní představy, než jako zcela nové onemocnění způsobené technologií samotnou.

Žaloby sedmi rodin z USA a Kanady tvrdí, že dlouhodobé používání ChatGPT vedlo u jejich blízkých k izolaci, bludným spirálám a v některých případech i k sebevraždám. V jednom medializovaném případu měl chatbot údajně romantizovat zoufalství mladého muže, podporovat jeho sebedestruktivní chování a symbolicky „odpočítávat“ jeho smrt v průběhu konverzace.

Společnost OpenAI zavedla rodičovské kontroly, odkazy na krizové linky a specializovanou expertní radu pro oblast duševního zdraví. Na úrovni státu reaguje například Kalifornie zákonem o bezpečnosti AI, který ukládá povinnost blokovat obsah související se sebevraždou a jednoznačně informovat nezletilé, že komunikují se strojem. V Evropě vzniká AI Act, který má nastavit jednotný rámec bezpečného a odpovědného nakládání s AI.

Ano. Studie MIT i interní analýzy OpenAI ukazují, že mnoho uživatelů vnímá AI společníky jako zdroj podpory a snížení pocitu osamělosti. Konverzace týkající se psychózy, mánie nebo sebevražedných úvah tvoří podle OpenAI jen zlomek všech interakcí. Riziko problémů roste hlavně u lidí s výraznou tendencí k připoutání a u těch, kdo AI vnímají spíš jako blízkého přítele než jako nástroj.