Zdravotnické AI modely nemají certifikaci a hrozí chaos, varuje asociace

AI ve zdravotnictví sice už teď pomáhá, ale je třeba dbát na bezpečí a využití pouze certifikovaných prostředků. Velké modely zaměřující se na zdravotnictví certifikaci nemají. Měli bychom o tom edukovat lékaře i společnost, varuje Česká asociace umělé inteligence. 

Asociace a její zdravotnická skupina vnímá nástup „health“ režimů generativních modelů jako významný posun. Současně ale upozorňuje, že klíčové je nepřekročit hranici, za kterou se z asistenčního nástroje stává klinická rozhodovací podpora a vzniká reálné riziko pro pacienty i celý systém.

„Zaměření velkých AI modelů na zdravotní problematiku je posun vpřed. Co však bohužel není dobře, je fakt, že si již dnes někteří ve zdravotnictví vypomáhají s dotazy na ChatGPT. Je to také cesta nebezpečná, protože může být vysoce riziková pro pacienty, snadno vytvářet nesplnitelná očekávání a v krajním případě podrývat ty, kteří AI zavádějí správně a podle pravidel,“ říká Matěj Misař, předseda zdravotnické sekce České asociace umělé inteligence (ČAUI) a člen výboru pro AI na ministerstvu zdravotnictví.

„Jakmile AI jakýmkoli způsobem ovlivňuje klinické rozhodování, jsme v režimu klinické rozhodovací podpory. A tam už bez certifikace zdravotnického prostředku podle MDR nemá co dělat,“ doplňuje Misař.

„Nejde jen o to, když AI řekne ‘tohle je diagnóza’. Stačí, když začne doplňovat nebo přepisovat klinický text tak, že mění význam, nebo začne navrhovat další vyšetření a léčbu. To už je klinika a musí to podléhat pravidlům. Nástroje od velkých hráčů OpenAI, Anthropic nebo Google nejsou certifikované zdravotnické prostředky,“ říká Misař.

Odborný pohled lékaře: asistent pro dokumentaci, ne náhrada rozhodování

„Jde o užitečného asistenta pro časově náročnou dokumentaci, nikoli o náhradu lékařského rozhodování. Může pomoci se sumarizací anamnézy nebo přípravou propouštěcích zpráv,” říká neurolog ve FN Ostrava a proděkan pro vědu a výzkum Lékařské fakulty Ostravské univerzity Ondřej Volný. 

Zároveň ale zdůrazňuje nutnost lidské kontroly a validace: „Každý výstup vyžaduje kritické zhodnocení a validaci. Bez AI gramotnosti hrozí nekritické spoléhání na technologii, která nikdy nemůže převzít odpovědnost za pacienty.“

Data a prostředí: bez garantované ochrany je to špatně už na startu

ČAUI upozorňuje, že veřejně dostupné modely přinášejí nejen klinické, ale i bezpečnostní riziko. Zdravotnictví pracuje s nejcitlivějšími daty a použití nástroje mimo kontrolované prostředí může vytvářet nejasnosti i vůči pravidlům ochrany dat.

„Zdravotnictví pracuje s nejcitlivějšími informacemi, které člověk má. Tady se nesmí spoléhat na to, že ‘nějak to dopadne’. ‘Health’ modely vítáme, ale pouze tehdy, pokud běží v prostředí s garantovanou ochranou dat, řízenými přístupy a auditovatelností,“ říká Misař.

Volný k tomu přidává upozornění na rizika nekritického přebírání výstupů a na „nejasnosti v oblasti ochrany citlivých zdravotních dat podle GDPR“.

Co se může stát, když se to používá špatně

Asociace považuje za důležité pojmenovat praktické dopady, pokud budou podobné nástroje masově využívány bez pravidel, a to jak zdravotníky, tak širokou veřejností.

„Mám obavu z toho, co se stane, až budou ‘health’ modely běžně v ruce každému. Začne přibývat falešný klid, zbytečná panika a víc konfliktů v ordinacích. Lidé mohou přijít s ‘diagnózou z chatu’ a budou se hádat s lékaři,“ říká Misař.

„Jednou to člověka uklidní a on přijde pozdě. Podruhé ho to vyděsí a pojede zbytečně na pohotovost. A potřetí to zhorší důvěru mezi pacientem a lékařem,“ shrnuje Misař.

Doporučení ČAUI: AI ve zdravotnictví ano a hned, všude kde se dá, ale vždy správně zavedenou

ČAUI zdůrazňuje, že cesta dopředu není AI brzdit, naopak nutnost je její široká podpora k zavádění v administrativě i diagnostice. Misař ale apeluje na to, abychom ji zaváděli správně podle pravidel, v kontrolovaném prostředí a s jasnou odpovědností.

ČAUI doporučuje držet několik jednoduchých pravidel, která jsou srozumitelná i mimo odbornou komunitu:

• Klinika nejdřív, certifikace vždy: Pokud jde o klinické rozhodování, první volba má být certifikované řešení. V Česku existuje řada systémů, které tuto cestu prošly (např. Carebot, Kardi AI, Aireen) a jsou postavené na jasném klinickém účelu, validaci a regulaci.
• Když jde o zdraví, nechcete „radu z internetu“, chcete ověřený postup a odpovědnost.
• Necertifikované generativní nástroje jen administrativně: přepis, struktura, dohledání zdrojů. Ne doporučení, ne diagnóza, ne návrh léčby.
• Ať vám to přepíše text do odrážek, ale ať vám to nepíše závěry.
• Oddělit přepis od „domýšlení“: Jakmile nástroj začne doplňovat klinický obsah, jsme v režimu klinické rozhodovací podpory a musí se to kvalifikačně posoudit podle MDR.
• Je rozdíl mezi tím, když vám někdo přepíše dopis, a když vám ho začne přepisovat „po svém“ a přidá doporučení.
• Vždy lidská kontrola: Cokoli, co se propíše do dokumentace nebo ovlivní pacienta, musí projít kritickým zhodnocením a schválením lékařem.
• Každý výstup vyžaduje kritické zhodnocení a validaci.
• AI gramotnost jako povinný základ: Bez systematického vzdělávání hrozí nekritické spoléhání na výstupy a riziko chyb.
• Bez AI gramotnosti hrozí nekritické spoléhání na technologii.

„Podporujme ty, kteří to dělají dobře a podle pravidel. Ne proto, že by papír byl důležitější než inovace, ale proto, že ve zdravotnictví rozhodujeme o lidech. AI ano a rychle, všude kde je to možné. V hodnocení snímků, časnému záchytu rakoviny i administrativě, ale vždy správně a bezpečně zavedenou,“ uzavírá Misař.

ZDROJ: ČAUI