Umelá inteligencia dokáže za niekoľko sekúnd pripraviť analýzu, napísať text či odpovedať na zložité otázky. Stále však platí, že sebavedomá odpoveď nemusí byť správna. Práve takzvané „halucinácie“ patria medzi najväčšie riziká generatívnej AI.
Na túto tému upozornil český odborník Jakub Žák najskôr vo facebookovej skupine Umělá inteligence – AI, ChatGPT, OpenAI – sdílení zkušeností, ktorá má viac ako 140-tisíc členov. Vo svojom príspevku predstavil princíp testovania právnej umelej inteligencie a následne ho podrobnejšie rozpracoval v článku na portáli judgeme.online, kde sa venuje vývoju právnej AI.
Namiesto jednoduchého porovnávania odpovedí navrhuje využívať už existujúce a overené odborné materiály – napríklad súdne rozhodnutia – z ktorých sa vytvoria testovacie scenáre. AI následne rieši konkrétny prípad, odborník vyhodnotí nielen výsledok, ale aj spôsob uvažovania modelu. Z opakovaných testov možno odhaliť chyby, sledovať opakujúce sa vzorce správania a systém postupne zlepšovať.
Nestačí správna odpoveď
Podľa autora je dôležité hodnotiť nielen to, či AI trafila správny výsledok, ale aj to, ako sa k nemu dopracovala.
„Pri vývoji právnej AI som narazil na problém, ktorý podľa mňa rieši množstvo ľudí naprieč odbormi – odborník nedokáže ručne kontrolovať každý výstup. V článku opisujem, ako som sa pokúsil využiť už raz overenú expertnú prácu – konkrétne súdne rozhodnutie – ako základ realistických testovacích scenárov. Nehodnotí sa pritom len finálna odpoveď, ale aj cesta, ktorou sa k nej systém dostal,“ uviedol Jakub Žák vo svojom príspevku.
Autor zároveň dodáva, že podobný princíp môže mať význam aj mimo oblasti právnych technológií. „Myslím si, že podobný princíp môže dávať zmysel aj mimo legal tech. Budem rád za pohľad skúsených ľudí aj tých, ktorí sa v AI ešte len rozkukávajú,“ doplnil.
Práve preto sa čoraz viac hovorí o potrebe systematického testovania AI namiesto jednorazového overovania. Tento prístup využívajú aj vývojári špecializovaných systémov v oblastiach, kde chyba môže mať vážne následky – napríklad v práve, zdravotníctve či financiách. Téme sa venuje aj odborný portál legaltocode.com, ktorý sa zameriava na využitie umelej inteligencie v právnej praxi.
Týka sa to aj bežných používateľov
Aj keď článok opisuje vývoj právnej AI, rovnaký princíp možno využiť pri každodennom používaní ChatGPT či iných jazykových modelov.
Ak AI pripraví dôležitý text, zhrnutie alebo odbornú analýzu, oplatí sa:
- overiť citované zdroje,
- skontrolovať fakty v dôveryhodných databázach,
- porovnať odpoveď s viacerými zdrojmi,
- pri dôležitých rozhodnutiach nespoliehať len na jedinú odpoveď AI.
Práve nekritické preberanie výstupov umelej inteligencie môže viesť k šíreniu nepresností alebo úplne vymyslených informácií.
AI sa zlepšuje, ale kontrola zostáva nevyhnutná
Vývoj umelej inteligencie napreduje veľmi rýchlo a nové modely sú výrazne presnejšie než ich predchodcovia. Odborníci však upozorňujú, že ani najmodernejšie systémy nie sú neomylné a v odborných oblastiach musia ich odpovede prechádzať kontrolou človeka. Výskumy aj skúsenosti z právnej praxe ukazujú, že AI je výborným pomocníkom pri analýzach či tvorbe návrhov, no zodpovednosť za konečné rozhodnutie zostáva na človeku. Tejto problematike sa venuje napríklad aj odborný blog davidkemp.ai, ktorý rozoberá význam overovania výstupov generatívnej umelej inteligencie.
Diskusia o spoľahlivosti umelej inteligencie bude s jej rastúcim využívaním čoraz dôležitejšia. Odborníci sa zhodujú, že AI dokáže výrazne zrýchliť prácu, no jej odpovede by mali byť najmä pri právnych, medicínskych či finančných témach vždy predmetom kritického overenia človekom.
