CLOUDY podcast | #32 AI halucinácie: Prečo si umelá inteligencia vymýšľa a ako ju správne používať?

Prečo AI radšej klame, namiesto toho, aby priznala, že odpoveď nepozná?

Tento problém súvisí so spôsobom trénovania modelov. Keďže sa učia na princípe získavania odmien, sú motivované generovať užitočné odpovede, no za priznanie nevedomosti nedostávajú žiadnu pozitívnu spätnú väzbu ani odmenu. Model je tak nepriamo nútený tipovať. Je to podobné ako u študenta, ktorý píše test – ak mu nehrozia negatívne body za nesprávnu odpoveď, radšej si niečo tipne, než by nechal otázku nezodpovedanú.

Aké faktory najviac ovplyvňujú vznik nepresných odpovedí?

Jedným z kľúčových faktorov je nedostatok kontextu v zadaní. Ak je otázka príliš všeobecná, model si môže pomýliť oblasti, ktorých sa téma týka. Ďalším dôvodom je časové obmedzenie dát. Ak bol model trénovaný na dátach končiacich v roku 2023, o udalostiach či filmoch z roku 2025 nebude vedieť nič a začne si domýšľať na základe predchádzajúcich vzorov. Taktiež kvalita dát zohráva úlohu – ak model čerpá z internetu, kde existujú protichodné informácie (napríklad o tom, či je Zem plochá), môže vygenerovať nesprávny záver na základe prevahy určitého typu obsahu v jeho tréningovej sade.

V ktorých oblastiach predstavujú halucinácie najväčšie riziko?

Kriticky nebezpečné sú najmä sektory ako zdravotníctvo a financie. V zdravotníctve by ľudia mali brať AI len ako pomocný nástroj na rešerš, no nikdy by si nemali na jej základe sami stanovovať diagnózu, pretože riziko nesprávnej informácie je vysoké. Podobne je to vo financiách – model môže odporučiť investíciu alebo bankový produkt na základe neaktuálnych údajov, čo môže viesť k finančnej škode. V týchto prípadoch je konzultácia s odborníkom a overenie aktuálnosti údajov nevyhnutné.

Ako môžeme efektívne komunikovať s AI, aby sme minimalizovali chyby?

Základom je tzv. inžinierstvo kontextu (prompt engineering). Namiesto jednoduchej otázky v jednej vete je potrebné modelu zadefinovať presnú situáciu a kontext. Účinné je tiež zadať modelu pokyn, v akých prípadoch sa má radšej zdržať odpovede. Existujú výskumy naznačujúce, že ak sme k modelu prísnejší a vyžadujeme presnosť, výsledky môžu byť lepšie. Naopak, zdvorilosť typu „prosím“ a „ďakujem“ niekedy len zbytočne spotrebúva tokeny (výpočtový výkon) bez reálneho vplyvu na kvalitu faktu.

Je možné prinútiť model, aby si svoje informácie spätne preveril?

Áno, moderné modely majú prístup k nástrojom na prehľadávanie webu a databáz. Ak máte pochybnosti o odpovedi, môžete model požiadať, aby skontroloval oficiálne zdroje alebo aby uviedol konkrétne weby, z ktorých čerpal. Je dôležité si tieto zdroje reálne otvoriť a overiť, či odpoveď modelu skutočne korešponduje s citovaným textom. Tiež je vhodné definovať konkrétne zdroje, z ktorých má model výhradne čerpať, čím sa eliminuje vplyv nespoľahlivých stránok.

Budú halucinácie v budúcnosti úplne odstránené?

Hoci sa technológia vyvíja míľovými krokmi a novšie, často platené modely halucinujú výrazne menej, tento fenomén pravdepodobne úplne nezmizne. Halucinácie sú totiž prepojené so samotnou architektúrou súčasných veľkých jazykových modelov, ktoré fungujú na princípe štatistického odhadovania nasledujúceho slova. Na ich úplné odstránenie by bolo potrebné vyvinúť úplne inú technologickú architektúru. Dovtedy zostáva najlepšou ochranou kritické myslenie, používanie zdravého rozumu a dôkladné overovanie faktov.

Expert z Aliter Technologies odporúča:

• Overovať zdroje: Využívajte nástroje na prehľadávanie webu a pýtajte sa modelu na konkrétne zdroje a weby, z ktorých čerpal.

• Pracovať s kontextom: Čím viac informácií o svojej situácii modelu poskytnete, tým presnejšia bude odpoveď.

• Dôsledne promptovať: Do zadania môžete explicitne napísať, aby sa model v prípade neistoty radšej zdržal odpovede alebo skontroloval oficiálne zdroje.

Celý podcast si môžete vypočuť na 👉 Spotify,👉 Apple podcastoch alebo pozrieť na 👉 YouTube.