CLOUDY Podcast | #32 AI halucinace: Proč si umělá inteligence vymýšlí a jak ji správně používat?

Proč AI raději „lže“, místo aby přiznala, že odpověď nezná?

Tento problém souvisí se způsobem trénování modelů. Jelikož se učí na principu získávání odměn, jsou motivovány generovat užitečné odpovědi, ale za přiznání nevědomosti nedostávají žádnou pozitivní zpětnou vazbu ani odměnu. Model je tak nepřímo nucen tipovat. Je to podobné jako u studenta, který píše test – pokud mu nehrozí negativní body za špatnou odpověď, raději si něco tipne, než aby nechal otázku nezodpovězenou.

Jaké faktory nejvíce ovlivňují vznik nepřesných odpovědí?

Jedním z klíčových faktorů je nedostatek kontextu v zadání. Pokud je otázka příliš obecná, model si může splést oblasti, kterých se téma týká. Dalším důvodem je časové omezení dat. Pokud byl model trénován na datech končících v roce 2023, o událostech či filmech z roku 2025 nebude vědět nic a začne si domýšlet na základě předchozích vzorců. Také kvalita dat hraje roli – pokud model čerpá z internetu, kde existují protichůdné informace (například o tom, zda je Země plochá), může vygenerovat nesprávný závěr na základě převahy určitého typu obsahu ve své trénovací sadě.

Ve kterých oblastech představují halucinace největší riziko?

Kriticky nebezpečné jsou zejména sektory jako zdravotnictví a finance. Ve zdravotnictví by lidé měli brát AI pouze jako pomocný nástroj pro rešerši, nikdy by si však na jejím základě neměli sami stanovovat diagnózu, protože riziko nesprávné informace je vysoké. Podobně je tomu ve financích – model může doporučit investici nebo bankovní produkt na základě neaktuálních údajů, což může vést k finanční škodě. V těchto případech je konzultace s odborníkem a ověření aktuálnosti údajů nezbytné.

Jak můžeme efektivně komunikovat s AI, abychom minimalizovali chyby?

Základem je tzv. inženýrství kontextu (prompt engineering). Místo jednoduché otázky v jedné větě je potřeba modelu definovat přesnou situaci a kontext. Účinné je také zadat modelu pokyn, v jakých případech se má raději zdržet odpovědi. Existují výzkumy naznačující, že pokud jsme k modelu přísnější a vyžadujeme přesnost, výsledky mohou být lepší. Naopak zdvořilost typu „prosím“ a „děkuji“ někdy jen zbytečně spotřebovává tokeny (výpočetní výkon) bez reálného vlivu na kvalitu faktů.

Je možné přimět model, aby si své informace zpětně ověřil?

Ano, moderní modely mají přístup k nástrojům pro prohledávání webu a databází. Pokud máte pochybnosti o odpovědi, můžete model požádat, aby zkontroloval oficiální zdroje nebo aby uvedl konkrétní weby, ze kterých čerpal. Je důležité si tyto zdroje skutečně otevřít a ověřit, zda odpověď modelu skutečně odpovídá citovanému textu. Také je vhodné definovat konkrétní zdroje, ze kterých má model výhradně čerpat, čímž se eliminuje vliv nespolehlivých stránek.

Budou halucinace v budoucnosti úplně odstraněny?

Ačkoli se technologie vyvíjí mílovými kroky a novější, často placené modely halucinují výrazně méně, tento fenomén pravděpodobně zcela nezmizí. Halucinace jsou totiž propojené se samotnou architekturou současných velkých jazykových modelů, které fungují na principu statistického odhadování následujícího slova. K jejich úplnému odstranění by bylo nutné vyvinout zcela jinou technologickou architekturu. Do té doby zůstává nejlepší ochranou kritické myšlení, používání zdravého rozumu a důkladné ověřování faktů.

Expert z Aliter Technologies doporučuje:

• Ověřovat zdroje: Využívejte nástroje pro prohledávání webu a ptejte se modelu na konkrétní zdroje a weby, ze kterých čerpal.

• Pracovat s kontextem: Čím více informací o své situaci modelu poskytnete, tím přesnější bude odpověď.

• Důsledně promptovat: Do zadání můžete explicitně napsat, aby se model v případě nejistoty raději zdržel odpovědi nebo zkontroloval oficiální zdroje.

Celý podcast si můžete poslechnout na 👉 Spotify,👉 Apple podcastoch nebo se podívat na 👉 YouTube.