CLOUDY podcast | #33 Proč vám chatbot nerozumí – od promptů ke kontextovému inženýrství

Kam se posunul vývoj v komunikaci s chatboty za poslední měsíce?

Blížíme se od klasického prompt engineeringu právě ke context engineeringu, který je rozšířením o další metody a techniky, jimiž můžeme chatbota vylepšit nebo přizpůsobit, aby nám dával lepší odpovědi. V minulosti byl prompt engineering natolik důležitý, že byl i samostatnou pracovní pozicí.

V dnešní době už u jednodušších úkolů chatboty zhruba vědí, co od nich člověk očekává, a umí naladit svou odpověď. Když však jde o něco složitějšího a strukturovanějšího, kde chceme přesný postup nebo speciální formát, tehdy se vyplatí být v instrukcích konkrétnější.

Jaký je rozdíl mezi chatbotem a AI agentem?

Chatbot je určen jako nástroj pro chatování – zadáme mu otázku a on nám vygeneruje slovní odpověď. Agent má schopnost konat činy. Příkladem je, když dokáže prohledávat web (což už dokáže většina moderních chatbotů), tehdy už se dá mluvit o agentovi.

Tyto funkce se postupně posouvají vpřed a integrují se do „syrových“ chatbotů. Agenti dnes dokážou vykonávat činnosti, jako je posílání e-mailů, tvorba grafů nebo funkce Deep Research, kdy se snaží prohledat web, ověřit informace a vytvořit z nich přesný a strukturovaný obraz.

Co se děje v pozadí, když chatbot využívá funkci uvažování (Thinking)?

Uvažování přišlo s tzv. reasoning modely. Je založeno na technice „chain of thought“ neboli řetězec myšlenek. U komplexního úkolu neriskujeme, že se v tom chatbot ztratí, ale zadáváme mu úkol po krocích.

Reasoning modely jsou dotrénované tak, že tento proces mají v sobě integrovaný nativně. Při funkci „thinking“ si chatbot rozloží otázku sám na několik menších podúkolů, vypracuje každý z nich a poté vrátí finální odpověď i s popisem jednotlivých kroků. Je to dobrá technika, jak se dopracovat k lepšímu výsledku.

Co je to technologie RAG a proč je důležitá pro firmy?

Retrieval Augmented Generation (RAG) je způsob, jak doučit chatbota nové informace jednoduše a levně. Alternativou je fine-tuning, což je však matematicko-výpočetní proces, který mění vnitřní parametry modelu, trvá nějakou dobu a stojí peníze.

Při RAGu připojíme k chatbotovi externí databázi (knowledge base) s dokumenty a fotkami. Model se jimi „prokouše“ a zjistí, zda tam dokáže najít informaci, kterou potřebujeme. Pro firmy je to bezpečnější a transparentnější. U fine-tuningu nemůžeme přesně říct, co všechno v modelu je, zatímco u RAGu vidíme přesně všechny dokumenty, se kterými model pracuje.

Můžeme chatbota zahltit informacemi a co znamená „context drift“?

Dnešní modely mají tzv. kontextová okna, což je maximální povolený rozsah informací (tokenů), se kterými umí chatbot pracovat v daném momentě. Funguje to na principu „sliding window“ – jak přidáváme nové informace, ty staré se vymazávají.

Pokud vedete jedno komunikační vlákno příliš dlouho, chatbot může ztratit pojem o starších informacích. Může nastat i to, že se model podívá na začátek a na konec zadání a to, co je uprostřed, se mu ztratí z dohledu. Tehdy se vyplatí začít nové vlákno nebo použít funkci memory (paměť), kde jsou předchozí informace zkomprimované tak, aby zabíraly méně zdrojů.

Mají se lidé bát o svou práci kvůli AI agentům?

Výrobci se snaží o co největší uzpůsobení pro činnosti běžného dne, jako je tvorba prezentací, dokumentů či vyřizování zpráv přes integrace do aplikací. Přesto v blízké době neexistuje riziko, že by AI nahradila velké množství lidí. AI umí významně šetřit čas, například při tvorbě prezentací, ale stále platí, že se nemůžeme spoléhat jen na agenta, protože chyby se stále vyskytují a výstupy je třeba kontrolovat.

Jak si nejlépe ověřit informace od chatbota?

Netřeba se na výstupy spoléhat na 100 %. Je nutné si je ověřovat manuálně, například přes vyhledávač Google nebo u odborníka v daném oboru. Dobrou technikou je požádat chatbota, aby věci vysvětlil jednodušeji nebo více do detailu.

Pokud jde o téma, kterému ani chatbot úplně nerozumí, můžeme zachytit, že nám některé věci nedávají logický smysl. Můžeme mu také zadat, jaké pojmy už známe, a požádat ho, ať nám nové informace vysvětlí v tomto kontextu. Tak se dokáže přizpůsobit našim vědomostem.

Expert Aliter Technologies doporučuje:

Nebát se a experimentovat: Základem je otevřít si rozhraní a zkoušet. Netřeba se omezovat jen na zadávání textu, ale aktivně testovat všechny dostupné funkce.

Využívat pokročilé nástroje: Kromě chatu vyzkoušejte funkce jako Deep Research pro hloubkový průzkum tématu, práci s přílohami nebo generování grafů a prezentací.

Rozkládat komplexní úkoly: U složitých zadání je stále efektivní rozdělit práci na menší kroky, abyste chatbotovi pomohli udržet logickou strukturu a přesnost.

Přizpůsobit vysvětlení svým vědomostem: Pokud něčemu nerozumíte, požádejte chatbota, aby vám téma vysvětlil přes pojmy, které už znáte. Dokáže se tak lépe trefit do úrovně vašich znalostí.

Důvěřovat, ale prověřovat: Výstupy z AI jsou stále kvalitnější, ale stále se na ně nelze spoléhat na 100%. Vždy si důležitá fakta ověřte přes jiné zdroje nebo manuálně přes vyhledávač.

Sledovat kontextové okno: Pokud plánujete s chatbotem dlouhou diskusi, myslete na to, že po čase může začít starší informace zapomínat. Tehdy je lepší založit nové komunikační vlákno.

Celý podcast si můžete poslechnout na 👉 Spotify, 👉 Apple podcastech nebo zhlédnout na 👉 YouTube.