CLOUDY podcast | #33 Prečo vám chatbot nerozumie - od promptov ku kontextovému inžinierstvu

Blížime sa od klasického prompt engineeringu práve ku context engineeringu, ktorý je rozšírením o ďalšie metódy a techniky, ktorými môžeme chatbota vylepšiť alebo prispôsobiť, aby nám dával lepšie odpovede. V minulosti bol prompt engineering natoľko dôležitý, že bol aj samostatnou pracovnou pozíciou.

V dnešnej dobe už pri jednoduchších úlohách chatboty zhruba vedia, čo od nich človek očakáva a vedia naladiť svoju odpoveď. Keď však ide o niečo zložitejšie a štruktúrovanejšie, kde chceme presný postup alebo špeciálny formát, vtedy sa oplatí byť v inštrukciách konkrétnejší.

Aký je rozdiel medzi chatbotom a AI agentom?

Chatbot je určený ako nástroj na chatovanie – zadáme mu otázku a on nám vygeneruje slovnú odpoveď. Agent má schopnosť robiť činy. Príkladom je, keď dokáže prehľadávať web, čo už dokáže väčšina moderných chatbotov, vtedy už sa dá hovoriť o agentovi.

Tieto funkcie sa postupne posúvajú vpred a integrujú sa do surových chatbotov. Agenti dnes dokážu vykonávať činnosti ako je posielanie mailov, robenie grafov alebo funkciu Deep Research, kedy sa snažia prehľadať web, verifikovať informácie a vytvoriť z nich presný a štruktúrovaný obraz.

Čo sa deje v pozadí, keď chatbot využíva funkciu uvažovania (Thinking)?

Uvažovanie prišlo s tzv. reasoning modelmi. Je založené na technike „chain of thought“ alebo reťaz myšlienok. Pri komplexnej úlohe neriskujeme, že sa v tom chatbot stratí, ale zadávame mu úlohu po krokoch.

Reasoning modely sú dotrenované tak, že tento proces majú v sebe zaintegrovaný natívne. Pri funkcii „thinking“ si chatbot rozloží otázku sám na niekoľko menších podúloh, vypracuje každú z nich a potom vráti finálnu odpoveď aj s popisom jednotlivých krokov. Je to dobrá technika, ako sa dopracovať k lepšiemu výsledku.

Čo je to technológia RAG a prečo je dôležitá pre firmy?

Retrieval Augmented Generation (RAG) je spôsob, ako doučiť chatbota nové informácie jednoducho a lacno. Alternatívou je fine-tuning, čo je však matematicko-výpočtový proces, ktorý mení vnútorné parametre modelu, trvá nejaký čas a stojí peniaze.

Pri RAG-u pripojíme k chatbotovi externú databázu (knowledge base) s dokumentmi a fotkami. Model sa cez ne prevŕta a zistí, či tam vie nájsť informáciu, ktorú potrebujeme. Pre firmy je to bezpečnejšie a transparentnejšie. Pri fine-tuningu nevieme presne povedať, čo všetko v modeli je, zatiaľ čo pri RAG-u vidíme presne všetky dokumenty, s ktorými model pracuje.

Môžeme chatbota zahltiť informáciami a čo znamená „context drift“?

Dnešné modely majú tzv. kontextové okná, čo je maximálny povolený rozsah informácií (tokenov), s ktorými vie chatbot pracovať v danom momente. Funguje to na princípe „sliding window“ – ako pridávame nové informácie, tie staré sa vymazávajú.

Ak vediete jedno komunikačné vlákno príliš dlho, chatbot môže stratiť pojem o starších informáciách. Môže nastať aj to, že sa model pozrie na začiatok a na koniec zadania a to, čo je v strede, sa mu stratí z dohľadu. Vtedy sa oplatí začať nové vlákno alebo použiť funkciu memory (pamäť), kde sú predošlé informácie skomprimované tak, aby zaberali menej zdrojov.

Majú sa ľudia báť o svoju prácu kvôli AI agentom?

Výrobcovia sa snažia o čo najväčšie uspôsobenie na činnosti bežného dňa, ako je tvorba prezentácií, dokumentov či vybavovanie správ cez integrácie na aplikácie. Napriek tomu v blízkej dobe neexistuje riziko, že by AI nahradila veľa ľudí. AI vie významne šetriť čas, napríklad pri tvorbe prezentácií, ale stále platí, že sa nemôžeme spoliehať len na agenta, pretože chyby sa stále vyskytujú a výstupy treba kontrolovať.

Ako si najlepšie overiť informácie od chatbota?

Netreba sa na výstupy spoliehať na 100 %. Treba si ich overovať manuálne, napríklad cez vyhľadávač Google alebo u odborníka v danom obore. Dobrou technikou je spýtať sa chatbota, aby veci vysvetlil jednoduchšie alebo viac do detailu.

Ak ide o tému, ktorej ani chatbot úplne nerozumie, môžeme zachytiť, že nám niektoré veci nedávajú logický zmysel. Môžeme mu tiež zadať, aké pojmy už poznáme, a požiadať ho, nech nám nové informácie vysvetlí v tomto kontexte. Tak sa dokáže prispôsobiť našim vedomostiam.

Expert Aliter Technologies odporúča:

Nebáť sa a experimentovať: Základom je otvoriť si rozhranie a skúšať. Netreba sa obmedzovať len na zadávanie textu, ale aktívne testovať všetky dostupné funkcie.

Využívať pokročilé nástroje: Okrem chatu vyskúšajte funkcie ako Deep Research na hĺbkový prieskum témy, prácu s prílohami alebo generovanie grafov a prezentácií.

Rozkladať komplexné úlohy: Pri zložitých zadaniach je stále efektívne rozdeliť prácu na menšie kroky, aby ste chatbotovi pomohli udržať logickú štruktúru a presnosť.

Prispôsobiť vysvetlenie svojim vedomostiam: Ak niečomu nerozumiete, požiadajte chatbota, aby vám tému vysvetlil cez pojmy, ktoré už poznáte. Dokáže sa tak lepšie trafiť do úrovne vašich vedomostí.

Dôverovať, ale preverovať: Výstupy z AI sú čoraz kvalitnejšie, ale stále sa na ne netreba spoliehať na 100 %. Vždy si dôležité fakty overte cez iné zdroje alebo manuálne cez vyhľadávač.

Sledovať kontextové okno: Ak plánujete s chatbotom dlhú diskusiu, myslite na to, že po čase môže začať staršie informácie zabúdať. Vtedy je lepšie založiť nové komunikačné vlákno.

Celý podcast si môžete vypočuť na 👉 Spotify, 👉 Apple podcastoch alebo pozrieť na 👉 YouTube.