Halucinácie jazykových modelov a ako ich v praxi obmedziť

Jazykový model nehovorí pravdu ani nepravdu — predpovedá najpravdepodobnejšie ďalšie slovo. Väčšinou to vedie k užitočnej odpovedi, niekedy k sebavedomo podanému nezmyslu. Tomuto javu sa hovorí halucinácia a v produkčnom nasadení je to riziko, ktoré treba aktívne riadiť.

Prečo k nim dochádza

Model nemá vnútornú „databázu faktov“. Pracuje so vzormi z trénovacích dát a keď mu chýba opora, doplní pravdepodobne znejúci text. Problém nie je v tom, že sa mýli — problém je, že sa mýli sebavedomo a bez varovania.

Čo s tým robíme

Halucinácie sa nedajú úplne odstrániť, dajú sa však výrazne potlačiť kombináciou techník:

• Ukotvenie v dátach (RAG): model odpovedá z dodaných podkladov, nie z pamäte, a môže citovať zdroj.
• Štruktúrovaný výstup: namiesto voľného textu vyžadujeme presný formát, ktorý sa dá strojovo overiť.
• Validácia: výstup prejde kontrolnými pravidlami ešte pred použitím — čísla musia sedieť, odkazy existovať.
• Evaluácie: na sade reálnych príkladov priebežne meriame, ako často model chybuje.

Človek ako posledná poistka

Pri citlivých rozhodnutiach nikdy nespoliehame len na model. Tam, kde chyba niečo stojí, zostáva v procese kontrolný bod s človekom. Dôvera v AI nevzniká tým, že jej slepo veríme, ale tým, že vieme, kde sú jej hranice — a podľa toho navrhneme systém okolo nej.