Ako si vybrať jazykový model (LLM) pre firmu

Otázka „ktorý model je najlepší“ nemá dobrú odpoveď, pretože je zle položená. Lepšia otázka znie: ktorý model je najlepší pre túto úlohu, pri tomto rozpočte a týchto nárokoch na súkromie. Odpoveď sa potom líši projekt od projektu — a často aj krok od kroku v rámci jedného projektu.

Štyri veci, ktoré rozhodujú

• Kvalita na danej úlohe: zložité uvažovanie zvládne veľký model lepšie, no na triedenie či extrakciu údajov stačí menší.
• Cena: väčší model je násobne drahší za každé volanie. Pri tisícoch požiadaviek denne to nie je detail.
• Latencia: používateľ čakajúci na odpoveď vníma každú sekundu. Menší a rýchlejší model niekedy vyhrá aj za cenu o kúsok nižšej kvality.
• Súkromie a dáta: kam smú vaše dáta ísť a čo poskytovateľ robí so vstupmi, je otázka pre právne oddelenie, nielen pre vývoj.

Veľký, alebo malý?

V praxi sa nám osvedčila kombinácia. Lacný a rýchly model spraví hrubú prácu — roztriedi, vyhľadá, pripraví podklad. Veľký a schopný model nastúpi len na finálny krok, kde sa jeho cena vyplatí. Tým dramaticky klesnú náklady bez straty kvality tam, kde na nej záleží. Kľúč je nezaťažiť veľký model tým, čo pokojne zvládne malý.

Nehľaďte len na rebríčky

Benchmarky sú užitočná orientácia, no nič nenahradí test na vašich vlastných dátach. Model, ktorý vedie v tabuľkách, môže na vašom type textu zaostávať za lacnejšou alternatívou. Preto pri každom projekte spravíme malý eval — sadu reálnych príkladov s očakávaným výstupom — a rozhodujeme podľa neho, nie podľa marketingu poskytovateľa.

Zamknúť sa, alebo nie

Rozhodnutie pre model nie je manželstvo na celý život. Staviame tak, aby sa poskytovateľ dal vymeniť bez prepisu polovice aplikácie — volanie modelu je jeden ohraničený krok, nie čosi roztrúsené po celom kóde. Keď vyjde lepšia alebo lacnejšia možnosť, prejdeme na ňu za deň, nie za mesiac. S akými technológiami pracujeme, nájdete v prehľade technológií.

Výber a nasadenie modelu je súčasťou AI podpory. Keď potrebujete, aby tok spájal viac modelov a nástrojov, pozrite si článok o AI orchestrátoroch.