Cloud alebo vlastný server pre AI: kedy sa čo oplatí
Vlastný hardvér vyzerá lacnejšie, kým nezarátate prácu okolo neho. O tom, čo naozaj rozhoduje — a prečo to nie je cena železa.
Vlastný server sa oplatí vtedy, keď je záťaž vyrovnaná, dlhodobá a máte kto sa o neho stará; všetko ostatné patrí do cloudu. Rozhoduje tvar záťaže a dostupnosť ľudí, nie cena hardvéru.
Porovnanie sa zvyčajne robí zle. Postaví sa cena serverov proti mesačnému účtu za cloud, vyjde z toho, že hardvér sa zaplatí za rok, a tým to končí.
Lenže server je len začiatok.
Čo sa do porovnania nezaráta
- Prácu okolo. Aktualizácie, monitoring, zálohy, výmena disku, ktorý odišiel v nedeľu. To sú hodiny človeka, ktorý ich má odkiaľ vziať.
- Redundanciu. Jeden server je jeden bod zlyhania. Dva sú dvojnásobná cena a stále treba niečo, čo medzi nimi prepína.
- Nevyužitý výkon. Hardvér kúpite na špičku a platíte ho aj v noci, keď sa nič nedeje.
- Rýchlosť zmeny. Keď potrebujete viac výkonu v cloude, kliknete. Pri vlastnom železe objednávate.
Kedy dáva cloud jednoznačný zmysel
Keď neviete, aká bude záťaž — teda skoro vždy na začiatku. Keď je prevádzka nárazová: kampaň, sezóna, koniec mesiaca. Keď nemáte človeka, ktorý by sa o infraštruktúru staral ako o svoju prácu, a nechcete ho hľadať.
A keď ide o volania jazykových modelov cez API, otázka vlastného železa väčšinou ani nevzniká. Platíte za volanie, nie za server — a to, čo cenu tvorí, sme rozobrali v článku o tom, koľko stojí prevádzka AI aplikácie.
Kedy začne dávať zmysel vlastný server
Pri troch situáciách:
- Vyrovnaná, vysoká a dlhodobá záťaž. Keď niečo beží stále rovnako a roky, prenájom sa prestáva oplácať.
- Vlastný model, ktorý beží nepretržite. Tu je rozdiel medzi prenájmom výpočtového výkonu a jeho vlastníctvom najciteľnejší.
- Požiadavka na to, kde dáta fyzicky ležia, ktorú cloud nevie splniť. Býva to skôr zmluvná alebo regulačná vec než technická — a súvisí s tým, kam vaše dáta pri AI aplikácii idú.
Odpoveď býva „aj-aj"
V praxi to nie je voľba jedného z dvoch. Bežné rozdelenie vyzerá tak, že aplikácia, databáza a fronty bežia na prenajatých serveroch s predvídateľnou cenou, a volania modelov idú cez API, lebo držať vlastný model sa pri nárazovej prevádzke neoplatí.
Dôležitejšie než samotná voľba je, aby sa dala zmeniť. Keď je aplikácia v kontajneroch a konfigurácia oddelená od kódu, presun je otázka nasadenia — nie prepisovania. Presne preto staviame na Dockeri a Kubernetes.
Ak si nie ste istí, čo sedí na váš prípad, ozvite sa — prejdeme to na vašich číslach.
Riešite niečo podobné vo vašej firme?
Chcem nezáväznú konzultáciu