Przejdź do treści

Baza wiedzy · Porównanie

AI on-premise vs chmura — z czego naprawdę składa się koszt

Aktualizacja: · Sprint0

W skrócie

Porównanie „cena serwera GPU kontra rachunek za tokeny" prawie zawsze daje zły wynik, bo pomija największe pozycje: ludzi, aktualizacje modeli, zgodność i koszt incydentu. W modelu komercyjnym koszt rośnie z wolumenem, start jest prawie darmowy, a płacisz dodatkowo za umowę powierzenia, ocenę skutków i zależność od cennika dostawcy. W modelu lokalnym koszt jest w większości stały — sprzęt, prąd, administrator — więc na początku jest wyższy, ale koszt jednego zapytania spada, im więcej ich jest. Reguła kciuka: mały albo nieregularny wolumen i brak wymogu regulacyjnego to model komercyjny; stały, wysoki wolumen, dane regulowane albo sieć odcięta od internetu to model lokalny; w wielu firmach wychodzi hybryda z granicą wyznaczoną przez rodzaj danych, nie przez budżet.

Dlaczego proste porównanie kłamie

Najczęstszy arkusz, jaki widzimy w dyskusjach o AI w firmie, ma dwie kolumny: po lewej cena serwera z kartami GPU, po prawej szacowany miesięczny rachunek za tokeny pomnożony przez dwanaście. Kto liczy w ten sposób, wybiera zwykle chmurę na starcie i on-premise po roku, gdy rachunek urośnie — i za każdym razem jest zaskoczony pozycjami, których w arkuszu nie było.

Ten artykuł nie powtarza przewodnika o tym, kiedy wdrożenie AI on-premise ma sens ani jak lokalny LLM działa technicznie. Zajmuje się jednym: z czego składa się koszt po każdej stronie, co w nim rośnie z użyciem, a co jest stałe. Bez kwot — bo te zależą od wolumenu, rodzaju danych i tego, kogo już masz w zespole — ale z pełną listą pozycji, które muszą się znaleźć w arkuszu, żeby wynik coś znaczył.

Z czego składa się koszt modelu lokalnego

  • Sprzęt i jego amortyzacja. Serwer z kartami GPU, pamięć, dyski, zasilanie awaryjne. To pozycja, którą każdy widzi — i jedyna, która po zakupie przestaje rosnąć. Kupuje się ją jednak pod szczyt obciążenia, nie pod średnią.
  • Prąd i chłodzenie. Karty GPU pobierają moc przez cały rok, także wtedy, gdy nikt nie zadaje pytań. W serwerowni dochodzi chłodzenie i miejsce w szafie; w kolokacji — jej rachunek.
  • Ludzie. Administracja systemu, sterowniki, środowisko uruchomieniowe modelu, kopie zapasowe, monitoring, reakcja na awarię poza godzinami pracy. Jeśli nie masz tych kompetencji w zespole, są to etaty albo umowa utrzymaniowa — i to jest zwykle największa niedoszacowana pozycja.
  • Aktualizacje modeli. Nowe wersje modeli otwartych pojawiają się co kilka miesięcy. Każda podmiana to pobranie, testy na zestawie pytań kontrolnych, czasem zmiana promptów. Bez tego cyklu system po roku odpowiada gorzej niż to, co zespół widzi w publicznych narzędziach.
  • Licencje. Oprogramowanie serwerowe, system wirtualizacji, monitoring, czasem licencja komercyjna samego modelu — warunki modeli otwartych różnią się między sobą i wymagają sprawdzenia przed użyciem produkcyjnym.
  • Bezpieczeństwo infrastruktury. Segmentacja sieci, kontrola dostępu, logowanie zdarzeń, testy penetracyjne. Model lokalny zdejmuje ryzyko przesyłania danych na zewnątrz, ale dokłada serwer, który trzeba chronić jak każdy inny system z danymi firmy.

Z czego składa się koszt modelu komercyjnego

  • Tokeny. Płacisz za to, co wysyłasz, i za to, co model zwraca. Rachunek rośnie liniowo z liczbą zapytań i z długością kontekstu — a asystent na dokumentach firmy wysyła w każdym pytaniu kilka fragmentów, nie samo pytanie.
  • Egress i transfer. Dane wychodzące z Twojej infrastruktury do dostawcy i z powrotem. Przy tekście pomijalne, przy skanach dokumentów, obrazach i nagraniach — pozycja, która potrafi zaskoczyć.
  • Zgodność. Umowa powierzenia przetwarzania danych z dostawcą, ocena skutków dla ochrony danych (DPIA) tam, gdzie jest wymagana, rejestr czynności, procedura na wypadek incydentu u dostawcy. Ktoś musi to napisać, uzgodnić i aktualizować przy każdej zmianie zakresu. To nie jest porada prawna — zakres tych obowiązków ocenia prawnik na podstawie danych, które faktycznie przesyłasz.
  • Zmiany po stronie dostawcy. Modele są wycofywane, cenniki i limity się zmieniają, a nowa wersja odpowiada inaczej. Każda taka zmiana to testy i poprawki po Twojej stronie, w terminie wyznaczonym przez kogoś innego.
  • Uzależnienie. Prompty, testy i integracje dopasowane do jednego dostawcy trzeba przepisać przy zmianie. Ten koszt nie pojawia się na fakturze, ale decyduje o tym, czy kolejna podwyżka jest negocjacją, czy faktem.
  • Ludzie — mniej, nie zero. Ktoś integruje API, pilnuje limitów, monitoruje koszty i reaguje, gdy dostawca ma awarię. Etatów jest mniej niż przy własnym serwerze, ale pozycja w arkuszu musi być.

Koszty, które są takie same po obu stronach

Kilka pozycji nie zależy od wyboru i właśnie dlatego znika z porównań, choć bywa większa niż różnica między opcjami. Integracja z systemami firmy — ERP, CRM, intranetem — kosztuje tyle samo, niezależnie od tego, gdzie działa model. Uporządkowanie danych i dokumentów, na których system ma pracować, też. Zestaw pytań kontrolnych i ewaluacja po każdej zmianie są obowiązkowe w obu wariantach. Szkolenie zespołu i polityka użycia również.

Koszt incydentu jest po obu stronach, ale ma inny kształt. Przy modelu lokalnym ogranicza się do Twojej infrastruktury — jak każdy inny wyciek z serwera firmy. Przy komercyjnym zależy od tego, jaki zakres danych przesłano dostawcy i co mówi umowa o odpowiedzialności. Ta pozycja nie ma wartości oczekiwanej, którą da się wpisać do arkusza, ale ma zakres — i to zakres powinien decydować o architekturze.

Co rośnie z wolumenem, a co jest stałe

Składnik kosztuModel lokalny (on-premise)Model komercyjny (API)
Sprzęt GPU, prąd, chłodzeniestały — płacisz także za bezczynnośćbrak — w cenie tokenów
Opłaty za tokenybrakrośnie z wolumenem, liniowo
Ludzie do utrzymaniastały — administracja, dyżury, kopie zapasowemniejszy, ale nie zerowy — integracja, monitoring limitów
Aktualizacje modelistały cykl — pobranie, testy, podmianawymuszone przez dostawcę — testy po każdej zmianie
Licencjeoprogramowanie serwerowe, czasem licencja modeluw cenie usługi
Egress i transferpomijalny wewnątrz siecirośnie z wolumenem i rozmiarem załączników
Zgodność (umowa powierzenia, DPIA)niższy — dane zostają w siecistały, ale wyższy — umowa, ocena, procedury
Koszt incydentuograniczony do własnej infrastrukturyzależy od zakresu danych wysłanych do dostawcy
Czas do pierwszej odpowiedzitygodnie — zakup, instalacja, zabezpieczeniegodziny

Z tabeli wynika kształt obu krzywych. Model komercyjny startuje blisko zera i rośnie proporcjonalnie do użycia. Model lokalny startuje wysoko i rośnie powoli — do momentu, gdy sprzęt przestaje wystarczać i trzeba dokupić kolejny, co daje schodek zamiast linii. Punkt, w którym krzywe się przecinają, zależy od Twojego wolumenu i od tego, czy ludzi do utrzymania już masz, czy dopiero musisz ich zatrudnić.

Reguła kciuka

  • Model komercyjny — gdy wolumen jest mały albo nieregularny (kilka procesów, szczyty raz w miesiącu), dane nie podlegają wymogom, które zabraniają ich wysyłania na zewnątrz, i nie masz w zespole ludzi do utrzymania serwera. Płacisz za użycie, a zgodność załatwia umowa powierzenia i minimum danych w zapytaniu.
  • Model lokalny — gdy wolumen jest stały i wysoki (serwer pracuje przez większość dnia), dane są regulowane albo objęte tajemnicą, która wyklucza dostawcę zewnętrznego, albo sieć jest odcięta od internetu (air-gapped). Wtedy wyższy koszt startu jest ceną za to, że dane nie muszą wychodzić z sieci, a koszt zapytania maleje z każdym kolejnym. Tak wygląda zakres naszych wdrożeń lokalnych.
  • Hybryda — gdy w firmie są oba rodzaje zadań. Procesy na danych regulowanych idą do modelu lokalnego, zadania ogólne do komercyjnego, a granica jest zapisana w polityce i wymuszona architekturą, nie zostawiona pracownikowi. Serwer lokalny jest wtedy mniejszy, a rachunek komercyjny niższy niż w wariantach „wszystko w jednym".

Jak to policzyć u siebie

  • Zmierz wolumen, zanim go oszacujesz. Ile zapytań dziennie, jak długich, z jakimi załącznikami, w jakich godzinach. Tydzień pilotażu na modelu komercyjnym daje te liczby taniej niż jakikolwiek arkusz.
  • Sklasyfikuj dane. Które procesy dotykają danych osobowych, finansowych, objętych tajemnicą — i czy dla nich wystarczy umowa powierzenia z minimum danych, czy potrzebny jest model w sieci. Ta odpowiedź często rozstrzyga wybór bez liczenia.
  • Policz ludzi uczciwie. Etaty albo umowa utrzymaniowa po stronie lokalnej; czas integratora i osoby od zgodności po stronie komercyjnej. Jeśli ta pozycja wychodzi zero po którejkolwiek stronie, arkusz jest błędny.
  • Licz na trzy lata, nie na rok. Sprzęt amortyzuje się w tym horyzoncie, a cenniki dostawców zmieniają się w nim kilka razy. Dopisz koszt jednej migracji między dostawcami i jednej wymiany modelu lokalnego.
  • Zacznij od tańszego startu. Jeśli dane na to pozwalają, pilotaż na modelu komercyjnym wyznacza wolumen i jakość, a decyzja o serwerze zapada na liczbach. Jeśli nie pozwalają — pilotaż lokalny na małym sprzęcie i jednym procesie, zanim ktoś kupi szafę.

Najczęstsze pytania o koszt AI on-premise i w chmurze

Czy AI on-premise jest tańsze od chmury?

Zależy od wolumenu i od tego, co liczysz. Przy małym albo nieregularnym użyciu model komercyjny jest tańszy, bo płacisz tylko za to, co zużyjesz, a serwer GPU stałby bezczynnie. Przy stałym, wysokim wolumenie koszt jednego zapytania w modelu lokalnym spada, bo sprzęt i ludzie kosztują tyle samo niezależnie od liczby zapytań. Porównanie ma sens dopiero po zmierzeniu wolumenu i policzeniu kosztu ludzi, aktualizacji i zgodności po obu stronach — nie samego serwera i samych tokenów.

Jakie koszty najczęściej pomija się przy wyborze modelu komercyjnego?

Trzy. Koszt zgodności: umowa powierzenia, ocena skutków dla ochrony danych (DPIA) tam, gdzie jest wymagana, i wewnętrzne procedury, które ktoś musi napisać i utrzymać. Koszt zmian po stronie dostawcy: model, na którym zbudowano system, bywa wycofywany, a nowy odpowiada inaczej i wymaga ponownych testów. Koszt uzależnienia: prompty, testy i integracje dopasowane do jednego dostawcy trzeba przepisać przy zmianie, więc jego kolejna zmiana cennika nie jest już negocjacją, tylko decyzją do przyjęcia.

Jakie koszty najczęściej pomija się przy AI on-premise?

Ludzi i czas. Serwer GPU widać w budżecie, ale ktoś musi go administrować, aktualizować sterowniki i środowisko, podmieniać modele, robić kopie zapasowe i reagować w nocy, gdy usługa przestanie odpowiadać. Do tego prąd i chłodzenie przez cały rok, także wtedy, gdy nikt nie pyta, oraz koszt czasu między decyzją a pierwszą odpowiedzią — sprzęt trzeba kupić, zainstalować i zabezpieczyć, zanim cokolwiek zadziała.

Czy hybryda nie jest droższa niż jedno rozwiązanie?

Bywa, jeśli oznacza dwa pełne środowiska utrzymywane w połowie. Ma sens wtedy, gdy podział wynika z danych, a nie z niezdecydowania: procesy na danych regulowanych idą do modelu lokalnego, zadania ogólne do komercyjnego, a granica jest zapisana w polityce i wymuszona architekturą. Wtedy lokalny serwer jest mniejszy, bo obsługuje tylko część ruchu, a komercyjny rachunek niższy, bo nie płacisz za wolumen, który i tak nie mógłby tam trafić.

Czytaj też

Rozważasz AI w swojej infrastrukturze?

Porozmawiajmy o Twoim przypadku — bezpłatna konsultacja, odpowiadamy w 24 h roboczych, NDA od dnia zero.

Umów bezpłatną konsultację