Lokalus DI

Komerciniam naudojimui skirta vietinė DI sistema iš esmės skiriasi nuo namų eksperimentų vienu kritiniu parametru: aptarnavimo greičiu ir vienu metu aptarnaujamų užklausų skaičiumi.

Jei kasdieniam asmeniniam naudojimui NUC mini kompiuteris yra tylus, taupus ir patogus, komercinėje aplinkoje reikalavimai yra kiti: atsakymas turi būti sugeneruotas per kelias sekundes, modelis privalo tiksliai suprasti instrukcijas (paprastai 32B–70B modeliai), o sistema turi atlaikyti kelių darbuotojų ar klientų srautą. Tam reikalingos dedikuotos NVIDIA vaizdo plokštės (dėl CUDA branduolių ir greitos GDDR6X / HBM vaizdo atminties).

Ką reiškia „komercinė vietinė sistema“?

Praktikoje tokia sistema yra atskiras, dažniausiai stacionarus kompiuteris arba stovo (rack) serveris, pasiekiamas vietiniame tinkle (LAN) per API. Darbuotojai dirba iš savo lengvų kompiuterių (kaip jūsų NUC), o visus skaičiavimus atlieka šis mazgas.

Pagal pajėgumą ir biudžetą komerciniai variantai skirstomi į tris lygius:

LygisKonfigūracija / GPUKą gali aptarnauti?Apytikslė kaina
1. Maža įmonė / komanda (Startas)1x NVIDIA RTX 3090 arba RTX 4090 (24 GB VRAM), 64 GB RAM, Core i7/Ryzen 9, 1000W PSU
• 14B–32B modeliai (puikiai tinka vidinei dokumentų paieškai RAG, kodo auditui, sutarčių analizei)


• 3–5 naudotojai vienu metu
~1 800 – 3 200 € (naudojant naudotą RTX 3090 – apie 1 800 €, su nauja RTX 4090 – ~3 000+ €)
2. Rimtas komercinis lygis (Aukso vidurys)2x NVIDIA RTX 3090 / 4090 (iš viso 48 GB VRAM), 128 GB RAM, speciali motininė plokštė su pakankamai PCIe linijų, 1600W PSU
• Pilnaverčiai 70B modeliai (pvz., Llama 3.3 70B, Qwen 2.5 72B), prilygstantys komerciniams debesų modeliams


• Greitas atsakas, 10–20 naudotojų vienu metu
~3 800 – 6 500 €
3. Įmonės lygio darbo stotis / serveris4x GPU arba profesionalios kortos (pvz., NVIDIA RTX 6000 Ada 48GB arba A100/H100)• Šimtai užklausų, didelės duomenų bazės, modelių apmokymas / pritaikymas (fine-tuning) įmonės duomenimisnuo 12 000 – 30 000+ €

Kaip atrodo optimali praktinė sistema už prieinamą kainą?

Populiariausias inžinerinis sprendimas mažoms įmonėms ar savarankiškai veikiančioms komandoms – surinktas „AI Box“ bokštas su dvejomis naudotomis RTX 3090 plokštėmis:

  • Kodėl RTX 3090? Tai viena pigiausių vaizdo plokščių rinkoje, turinti 24 GB VRAM. Dvi tokios plokštės suteikia 48 GB VRAM ir leidžia per vLLM ar llama.cpp paleisti 70B parametrų modelį beprotišku greičiu (30–50 žodžių per sekundę).
  • Kaina:

    • Dvi naudotos RTX 3090: ~1 400 – 1 800 €.
    • Pagrindas (AMD AM5 arba Threadripper platforma, 128 GB RAM, 2 TB NVMe, galingas korpusas su dideliu aušinimu ir 1600W maitinimo bloku): ~1 500 – 2 000 €.
    • Bendra suma: ~3 200 – 3 800 €.

Papildomi niuansai, kurių nereikalauja NUC

  1. Elektros sąnaudos ir šiluma: Komercinė DI stotis apkrovos metu naudoja nuo 450 W iki 800–1000 W elektros energijos. Tai atitinka nedidelį elektrinį šildytuvą kambaryje, todėl reikalingas geras patalpos vėdinimas.
  2. Triukšmas: Esant intensyvioms užklausoms, aušintuvai dirba pastebimai garsiai – toks kompiuteris dažniausiai statomas atskiroje patalpoje, serverinėje ar rūsyje.
  3. Programinė dalis: Komerciniam srautui Ollama dažnai pakeičiama į vLLM arba TGI (Text Generation Inference), nes jie moka lygiagrečiai apdoroti dešimtis skirtingų užklausų nesumažindami greičio.

Hibridinis modelis: ar verta pirkti geležį?

Didelė dalis įmonių renkasi hibridinį kelią, kurį minėjote:

  • Jautrūs duomenys (konfidencialūs dokumentai, apskaita, vidiniai procesai): apdorojami vietoje, tam pakanka ir kompaktiškesnio kompiuterio su viena GPU.
  • Didžiuliai, retai reikalingi skaičiavimai ar maksimalaus intelekto reikalaujančios užduotys: siunčiamos per šifruotą API į „normalias“ debesų sistemas, mokant tik už sunaudotus centus per mėnesį, užuot investavus kelis tūkstančius eurų į įrangą, kuri didžiąją paros dalį stovės nenaudojama.
Hibridinis DI modelis praktiškai veikia kaip išmanus maršrutizatorius (router arba tarpinis serveris), kuris pagal iš anksto nustatytas taisykles nusprendžia, kur nukreipti kiekvieną užklausą: į vietinį procesorių ar į išorinį debesų servisą per API.

Naudotojui tai visiškai nematoma – dirbama toje pačioje pokalbių ar darbo aplinkoje, tačiau po gaubtu veikia aiškus funkcijų atskyrimas.

1. Architektūra: kaip atrodo grandinė

Tipinė hibridinė schema susideda iš trijų pagrindinių sluoksnių:

  1. Vartotojo sąsaja (UI): Pavyzdžiui, Open-WebUI, LibreChat arba įmonės vidinė sistema. Ji palaiko suderinamą OpenAI API standartą.
  2. Tarpinis maršrutizatorius (Middleware / Proxy): Įrankiai, tokie kaip LiteLLM, arba tiesiog integruota Open-WebUI maršrutizavimo logika.
  3. Vykdytojai (Backends):

    • Vietinis mazgas: Ollama arba vLLM, paleistas vietiniame tinkle (pvz., jūsų NUC ar kitame serveryje).
    • Debesų API: Išoriniai teikėjai (pvz., OpenAI, Anthropic, Google Gemini API, Mistral).

2. Kaip paskirstomos užduotys (Praktiniai scenarijai)

Praktikoje hibridinis modelis dažniausiai remiasi keturiais kriterijais:

A. Duomenų jautrumas ir saugumas (Privalomas vietinis apdorojimas)

  • Vietinis mazgas: Vidiniai dokumentai, asmens duomenys, finansiniai failai, techniniai slaptažodžiai ar tinklo konfigūracijos. Visi tekstai lieka vietiniame tinkle.
  • Debesis: Bendro pobūdžio užklausos, vieši tekstai, rinkos tyrimai ar programavimo kalbų sintaksės klausimai be vidinio kodo detalių.

B. Užduoties sudėtingumas (Fallback principas)

  • Pirmas bandymas – vietoje: Užklausa pirmiausia atiduodama greitam vietiniam modeliui (pvz., 8B parametrų). Jei klausimas paprastas (santrauka, klaidų taisymas tekste), atsakymas sugeneruojamas akimirksniu ir nemokamai.
  • Eskalavimas į debesį: Jei vietinis modelis „pasiduoda“ (nurodo mažą pasitikėjimo rodiklį) arba užduotis reikalauja kelių etapų loginio mąstymo (deep reasoning), užklausa automatiškai nukreipiama į galingą debesų modelį.

C. Konteksto apimtis ir kaina

  • Trumpiems kasdieniams klausimams ar failų formatavimui naudoti mokamą debesį finansiškai neapsimoka – tam puikiai tinka vietinis mazgas.
  • Kai reikia išanalizuoti 300 puslapių techninę knygą, kuriai vietinėje aparatūroje pritrūktų RAM, užklausa perduodama debesų modeliui su dideliu konteksto langu.

3. Populiariausias įrankių derinys savarankiškam diegimui

Dažniausiai praktikoje naudojamas derinys, kurį galima pasileisti atskirame Docker konteineryje:

  • Open-WebUI arba LibreChat:

    • Veikia kaip „ChatGPT klonas“ naršyklėje.
    • Viename išskleidžiamajame meniu matote modelių sąrašą: pvz., vietinis-llama-8b ir debesis-gpt-4o.
    • Galima nustatyti teises: pavyzdžiui, įkėlus failą į pokalbį, sistema automatiškai blokuoja debesų modelius ir leidžia pasirinkti tik vietinį.
  • LiteLLM (Open-Source tarpininkas):

    • Suvienodina visas API sąsajas į vieną standartą.
    • Leidžia nustatyti biudžeto limitus (pvz., „neišleisti daugiau nei 10 € per mėnesį debesų API“).
    • Jei debesis nepasiekiamas ar viršytas limitas, automatiškai perjungia į vietinį modelį.
Tokiu būdu išlaikomas visiškas privatumas svarbiems duomenims, o prireikus galingo analitinio proto – sumokami keli centai už konkrečią užklausą debesyje, neperkant tūkstančius kainuojančios geležies.