vLLM: Když chcete z grafiky vymáčknout i poslední kapku výkonu

Zuckerbergovi to zase nevyšlo. Pokud jste v posledních týdnech otevřeli Instagram, pravděpodobně jste narazili na podivné nálepky „Made with AI“ u fotek, které s umělou inteligencí neměly společného vůbec nic – snad kromě toho, že je někdo prohnal základním filtrem v Adobe Lightroom. Uživatelé zuřili, fotografové hrozili odchodem a Meta, v klasickém záchvatu korporátní paniky, začala couvat. Tohle není jen příběh o jednom nepovedeném updatu jedné sociální sítě. Je to diagnóza stavu, ve kterém se nachází současný AI hype: technologie je sice úžasná, ale její implementace do „mainstreamových“ produktů často připomíná pokus o operaci mozku řeznickou sekyrou.

Zatímco se Meta snaží vysvětlit, proč její algoritmy označují fotku reálného západu slunce za digitální halucinaci, pod kapotou se odehrává mnohem zajímavější revoluce. Ta se netýká nálepek na fotkách, ale toho, jak tyto modely vlastně běží. Pokud chcete přestat být závislí na náladách velkých korporací a začít provozovat vlastní AI modely s efektivitou, o které se vývojářům v Menlo Parku jen zdá, musíte se podívat směrem k vLLM, Foundry a SkyPilot. Tohle je svět, kde se neřeší lajky, ale propustnost tokenů za sekundu a cena za kilowatthodinu. A věřte mi, že tyhle dvě věci spolu souvisí víc, než si myslíte.

vLLM: Když chcete z grafiky vymáčknout i poslední kapku výkonu

Zapomeňte na standardní inference frameworky, které žerou paměť jako zběsilé. Pokud to myslíte s provozováním vlastních modelů z Hugging Face vážně, vaším novým nejlepším kamarádem je vLLM (Versatile Large Language Model). Proč? Protože většina běžných řešení trpí obrovským plýtváním paměti v takzvané KV cache. vLLM přichází s něčím, čemu se říká PagedAttention. Je to v podstatě stejný koncept jako virtuální paměť v operačních systémech. Místo aby model alokoval obrovské bloky paměti pro každý požadavek (z nichž většina zůstane nevyužitá), vLLM ji dynamicky dělí na stránky.

Výsledek? Až 24krát vyšší propustnost než u standardního Hugging Face Transformers backendu. To už není jen kosmetické zlepšení, to je rozdíl mezi tím, jestli váš server zvládne deset uživatelů, nebo dvě stovky. Pro firmy, které chtějí integrovat AI do svých procesů, to znamená jediné: drastické snížení nákladů na hardware. Místo clusteru osmi karet H100 vám na mnoho úloh najednou stačí dvě nebo čtyři. A pokud provozujete vlastní datacentrum nebo jen pár serverů v racku, určitě vás zajímá i spotřeba. Efektivnější výpočet znamená méně odpadního tepla a nižší účty za elektřinu. V kontextu moderní energetiky je optimalizace AI výpočtů klíčová – podobně jako sdílení elektřiny pomáhá optimalizovat náklady domácnostem, vLLM optimalizuje „výpočetní palivo“ vašich serverů.

Implementace vLLM je přitom překvapivě jednoduchá. Stačí vám Docker a grafická karta s architekturou NVIDIA Ampere nebo novější (RTX 3090, 4090, A100). Příkazem `python -m vllm.entrypoints.openai.api_server --model facebook/opt-125m` nastartujete server, který se tváří jako API od OpenAI, ale běží kompletně u vás. Žádné odesílání dat do cloudu Mety, žádné špehování. Čistý výkon pod vaší kontrolou.

Foundry a SkyPilot: Cloud bez vydírání za přenos dat

Dalším obrovským problémem současného AI světa je takzvaný „cloud lock-in“. Velcí hráči jako AWS nebo Azure vás nalákají na kredity zdarma, ale jakmile tam nahrajete svá data a začnete provozovat modely, zjistíte, že „egress fees“ (poplatky za stažení dat ven) jsou nastaveny tak, aby vás odchod od nich finančně zlikvidoval. Tady nastupuje SkyPilot ve spojení s Foundry Managed Compute.

SkyPilot je open-source framework, který vám umožní spouštět AI úlohy na jakémkoliv cloudu (AWS, GCP, Azure, ale i specializovaní provideři jako Lambda Labs nebo FluidStack) zcela transparentně. Vy prostě napíšete recept (YAML soubor), co chcete spustit, a SkyPilot najde nejlevnější dostupnou instanci napříč všemi cloudy. Pokud zrovna v Ohiu stojí A100 zlomek toho co v Dublinu, vaše úloha se spustí tam.

Nejzajímavější je ale koncept „zero-egress storage“. Představte si, že máte své modely uložené na Hugging Face nebo ve specializovaném úložišti, a výpočetní výkon si kupujete tam, kde je zrovna nejlevnější. Foundry Managed Compute tohle dotahuje k dokonalosti. Umožňuje vám pronajmout si přesně tolik výkonu, kolik potřebujete, bez nutnosti spravovat celou infrastrukturu. Pro české firmy je to ideální cesta, jak se vyhnout astronomickým investicím do vlastního železa, a přitom si zachovat flexibilitu. Je to podobně revoluční model jako komunitní energetika – místo aby každý stavěl obří elektrárnu, sdílíme zdroje tam, kde jsou zrovna dostupné a levné.

Proč Meta selhala a proč je to pro nás dobře

Meta se snaží hrát na obě strany. Na jedné straně vydává úžasné open-source modely jako Llama 3, za což jim patří dík. Na straně druhé se ale snaží vnutit uživatelům svých aplikací „AI zážitek“, o který nikdo nestál. Onen „backlash“ na Instagramu vznikl z prosté arogance. Algoritmus, který měl detekovat AI generovaný obsah, byl tak agresivní, že penalizoval reálné umělce. To vedlo k paradoxní situaci: zatímco Meta propaguje AI jako nástroj kreativity, její vlastní nástroje kreativitu dusily.

Pro nás, kteří se na technologii díváme pragmaticky, je to jasný signál: nespoléhejte na uzavřené platformy. Pokud chcete pro svou firmu nebo projekt stabilní AI, musíte jít cestou vlastního hostingu nebo řízeného computu nad open-source modely. Llama 3-70B běžící přes vLLM na instanci od Foundry vám poskytne stejnou (a často lepší) službu než uzavřené API, a hlavně vás nikdo ze dne na den nevypne, nezmění vám ceník nebo nezačne vaše data označovat nesmyslnými nálepkami.

Navíc, provozování vlastních modelů otevírá dveře k technikám jako LoRA (Low-Rank Adaptation). Místo abyste přetrénovávali celý obří model, dotrénujete jen malou vrstvu na svých specifických datech. Stojí to pár korun, zabere to pár hodin, a výsledek je model, který rozumí vašemu oboru lépe než nejnovější GPT-4. Více o praktických návodech a kalkulacích nákladů na podobné projekty najdete na ShareElectric.cz.

Energetická náročnost: Slon v místnosti

Nemůžeme mluvit o AI a ignorovat účet za elektřinu. Trénování a inference velkých modelů je energetický masakr. Jedna karta NVIDIA H100 má TDP až 700 W. Pokud máte cluster osmi takových karet, žerete přes 5 kW jen v GPU, nepočítaje procesory, chlazení a zbytek serveru. V českých podmínkách, kde ceny elektřiny pro firmy nejsou zrovna lidové, je tohle zásadní položka v rozpočtu.

Tady se AI potkává s moderní energetikou. Firmy, které provozují výpočetní clustery, začínají uvažovat o obchodování flexibility. Pokud máte úlohu, která nespěchá (třeba trénování modelu na historických datech), proč ji nespouštět v době, kdy je v síti přebytek energie z obnovitelných zdrojů a cena je na nule (nebo dokonce v záporu)?

Využitím nástrojů jako SkyPilot můžete své výpočty nejen geograficky, ale i časově posouvat. Pokud máte vlastní FVE, můžete své servery „krmit“ přímo ze střechy. A pokud máte přebytky, které nemáte jak využít, je prodej elektřiny pro výrobce jednou cestou, ale tou druhou může být právě jejich „propálení“ do výpočetního výkonu, který má vyšší přidanou hodnotu než samotná kilowatthodina v síti. Pro velké provozy a firmy dává smysl i IoT monitoring, který dokáže v reálném čase sledovat spotřebu serverovny a regulovat chlazení podle aktuální venkovní teploty a ceny energie.

Závěr: Budoucnost patří těm, co nečekají na povolení

Meta stáhla ocet a odstranila kontroverzní funkce, ale to je jen dočasné příměří. Velké platformy se budou i nadále snažit ohradit své zahrádky a kontrolovat, jak AI používáme. Odpovědí není bojkot, ale technologická suverenita. Díky nástrojům jako vLLM, SkyPilot a dostupnosti špičkových modelů na Hugging Face nebylo nikdy snazší (a levnější) postavit si vlastní infrastrukturu.

Nezáleží na tom, jestli jste malá firma, která chce automatizovat zákaznickou podporu, nebo nadšenec, co si chce hrát s necenzurovanými modely. Klíčem je efektivita. Efektivita ve využití paměti GPU, efektivita při výběru cloudu a především efektivita v nakládání s energií. Protože v roce 2026 už není AI jen o algoritmech, je to především o tom, jak chytře dokážete pálit elektřinu. Pokud chcete vědět, jak na energetickou stranu věci, podívejte se na Smart Energy Share. Svět AI se mění rychle, ale fyzikální zákony a účet za elektřinu zůstávají. Buďte na to připraveni.

Zdroje

- vLLM Project Homepage - SkyPilot Documentation - Hugging Face: Managed Compute and Foundry - oEnergetice.cz: Energetická náročnost datových center - Ars Technica: Meta's AI Labeling Controversy

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: SmartEnergyShare.info Politické zemětřesení v AI: Proč Anthropic vypíná modely ... Vice o introducing mellum2: