2,8 bilionu tokenů: proč by vás indická AI měla zajímat

Dva biliony osm set miliard tokenů. Tak velký soubor textových dat připravily NVIDIA a laboratoř AI4Bharat při indickém IIT Madras pro trénování jazykových modelů. Jenže nejzajímavější část zprávy není to obří číslo. Je to zveřejněný postup, podle kterého mohou další týmy vyrábět vlastní trénovací materiál.

Pro českého vývojáře je v tom překvapivě praktická zpráva. Kvalitnější oborovou AI nemusíte začínat nákupem dalších grafických karet. Nejdřív potřebujete zjistit, čím ji vlastně krmíte. A kdo kontroluje kuchaře.

2,8 bilionu tokenů: proč by vás indická AI měla zajímat

Projekt Nemotron-pretraining-Indic-v1 pokrývá 22 indických jazyků. Vedle textů v jejich obvyklých písmech obsahuje u dvanácti jazyků také přepis do latinky. Ten odpovídá tomu, jak lidé často píšou na internetu. Jazyk a použité písmo totiž nejsou totéž.

Pozor na překlad titulku. Anglické „trillion“ znamená český bilion. A token není automaticky slovo. Může představovat jeho část, interpunkci nebo jiný úsek textu. Výsledek závisí na použitém tokenizéru.

Ještě podstatnější detail: oznámení ze 16. října 2026 popisuje korpus, jehož zveřejnění teprve slibuje. Nelze ho tedy bez dalšího vydávat za kompletní balík připravený ke stažení. Otevřený postup zahrnuje překlad, hodnocení kvality a opravy. Původní oznámení NVIDIA na Hugging Face.

Proč to řešit v Česku? Protože podobný problém potká každého, kdo chce model naučit odbornou terminologii mimo angličtinu. Třeba servis střídačů, reklamace průmyslových čidel nebo správu obecních budov.

Přeložený anglický manuál přinese technické znalosti. Sám však nedodá českou firemní praxi, místní zkratky ani způsob, jakým zákazník popisuje poruchu. Rozumná datová sada proto potřebuje také původní domácí materiál. Obří objem může pomoci. Chybějící zkušenost z provozu ale nenahradí ani další nula v tiskové zprávě.

Továrna na text potřebuje také výstupní kontrolu

Základní postup projektu je srozumitelný: přeložit dokument, porovnat překlad s originálem, opravit chyby a výsledek znovu posoudit. Pro dvanáct jazyků slouží jako překladač i hodnotitel Gemma-4-31B-it. Přijatý text musí dosáhnout alespoň 75 bodů ze 100. Jde o hodnoticí stupnici, nikoli o záruku 75procentní správnosti. Proces řídí NeMo Data Designer. Popis datového postupu.

Pro vlastní experiment bych tento princip převedl do obyčejného záznamu: identifikátor zdroje, původní text, překlad, verze modelu, použité instrukce, nalezené chyby a rozhodnutí o přijetí. Bez těchto údajů budete při první reklamaci hledat původ věty jako ponožku v prádelně.

Kontrola by měla mít dvě vrstvy. Jazykový model posoudí význam a přirozenost. Obyčejný program zkontroluje zachování čísel, jednotek, odkazů a bloků kódu. Překlad může znít výborně a přitom změnit 230 V na 230 kV. Gramatika takovou chybu nezachrání.

Ve vlastním pokusu také rozdělte zdrojové dokumenty na trénovací a testovací část ještě před vytvářením variant. Jinak může model dostat při testu jen jinak formulovaný text, který už viděl.

A přidejte člověka. Pro pilotní sadu navrhuji ručně projít alespoň stovku různorodých výstupů. Není to statistická záruka kvality. Je to levný způsob, jak odhalit chybný postup dřív, než ho zopakujete milionkrát.

Výsledky vypadají dobře. Jen pozor, co skutečně měří

Technická zpráva k Nemotronu 3.5 Super uvádí navazující předtrénování s rozpočtem 100 miliard tokenů. Z toho deset miliard připadalo na směs syntetických a přirozených textů v indických jazycích. Velikost zásobníku dat tedy není totéž jako množství skutečně použité při konkrétním tréninku.

Na pěti sledovaných indických testech se skóre zvýšilo o 4,98 až 9,82 procentního bodu. Autoři zároveň upozorňují, že experiment neodděluje přínos syntetické a přirozené části. Technická zpráva NVIDIA.

Pro firemní projekt z toho plyne konkrétní návrh experimentu. Připravte dvě varianty se stejným výpočetním rozpočtem. První použije původní oborová data. Druhá dostane navíc jejich kontrolovaně vytvořené varianty, ale celkový počet trénovacích tokenů zachováte. Teprve tak začnete rozlišovat přínos dat od přínosu delšího trénování.

Měřte úkoly, které někomu ušetří práci. U servisního asistenta třeba správné přiřazení chybového kódu, dohledání odpovídajícího postupu a schopnost přiznat nedostatek podkladů. Samotná plynulost odpovědi nestačí.

Sledujte také původní schopnosti modelu. Po úpravě může lépe znát vaše výrobky, ale hůř dodržovat formát odpovědi nebo rozumět běžným dotazům. Sto pečlivě připravených provozních případů vám pro rozhodování často řekne víc než působivá ukázka vybraná autorem modelu.

Vlastní pokus rozjedete přes Ollamu. Předtrénování tím ale nezačíná

Pro první ověření celého nápadu stačí lokální model. Aktuální dokumentace Ollamy nabízí Gemma 4 E2B, přibližně 7,2GB soubor ke stažení, a doporučuje 8 GB dostupné grafické nebo sjednocené paměti. Delší kontext potřebuje další prostor. Při využití operační paměti místo grafické počítejte s pomalejší odezvou. Dokumentace Ollamy.

Po instalaci spusťte:

```bash ollama run gemma4:e2b ```

První zadání může vypadat takto:

> Z následujícího servisního textu vytvoř tři otázky a odpovědi. Zachovej všechny číselné hodnoty a jednotky. Každou odpověď dolož konkrétní větou ze zdroje. Když podklad nestačí, příklad nevytvářej.

Tím testujete výrobu oborových příkladů. Nereprodukujete indický korpus ani jeho výsledky. Malý model může některé požadavky přehlédnout, takže výstup musí projít kontrolou.

Pro následné dolaďování existuje LoRA. Ta upravuje malé přídavné matice a základní váhy ponechává zmrazené. Snižuje tím objem trénovaných parametrů a nároky proti plnému dolaďování. Implementaci nabízí knihovna PEFT na Hugging Face. Dokumentace LoRA.

Než začnete trénovat, ověřte jednodušší variantu: vyhledávání v dokumentech a vložení nalezených pasáží do zadání. Pro měnící se ceníky nebo servisní pokyny bývá praktičtější aktualizovat dokument než znovu upravovat model. LoRA dává smysl zejména tehdy, když potřebujete změnit chování, terminologii nebo ustálený formát výstupu.

Kolik to stojí? Počítejte přijaté příklady, ne vyrobené věty

NVIDIA popisuje snížení mediánových nákladů samotného překladu z 0,835 na 0,335 GPU hodiny na milion anglických vstupních tokenů. Hodnocení a opravy přidávají další práci. Toto číslo se vztahuje ke konkrétnímu experimentu a nelze ho automaticky přenést na domácí počítač. Technická zpráva, část o efektivitě generování.

Vlastní rozpočet sestavte odspodu. Následující tabulka je modelový výpočet, nikoli aktuální nabídka dodavatele:

| Položka | Předpoklad | Náklad | |---|---|---:| | Pronájem GPU | 20 hodin × 60 Kč | 1 200 Kč | | Ruční kontrola | 6 hodin × 500 Kč | 3 000 Kč | | Elektřina při lokálním běhu | 0,4 kW × 20 hodin × 6 Kč/kWh | 48 Kč |

Pronájem a lokální elektřina představují alternativní scénáře. Nelze je mechanicky sečíst jako jeden účet. Chybí také pořízení počítače, příprava programu, úložiště a případné opakování pokusu.

Drahou položkou může být právě kontrola. Pokud vznikne deset tisíc příkladů a projdou jen dva tisíce, počítejte cenu na ty přijaté. Cena za milion vygenerovaných tokenů sama o sobě kvalitu podnikání nezměří.

Před rezervací delšího pronájmu proto zpracujte malý reprezentativní vzorek. Změřte rychlost, spotřebu paměti a podíl zamítnutých výstupů. Tyto tři hodnoty vám dají použitelnější rozpočet než univerzální slib, že vlastní AI stojí pár stovek měsíčně.

Beam ukazuje, proč „otevřený“ neznamená „vejde se domů“

Ve stejném zpravodajském proudu se objevil Beam od Reflection. Má 501 miliard parametrů, přičemž pro jeden token aktivuje přibližně 23 miliard. Používá architekturu se směsí expertů a vychází pod licencí Apache 2.0. Jde o samostatný projekt; jeho parametry nelze zaměňovat s počtem tokenů indického korpusu. Představení Beamu na Hugging Face.

Tady se snadno udělá drahá chyba. Menší počet aktivních parametrů snižuje výpočetní práci, ale zbývající váhy nezmizí. Musíte je někde uchovávat a podle potřeby zpřístupňovat.

Orientační výpočet pro 501 miliard parametrů při dvou bajtech na parametr dává 1 002 miliard bajtů, tedy asi jeden terabajt samotných vah. Ideální čtyřbitový zápis vychází zhruba na 250,5 GB. Skutečné provedení potřebuje další paměť na metadata, pracovní prostor a zpracování kontextu.

To jsou matematické odhady, nikoli doporučená konfigurace serveru. Ukazují však, proč nápis „otevřený model“ neznamená automaticky levný domácí provoz.

Pro malý český tým bych začal měřitelným úkolem na menším modelu. Větší systém má smysl tehdy, když prokazatelně zlepší výsledek natolik, aby zaplatil svůj provoz. Vlastnit model je příjemná možnost. Vlastnit zbytečně drahý server už bývá méně zábavné.

Elektroměr je nejupřímnější hodnotitel vaší AI

Datová centra podle IEA spotřebovala v roce 2024 přibližně 415 TWh elektřiny, zhruba 1,5 procenta světové spotřeby. Toto číslo zahrnuje všechna datová centra, nikoli pouze umělou inteligenci. Analýza spotřeby datových center od IEA.

U vlastního serveru začněte měřením ze zásuvky. Příkon uvedený u grafické karty není spotřeba celé sestavy. Započítejte procesor, paměti, disky a ztráty zdroje. Pro propojení výpočtů s energetickým provozem nabízí Smart Energy Share také [IoT monitoring spotřeby a výroby](https://smartenergyshare.com/iot-monitoring?utm_source=electricshare&utm_medium=referral&utm_campaign=satellite-marketing).

Odložitelné generování dat můžete plánovat podle vlastní výroby nebo cen elektřiny. Pomůže přehled spotových cen, přičemž obchodní data ověřujte u OTE. Burzovní cenu ale nezaměňujte s konečným účtem svého odběrného místa. Pro konkrétní provozní kalkulaci lze využít energetické poradenství. Další související čtení nabízí ShareElectric.cz.

Levnější provoz ovšem nezachrání špatná data. Před rozšířením výroby příkladů musíte znát jejich původ, podmínky použití a chybovost. Překlad sám nevyřeší oprávnění k využití podkladu.

Začněte tedy stovkou dokumentů, pevně vybraným testem a změřeným rozpočtem. Teprve potom přidávejte výkon. Moje předpověď? Nejzajímavější oborové modely dalších let často nevzniknou u týmů s největším počtem grafik. Vzniknou tam, kde někdo dokáže vysvětlit, proč každý přijatý dokument do tréninku patří.

Zdroje

• NVIDIA a AI4Bharat: oznámení indického korpusu a otevřeného postupu — Výchozí zpráva k projektu. Při plánování stahování je nutné rozlišovat oznámené vydání od skutečné dostupnosti souborů. Před použitím vždy ověřte také konkrétní verzi a podmínky datové sady.

• NVIDIA: technická zpráva k Nemotronu 3.5 — Podklad pro uvedené výsledky a náklady překladu. Pro vlastní srovnávání si zapisujte hardware, délku vstupů i rozsah kontrol. Bez společných podmínek mohou podobně vypadající čísla znamenat výrazně odlišnou práci.

• Ollama: dokumentace prvního spuštění — Praktický výchozí bod pro lokální pokus. Uvedený příkaz spouští model; neprovádí jeho trénování. Před rozsáhlejším experimentem zkontrolujte dostupnou paměť a vyzkoušejte skutečné dokumenty odpovídající zamýšlenému použití.

• IEA: spotřeba energie související s AI a datovými centry — Mezinárodní energetický kontext článku. Historická spotřeba celého odvětví není měřítkem spotřeby jedné odpovědi. Pro rozhodování o vlastním serveru proto používejte přímé měření a skutečný počet dokončených úloh.

• OTE: výsledky denního trhu s elektřinou — Český zdroj pro kontrolu tržních cen. Při ekonomickém vyhodnocení provozu spojte cenová data s podmínkami vlastního odběru. Úsporu počítejte z reálně přesunuté spotřeby, nikoli z teoretického nepřetržitého vytížení serveru.

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: SmartEnergyShare.info Ekonomika prostoje: proč nevytížená karta bolí víc než po... Vice o training and