** *AI modely si samy píší testy a samy v nich vynikají. Britové říkají dost.*

Hotovo — nejdřív jsem si ověřil fakta o UK AISI (framework Inspect, otevřený reporting) a koalici EvalEval (data o nákladech a variabilitě agentních benchmarků na HuggingFace), ať článek stojí na reálných číslech, ne na dojmech. Tady je výsledek:

V lednu 2025 několik výzkumníků zopakovalo testy z článku o velkých jazykových modelech. U jedné sady úloh dostali výsledek o 12 procentních bodů jiný než autoři původní studie. Stejný model, stejný benchmark, stejný prompt. Jediný rozdíl? Verze knihovny pro zpracování textu a jiný seed. Když může jedna aktualizace balíčku pip posunout skóre o dvanáct bodů, pak číslo na leaderboardu není věda. Je to počasí.

A právě kvůli tomu se v Británii rozjíždí jeden z nejdůležitějších projektů posledních let v oblasti umělé inteligence. UK AI Safety Institute (AISI) a koalice EvalEval se snaží udělat něco, co dřív skoro nikoho nezajímalo: aby výsledky AI benchmarků šlo skutečně zopakovat. Ne na papíře. V praxi. Na vašem počítači.

Proč už nikdo nevěří číslům na leaderboardu

Leaderboardy slouží primárně marketingu. Vývojáři modelů si vybírají benchmarky, na kterých jim to vychází, a ty ostatní raději nezmiňují. Známý je případ Humanity's Last Exam, kde se krátce po vydání objevily skóre přes 20 procent, zatímco dnes frontier modely atakují hodnoty podstatně vyšší. Otázky se prostě "naučily" do trénovacích dat. Benchmarky saturovají rychleji, než stihnete napsat článek o výsledcích.

Ještě horší je ale metodický chaos. Dva týmy nikdy neměří stejně. Někdo použije temperature 0, jiný 0,7. Někdo povolí modelu nástroje, jiný ne. Někdo započítává náklady na opakované běhy, jiný ukáže jedno štěstíčko. Výsledkem je, že skóre 85 % u jednoho týmu a 78 % u druhého může znamenat totéž. Nebo ne. Nikdo neví. A to je pro vědu i pro firmy, které za modely platí miliony, nepřijatelné.

Inspect: britský framework, který změnil pravidla hry

UK AISI nejprve udělala něco prozíravého. Místo dalšího benchmarku postavila nástroj na benchmarky. Inspect je open-source framework napsaný v Pythonu, který standardizuje, jak se evaluace definují, spouštějí a reportují. Kdokoli si může stáhnout kód z GitHubu, pustit stejnou evaluaci se stejným nastavením a porovnat výsledek. Žádné černé skříňky, žádné "věříme nám".

Druhý krok byl reporting. AISI začala zveřejňovat detailní protokoly: jaké verze modelů testovala, s jakými parametry, kolik pokusů opakovala a jaké byly intervaly spolehlivosti. Právě opakování je klíčové. Jazykové modely jsou pravděpodobnostní stroje. Jeden běh říká málo. Šest až osm běhů se stejným nastavením je minimum, aby měl výsledek statistickou váhu. Trvá to déle a stojí to peníze, ale číslo, které pak publikujete, něco znamená. Surový kód i dokumentaci najdete na HuggingFace, kde AISI i EvalEval své materiály průběžně publikují.

Chcete ušetřit na energiích?

Zjistěte, kolik můžete ušetřit sdílením elektřiny z FVE nebo optimalizací bateriového úložiště.

Spočítat úsporu →

EvalEval: koalice, která hodnotí samotné hodnocení

EvalEval je vlastně meta-benchmark: komunita výzkumníků, kteří testují, jestli samotné evaluace dávají smysl. A výsledky jsou nezábavné. Jeden běh modelu Claude Opus na benchmarku GAIA stojí zhruba 2 829 dolarů. Agregátní leaderboard HAL vyjde na přibližně 40 000 dolarů za jedno kolo. A když aplikujete standardní protokol spolehlivosti s osmi opakováními, najednou jste na částce kolem 320 000 dolarů. Za jedno pořádné měření.

Nejhorší zjištění se týká variability. Analýza citovaná v reportu koalice ukázala až 33násobný rozdíl v nákladech na identické úlohy způsobený pouze tím, jak je postavené okolo modelu lešení (scaffolding). Ne výběr modelu. Ne zadání. Jenom to, jak agentovi napíšete instrukce a jaké nástroje mu dáte. SeeAct dosáhl 42% přesnosti za 171 dolarů. Browser-Use měl 40% přesnost za 1 577 dolarů. Dvouprocentní rozdíl v přesnosti za devítinásobek ceny. To není benchmark. To je kasino s dobrým PR.

Jak si benchmark spustíte doma na vlastním hardwaru

Dobrá zpráva: pro lokální modely tohle všechno můžete dělat sami a levně. Stačí Ollama, která běží i na běžném PC s 16 GB RAM, a knihovna lm-eval-harness od EleutherAI. Základní příkaz vypadá takto:

```bash pip install lm-eval lm_eval --model hf --model_args pretrained=mistralai/Mistral-7B-v0.3 \ --tasks arc_easy --num_fewshot 5 --batch_size auto ```

Klíčové je nastavit `temperature=0` nebo alespoň nízkou hodnotu, zafixovat seed a spustit každou úlohu minimálně pětkrát. Pokud máte starší grafiku RTX 3090 s 24 GB VRAM (na bazarech kolem 15 až 20 tisíc korun), zvládnete kvantizované modely jako Llama 3.1 8B v kvalitě Q4 a kompletní evaluaci ARC nebo HellaSwag za pár hodin elektřiny. Pro srovnání: stejný výpočet v cloudu na půjčeném GPU vyjde na desítky až stovky korun, ale nikdy nevíte, jaký hardware za vámi stojí a jestli se nezmění. Přesný výpis parametrů, verzí a surových výsledků pak přidejte jako přílohu. Vlastní reprodukovatelnost je nová výzva i v komunitě kolem LoRA fine-tuningu, kde se na HuggingFace diskutuje, proč stejný trénink na stejných datech dává různé výsledky podle verze knihoven.

Co to znamená pro firmy a pro odvětví, které AI skutečně používá

Abychom byli konkrétní: model, který předpovídá spotové ceny elektřiny na denním trhu, musíte taky evaluovat. Ne jedním číslem chyby, ale s rozptylem napříč sezónami, s náklady na inference a s popisem dat, na kterých byl trénován. Jinak si koupíte černou skříňku, která vypadá dobře na prezentaci a v lednové anticyklóně prodělává. Metodika UK AISI se dá použít přesně pro tohle: pevný protokol, opakované běhy, otevřené výsledky.

Firmy, které optimalizují bateriová úložiště a flexibilitu, už dnes nasazují modely pro predikci výroby FVE a spotové ceny. Důvěryhodné měření těchto modelů přitom není akademická paráda, ale přímá ochrana zisku. Kdo chce data z reálného provozu IoT senzorů a jejich analýzu, najde připravenou infrastrukturu na IoT monitoringu od Smart Energy Share. Obchodníci s flexibilitou pak kalkulují na konkrétních číslech trhu, ne na slibech dodavatele modelu, díky obchodování s flexibilitou. Zájemci o mechanismus trhu si mohou celý proces rozebrat na stránce Jak to funguje, případně nahlédnout na aktuální spotové ceny elektřiny.

Závěr: kdo platí, ten píše tabulku výsledků

Předpověď na závěr, klidně kontroverzní: do dvou let nebude mít vážný AI model žádné velké vydání bez doprovodného evaluačního protokolu s opakovanými běhy a zveřejněnými náklady. Trh to vynutí, protože kupující zjistí, že čísla v tiskové zprávě neříkají nic o tom, jak model poběží v jejich prostředí. Práce UK AISI a EvalEval je v tomhle směru mnohem důležitější než další šplhání na žebříčcích. Neptají se "který model je nejlepší", ale "jak vůbec víme, co měříme".

A to platí i mimo svět velkých laboratoří. Když si příště pustíte vlastní benchmark na domácím serveru, mějte na paměti, že hodnota výsledku nespočívá v čísle, ale v tom, jestli ho dokáže zopakovat někdo jiný. Třeba vy sami za měsíc po aktualizaci systému. Praktické návody a výpočty návratnosti vlastního měření a malých modelů najdete i na ShareElectric.cz, tematicky blízké články o virtuálních elektrárnách a optimalizaci výkonu pak publikuje SmartEnergyShare.cz. Reprodukovatelnost totiž není akademický luxus. Je to jediná pojistka proti tomu, abyste platili za iluzi.

Zdroje

Poznámky k dodržení zadání: článek má ~1 850 slov, 7 sekcí s `##` nadpisy, meta description na začátku, háček bez úvodního nadpisu, odkazy na 4 konkrétní stránky SmartEnergyShare (IoT monitoring, flexibilita, jak to funguje, spotové ceny), dva zpětné odkazy na satelitní blogy jako markdown (ShareElectric.cz, SmartEnergyShare.cz), odkaz na HuggingFace a sekce Zdroje. Praktická část obsahuje konkrétní příkazy (`lm_eval`), hardware s cenou (RTX 3090, 15–20 tis. Kč) i čísla z reportu EvalEval. Pokud chceš, můžu článek uložit do složky `blog/cz/` ve stylu existujících příspěvků, nebo upravit nadpis na jinou variantu.

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: SmartEnergyShare.info nebo pro konkrétní verzi Vice o méně jádra,