Zapomeňte na OpenAI. Takhle si na Macu natrénujete vlastní embedding model za víkend

Představte si, že máte desítky tisíc technických dokumentů, faktur za energie nebo zpráv z chytrých měřičů. Chcete, aby váš počítač uměl najít souvislosti mezi nimi lépe než Google. A nechcete posílat data do cloudu nějaké americké firmě. Před pár lety to byla sci-fi. Dnes to zvládnete na stole v obýváku.

Apple právě vydal nové desktopové počítače, které jsou prakticky navržené jako lokální AI laboratoře. Mac Studio s M3 Ultra má až 32jádrový CPU, 80jádrové GPU a až 512 GB sdílené paměti. To znamená, že do něj nacpete modely, o kterých se ještě nedávno mluvilo jen v akademických článcích. A jedna z nejužitečnějších věcí, které na něm můžete provozovat, jsou embedding modely – konkrétně ty multi-vector.

Co jsou multi-vector embedding modely a proč je potřebujete

Klasický embedding model vezme větu a zkomprimuje ji do jednoho vektoru. Třeba 768 čísel, která reprezentují význam textu. To funguje dobře na krátké dotazy. Problém nastane, když máte dlouhý technický text, smlouvu nebo zprávu z distribuční soustavy. Jedno číslo prostě nestačí.

Multi-vector modely, jako je například ColBERT nebo moderní přístupy založené na late interaction, reprezentují každé slovo nebo token vlastním vektorem. Výsledek? Přesnější vyhledávání, lepší porozumění kontextu a schopnost najít informace i v dlouhých dokumentech. Místo aby se celý dokument zploštil na jednu čáru, zůstane rozložený na kusy. Vyhledávání pak porovnává jednotlivé tokeny dotazu s tokeny dokumentu.

V praxi to znamená, že když se zeptáte „jaký je rozdíl mezi regulační a podpůrnou elektřinou“, model skutečně najde pasáže, kde se o tom mluví. Ne jen dokumenty, které obsahují obě slova někde v textu. Pro energetiku, právo nebo technickou dokumentaci je to obrovský rozdíl.

Sentence Transformers je knihovna, která tohle všechno zjednodušuje. Díky ní můžete trénovat, fine-tunovat a nasazovat embedding modely bez toho, abyste psali tisíce řádků kódu. A funguje to i lokálně. Pokud vás zajímá, jak se takové modely dají využít pro analýzu energetických dat nebo chytré sítě, podívejte se na smartenergyshare.info, kde se o AI v energetice píše prakticky a bez marketingové mlhy.

Proč Apple hardware změnil pravidla hry

Dřív bylo trénování modelů doma noční můra. Potřebovali jste grafické karty od Nvidie, složitou instalaci CUDA a často i speciální napájení. Mac s čipem M3 Ultra a 512 GB RAM to mění. Apple používá unified memory, což znamená, že CPU a GPU sdílejí jednu velkou paměť. Není potřeba kopírovat data tam a zpátky.

Konkrétní čísla? Mac Studio s M3 Ultra s 80jádrovým GPU má teoretický výpočetní výkon kolem 27 TFLOPS v single precision. To není úplně RTX 4090, ale na embedding modely a fine-tuning menších modelů to bohatě stačí. A hlavně – ticho, nízká spotřeba a žádné vedro v kanceláři.

Apple navíc integroval Core ML a MLX framework. MLX je framework pro strojové učení přímo od Applu, optimalizovaný pro Apple Silicon. S ním můžete trénovat modely v Pythonu podobně jako s PyTorchem, ale s daleko menší režií. Pro člověka, který chce experimentovat doma, je to ideální kombinace.

Cena? Mac Studio s M3 Ultra začíná na přibližně 95 000 Kč. Verze s 512 GB paměti se vyšplhá přes 350 000 Kč. To není levné. Na druhou stranu, jeden rok provozu cloudové GPU instance pro trénink může stát stejně nebo víc. A u cloudového řešení data nikdy neopustí váš byt jen proto, že zaplatíte víc.

Jak začít: Sentence Transformers v praxi

První krok je instalace. Na Macu s Apple Silicon funguje:

```bash pip install sentence-transformers ```

Pak už stačí pár řádků kódu:

```python from sentence_transformers import SentenceTransformer

model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2') sentences = ["Spotová cena elektřiny dnes klesla.", "Cena na denním trhu je nižší."] embeddings = model.encode(sentences) ```

Tohle vám dá klasický dense embedding. Multi-vector přístup je o něco složitější, ale Sentence Transformers podporuje i moderní architektury jako ColBERT. Knihovna má předtrénované modely na HuggingFace, takže nemusíte začínat od nuly. Na HuggingFace najdete stovky modelů různých velikostí, od českých BERTů po vícejazyčné modely.

Pro český jazyk doporučuji hledat modely jako `multilingual-e5-large` nebo české varianty RobeCzech. Čeština je pro embedding modely zrádná – skloňování, předložky a volné slovosledy dělají problémy anglickým modelům. Pokud plánujete pracovat s českými energetickými dokumenty, smlouvami nebo zprávami z trhu, použijte vícejazyčný model nebo si model natrénujte na vlastních datech.

Fine-tuning: LoRA, kontrastivní učení a vaše data

Teď to nejdůležitější. Předtrénovaný model je dobrý, ale na konkrétní doménu potřebujete fine-tuning. Máte dvě možnosti: plný fine-tuning, kdy se učí všechny parametry modelu, nebo efektivnější metody jako LoRA.

LoRA, tedy Low-Rank Adaptation, aktualizuje jen malou část vah modelu. Místo miliard parametrů se učíte třeba jen pár milionů. Výhoda? Méně paměti, rychlejší trénink a menší riziko přeučení. Na Macu s 64 GB RAM zvládnete LoRA fine-tuning klidně o víkendu.

Základní postup vypadá takto:

Připravíte páry vět – dotaz a správná odpověď, případně negativní příklady.
Vyberete ztrátovou funkci, často MultipleNegativesRankingLoss nebo TripletLoss.
Spustíte trénink na pár epochách.
Otestujete na validačních datech.

Konkrétní kód:

```python from sentence_transformers import SentenceTransformer, InputExample, losses from torch.utils.data import DataLoader

model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2') train_examples = [ InputExample(texts=['Jak funguje sdílení elektřiny?', 'Sdílení elektřiny umožňuje domácnostem sdílet přebytky z FVE.']), InputExample(texts=['Co je bateriové úložiště?', 'Baterie ukládá energii pro pozdější použití.']), ] train_dataloader = DataLoader(train_examples, shuffle=True, batch_size=16) train_loss = losses.MultipleNegativesRankingLoss(model)

model.fit(train_objectives=[(train_dataloader, train_loss)], epochs=3, warmup_steps=100) ```

Kvalita modelu závisí na datech. Pokud máte jen pár stovek příkladů, výsledek bude slabý. Pro slušný fine-tuning potřebujete tisíce až desetitisíce kvalitních párů. A data musí odpovídat reálnému použití. Model naučený na Wikipedii nebude fungovat na fakturách od distributora.

Pro praktické nasazení v energetice, například pro automatickou klasifikaci dokumentů nebo vyhledávání v interních znalostních bázích, se vyplatí začít s Energetickým poradenstvím na SmartEnergyShare. A pokud řešíte, jak propojit lokální AI s daty z fotovoltaiky nebo baterií, mrkněte na IoT monitoring.

Granite 4.2 a energetika: když embedding model čte faktury

IBM nedávno představilo Granite 4.2, rodinu velkých jazykových modelů s otevřenou licencí. Granite modely jsou postavené tak, aby byli spolehliví v podnikových aplikacích. To znamená především transparentní tréninková data, licence bez háčků a dobré výsledky na úlohách, kde se nesmí halucinovat.

Granite 4.2 funguje skvěle v kombinaci s vlastními embedding modely. LLM odpovídá na otázky, embedding model mu dodává relevantní kontext z vašich dokumentů. Tento vzor se jmenuje RAG, retrieval-augmented generation. Bez dobrého embedding modelu je RAG k ničemu. S dobrým embedding modelem může Granite 4.2 odpovídat na konkrétní dotazy o spotových cenách, distribučních sazbách nebo podmínkách dodávek elektřiny.

V praxi si to představte takto: máte desítky tisíc faktur za elektřinu, smluv a hlášení. Embedding model rozdělí dokumenty na smysluplné kusy a uloží je do vektorové databáze. Když se zeptáte „kolik nás stála regulace v lednu 2026“, systém najde správné dokumenty a Granite 4.2 z nich vytáhne odpověď. Vše lokálně. Žádné API, žádné úniky dat.

Samozřejmě to není magie. Modely halucinují, špatně zformátovaná data zkreslují výsledky a ceny energií se mění každý den. Ale pro interní analýzu a automatizaci rutinních dotazů je to obrovská úspora času. Pokud vás zajímá, jak takové systémy fungují v českém prostředí, podívejte se na Jak to funguje na SmartEnergyShare. Další praktické informace o komunitní energetice najdete na sdilenienergie.info.

Kolik to stojí a kde to může zabolit

Pojďme k penězům. Mac Studio s M3 Ultra a rozumnou konfigurací pro trénink, tedy 128 až 256 GB RAM, stojí mezi 150 000 a 250 000 Kč. K tomu potřebujete úložiště, protože modely a dataset zaberou stovky gigabajtů. Externí SSD přes Thunderbolt vyjde na pár tisíc.

Cloudová alternativa? Instance s A100 nebo H100 stojí několik dolarů za hodinu. Dlouhodobý trénink se rychle vyšplhá do desítek tisíc měsíčně. Lokální hardware se proto vyplatí, pokud chcete experimentovat pravidelně nebo pracovat s citlivými daty.

Úskalí jsou ale reálná. První problém je kompatibilita. Ne všechny knihovny a modely fungují na Apple Silicon hned. Občas musíte kompilovat zdrojáky nebo čekat na aktualizace. Druhý problém je paměť. Apple Silicon má sjednocenou paměť, ale její šířka pásma je sdílená. Při velkých dávkách může být trénink pomalejší než na dedikované GPU.

Třetí problém je kvalita dat. Firmy často myslí, že stačí naházet do modelu PDFka a zázraky se stanou. Omyl. Data musí být čistá, strukturovaná a relevantní. Čtvrtý problém je právní. Pokud pracujete s osobními údaji nebo smluvními dokumenty, musíte řešit GDPR. Lokální běh pomáhá, ale neřeší všechno.

Páté úskalí? Přeučení. Malý fine-tuned model se může chytit do pasti vlastních dat a přestane fungovat na obecné dotazy. Proto vždy testujte na oddělené validační sadě. A šesté úskalí je údržba. Modely zastarají, data se mění, konkurence vydává nové verze. Lokální AI není jednorázová investice, ale kontinuální proces.

Pokud přemýšlíte o komerčním využití a chcete vědět, jaké jsou reálné možnosti pro firmy, podívejte se na stránku Pro firmy. Pro menší provozovatele fotovoltaiky je relevantní Pro výrobce FVE. A legislativní kontext českého energetického trhu najdete na electric-share.cz.

Lokální AI není už jen hračka pro nadšence

Za pár let budou mít středně velké firmy vlastní embedding modely běžící na běžném hardwareu. Apple to urychluje. Sentence Transformers to zjednodušuje. Otevřené modely jako Granite 4.2 to činí použitelným pro reálný byznys.

Nejde přitom o to nahradit velké cloudové modely. Jde o to mít pod kontrolou kritické úlohy. Vyhledávání ve smlouvách, analýza faktur, klasifikace zpráv z chytrých měřičů. To jsou věci, kde si nemůžete dovolit posílat data ven. A kde se vyplatí investovat do vlastního řešení.

Začněte malým projektem. Vyberte jednu konkrétní úlohu. Najděte nebo vytvořte dataset. Natrénujte model na pár hodinách. Otestujte. A pak škálovat. Ti, kdo začnou dnes, budou mít za rok náskok. Ti, kdo čekají na „dokonalé“ řešení, budou stále jen čekat.

Zdroje

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: SmartEnergyShare.info Proč to zajímá lidi kolem fotovoltaiky Vice o apple's new