Vaše AI přehlíží detaily. Jedna grafická karta to může změnit

Stačí zaměnit „vypnout ochranu“ za „ochrana proti vypnutí“ a z užitečného firemního asistenta je výrobník drahých problémů. Vyhledávač přitom může obě věty považovat za velmi podobné. Slovíčka sedí. Význam utekl.

Právě tady mají vícevektorové embeddingové modely co nabídnout. Zachovávají podrobnější reprezentaci textu a mohou lépe dohledávat konkrétní technické informace. Sentence Transformers pro ně přidal vlastní trénovací rozhraní. K prvnímu experimentu nepotřebujete výpočetní centrum. Potřebujete hlavně dobře připravená data a ochotu měřit, zda se výsledek skutečně zlepšil.

Vaše AI přehlíží detaily. Jedna grafická karta to může změnit

Běžný embeddingový model převede celý úryvek do jediného vektoru, tedy seznamu čísel. Je to úsporné a rychlé. Jenže do stejné reprezentace se musí vejít výrobce zařízení, číslo chyby, provozní podmínky i poznámka pod čarou.

Vícevektorový model uchovává samostatné vektory jednotlivých tokenů, tedy částí textu. Při vyhodnocení dotazu hledá pro každý jeho token nejlepší shodu v dokumentu. Operátor MaxSim tyto nejlepší podobnosti sečte. Tomuto postupu se říká pozdní interakce. Dokumenty můžete zpracovat předem, podrobné porovnání přijde až při hledání. Popis architektury od autorů Sentence Transformers.

Představte si dotaz: „Chyba komunikace střídače po aktualizaci firmwaru 3.12.“ Obecný vyhledávač může nabídnout oblíbený návod k restartování. Vy potřebujete servisní poznámku ke konkrétní verzi. Vícevektorové porovnávání dává takovým detailům větší prostor. Přesnou shodu identifikátorů však stále kontrolujte samostatně.

Lepší vyhledávání není ověřování pravdivosti. Model může výborně najít zastaralý návod nebo podvržený dokument. Stejně tak nezaručuje správné pochopení záporu.

Proto bych pro technickou dokumentaci začal s kombinací lexikálního vyhledávání BM25 a vícevektorového přerovnání kandidátů. První vrstva zachytí přesná označení. Druhá posoudí souvislosti. Rozhodující bude test na vlastních dotazech, včetně překlepů, českých zkratek a podobných názvů zařízení.

Nejdražší součást tréninku sedí před klávesnicí

Pro první pokus navrhuji připravit 5 000 až 20 000 ověřených dvojic: dotaz a relevantní pasáž. Je to pracovní rozsah pro pilot, nikoli univerzální minimum. Dvě tisícovky pečlivě vybraných příkladů mohou být užitečnější než milion automaticky vyrobených otázek.

Dotazy vezměte ze servisních požadavků, interního hledání nebo rozhovorů s techniky. Odstraňte osobní údaje, hesla a přístupové tokeny. Dokumenty rozdělte podle významových celků. Tabulku chybových kódů nepřestřihávejte uprostřed jen proto, že počítadlo dosáhlo kulatého čísla.

Přidejte obtížné negativní příklady. K dotazu na konkrétní závadu přiřaďte také podobný, ale nesprávný návod. Třeba stejnou chybu u jiné generace zařízení. Dokumentace podporuje dvojice i trojice a pro ně nabízí `MultiVectorMultipleNegativesRankingLoss`. Její varianta `CachedMultiVectorMultipleNegativesRankingLoss` používá GradCache, aby umožnila větší kontrastivní dávky při omezené paměti. Přehled ztrátových funkcí.

Pozor na falešné negativní příklady. Dva různé návody mohou odpovídat správně. Když jeden označíte jako chybný, učíte model váš omyl.

Data rozdělte na trénovací, validační a testovací podle původních dokumentů nebo zařízení. Náhodné rozdělení odstavců často pustí téměř totožný obsah do všech skupin. Výsledná čísla vypadají skvěle. Provoz už méně.

U každého příkladu si mimo vstupní text uchovejte původ, datum platnosti a způsob ověření. Až někdo zpochybní odpověď, budete mít co dohledat.

Trénink v Pythonu: malý začátek, měřitelný výsledek

Následující ukázka vychází z rozhraní Sentence Transformers 6. Je to výchozí experiment, nikoli zde provedený benchmark. Připravte soubor `trenink.jsonl`, ve kterém každý řádek obsahuje dvě textová pole: `dotaz` a `pasaz`. Použijte předem oddělenou trénovací část.

V čistém prostředí s PyTorch odpovídajícím vaší grafické kartě nainstalujte knihovny:

```bash python -m venv .venv source .venv/bin/activate python -m pip install "sentence-transformers[train]>=6,<7" datasets ```

Skript uložte jako `trenink.py`:

```python from datasets import load_dataset from sentence_transformers import ( MultiVectorEncoder, MultiVectorEncoderTrainer, MultiVectorEncoderTrainingArguments, ) from sentence_transformers.base.sampler import BatchSamplers from sentence_transformers.multi_vector_encoder.losses import ( CachedMultiVectorMultipleNegativesRankingLoss, )

data = load_dataset( "json", data_files="trenink.jsonl", split="train" ).select_columns(["dotaz", "pasaz"])

model = MultiVectorEncoder( "lightonai/mLateOn-unsupervised", model_kwargs={"torch_dtype": "float32"}, )

nastaveni = MultiVectorEncoderTrainingArguments( output_dir="vystup", num_train_epochs=1, per_device_train_batch_size=32, learning_rate=2e-5, max_length=512, prompts={"dotaz": "[Q] ", "pasaz": "[D] "}, batch_sampler=BatchSamplers.NO_DUPLICATES, bf16=True, report_to="none", save_total_limit=2, )

ztrata = CachedMultiVectorMultipleNegativesRankingLoss( model=model, mini_batch_size=4, )

trainer = MultiVectorEncoderTrainer( model=model, args=nastaveni, train_dataset=data, loss=ztrata, ) trainer.train() model.save_pretrained("vystup/hotovy-model") ```

Spustíte ho příkazem `python trenink.py`. Ukázka předpokládá GPU s podporou BF16. Na jiném hardwaru upravte přesnost podle jeho možností. Základní propojení modelu, dat a trénovacího rozhraní popisuje dokumentace trénování.

Zvolená rychlost učení je konzervativní start. Vyzkoušejte několik hodnot a porovnejte validační výsledky. Limit 512 tokenů zlevňuje pokus, ale může odříznout odpověď na konci pasáže. Zkontrolujte proto skutečné délky dokumentů.

Značky `[Q]` a `[D]` odpovídají zvolenému modelu. Nekopírujte je automaticky do jiných architektur. Autor návodu upozorňuje, že trénink značky uložené v modelu nepřebírá automaticky. Praktický návod na Hugging Face.

Po úspěšném pilotu připněte konkrétní verze balíčků i revizi modelu. Bez toho se z opakovatelného experimentu snadno stane vzpomínka na odpoledne, kdy to ještě fungovalo.

Kolik stojí GPU a proč vás může překvapit index

Tom Aarsen v publikovaném experimentu dotrénoval model na milionu medicínských dvojic za 14,5 hodiny na jedné RTX 3090. Uvádí maximum 17,5 GB využité grafické paměti. Varianta se 100 000 dvojicemi trvala 75 minut a v jeho testu zaostala o 0,012 bodu NDCG@10. Jde o konkrétní dataset a nastavení, nikoli časový příslib pro české servisní příručky. Výsledky experimentu.

Podle ceníku ověřeného k 21. září 2026 stojí v Hugging Face Jobs následující konfigurace:

| Grafická karta | Grafická paměť | Cena za hodinu | |---|---:|---:| | NVIDIA T4, malá konfigurace | 16 GB | 0,40 USD | | NVIDIA L4 | 24 GB | 0,80 USD | | NVIDIA A10G, malá konfigurace | 24 GB | 1,00 USD | | NVIDIA A100 | 80 GB | 2,50 USD |

Deset hodin na L4 tedy znamená osm dolarů za uvedený výpočetní tarif. Nezahrnuje to případné další položky. Stejná kapacita paměti také neznamená stejnou rychlost. Ceník Hugging Face Jobs.

U vlastního počítače lze udělat jednoduchý modelový výpočet: příkon celé sestavy 450 W × deset hodin = 4,5 kWh. Při předpokládané ceně šest korun za kWh vychází elektřina na 27 korun. Hardware a lidská práce jsou zvlášť.

Větší účet může přinést ukládání. Milion pasáží, každá se 180 vektory po 128 hodnotách ve dvoubajtovém formátu, představuje přibližně 46 GB samotných čísel. Metadata a index přijdou navrch. Jde o ilustrativní výpočet; skutečné rozměry závisí na modelu.

LoRA šetří paměť. Asynchronní GRPO řeší jiný problém

LoRA dovoluje dotrénovat malé přídavné matice místo všech vah základního modelu. Snižuje počet učených parametrů a paměť potřebnou pro jejich gradienty a stav optimalizátoru. Aktivace, dlouhé vstupy a vyhodnocování podobností ale nezmizí. Princip LoRA v dokumentaci PEFT.

Pro embeddingový model nejprve ověřte podporu konkrétní architektury a určete, které vrstvy chcete upravovat. U nově přidané projekční vrstvy potřebujete zajistit, že se skutečně učí. Označení „používáme LoRA“ samo o sobě nic neříká o kvalitě vyhledávání.

Zajímavý provozní příklad přinesl návod na asynchronní GRPO přes Hugging Face Jobs. Trénovací úloha předává adaptéry dvěma serverům vLLM přes společné objektové úložiště. Proxy řeší autentizaci, směrování požadavků a načítání aktualizovaných adaptérů. Přenos adaptérů mezi těmito úlohami tak nepotřebuje NCCL. Popis sestavy a experimentů.

GRPO ovšem optimalizuje generující model podle odměny. Výše uvedený embeddingový trénink optimalizuje pořadí nalezených dokumentů. Pro první pokus by přidávání několika serverů znamenalo hlavně další místa, kde něco přestane odpovídat.

Ollama se hodí jako otevřená cesta k lokálnímu provozu modelů. Její dokumentované embeddingové rozhraní vrací vektor pro každý vstupní text. Není automatickou náhradou za vícevektorové vyhledávání s MaxSim. Můžete ji ale použít pro generování odpovědi nad pasážemi nalezenými samostatným vyhledávačem. Embeddingy v Ollama.

Bezpečnost: přesnější vyhledávač může přesněji najít podvrh

Zářijová reportáž WIRED popsala analytika Googlu, který pronikl do skupiny TeamPCP spojované s útoky na softwarový dodavatelský řetězec. Pro vývojáře AI je to připomínka, že závislosti a stažené artefakty patří do bezpečnostního modelu aplikace. Reportáž o infiltraci TeamPCP.

Trénovací prostředí proto provozujte bez produkčních přístupových údajů. Kontrolujte původ balíčků, modelů i dat. Spouštění vzdáleného kódu modelového repozitáře povolujte pouze po kontrole. Kontejner sám není bezpečnostní prověrka.

Druhý příběh ukazuje problém výstupů. Ars Technica s odvoláním na CNN popsala přípravu amerického zásahu proti čínské lodi kvůli chybné zpravodajské zprávě vytvořené s pomocí AI. Podle reportáže se omyl podařilo odhalit před zásahem. Není doloženo, že by příčinou byl konkrétní embeddingový model. Zpráva o incidentu.

Pro vlastní systém z toho odvozuji jednoduché pravidlo: odpověď musí zpřístupnit důkaz. Ukažte pasáž, původ dokumentu, datum a verzi. Když podklady nestačí, aplikace má umět odpověď odmítnout.

Přístupová oprávnění prosazujte před předáním dokumentů generujícímu modelu. Pokyn „neprozrazuj cizí smlouvy“ není náhrada autorizace. Vyhledaný text zároveň považujte za nedůvěryhodný obsah, který nesmí měnit systémová pravidla.

Do testovací sady přidejte podvržený návod, starší firmware a dokument s vloženým pokynem k odeslání dat. Sledujte nejen přesnost hledání, ale také úniky informací a nepodložené závěry.

Energetika jako praktický test: najít návod, doložit odpověď

V energetice se podobný systém nabízí pro hledání v servisních protokolech, smlouvách a provozních příručkách. Dotaz „Proč baterie včera nedodala sjednaný výkon?“ však vyžaduje také časová data. Embeddingový model sám neprovede spolehlivý výpočet z telemetrie.

Jako příklad souvisejících služeb poslouží platforma SmartEnergyShare: [IoT monitoring](https://smartenergyshare.com/iot-monitoring?utm_source=smartenergyshare-cz&utm_medium=referral&utm_campaign=satellite-marketing), [energetická řešení pro firmy](https://smartenergyshare.com/pro-firmy?utm_source=smartenergyshare-cz&utm_medium=referral&utm_campaign=satellite-marketing) a [obchodování flexibility](https://smartenergyshare.com/obchodovani-flexibility?utm_source=smartenergyshare-cz&utm_medium=referral&utm_campaign=satellite-marketing). Zde popsaný asistent je návrh použití nad podobnými podklady, nikoli tvrzení o nasazené architektuře platformy.

Pro pilot bych vybral 200 skutečných otázek techniků. Porovnal bych BM25, běžný embeddingový model a dotrénovanou vícevektorovou variantu. Recall@10 ukáže, jakou část relevantních podkladů systém našel v první desítce. NDCG@10 zohlední také jejich pořadí a míru relevance.

Vedle kvality změřte dobu odezvy u pomalých požadavků, velikost indexu a cenu aktualizace. Při změně modelu počítejte s novým zakódováním dokumentů; vektory z různých verzí bez ověření nemíchejte.

Pro náměty na energetické scénáře můžete navázat na ShareElectric.cz a bateriové téma na BESS blogu.

Začněte jednou dokumentovou sadou a předem si stanovte podmínky úspěchu. Pokud vícevektorová varianta nepřinese měřitelné zlepšení, složitější provoz se nevyplatí. Pokud přinese, získáte něco cennějšího než působivé demo: nástroj, kterému lze zkontrolovat práci.

Zdroje

Technický postup vychází z dokumentace a příkladů autorů knihoven. Uvedené nastavení pilotu, energetický scénář a ilustrativní výpočty jsou návrhy pro vlastní ověření. Publikovaný medicínský experiment není důkazem stejné přesnosti v češtině ani v průmyslové dokumentaci. Před nasazením zopakujte měření na vlastních datech.

Energetické zdroje mají odlišnou roli. ERÚ slouží k ověřování podkladů ke sdílení elektřiny; IEA poskytuje širší kontext vztahu energetiky a umělé inteligence. Ani jeden z těchto zdrojů nedokládá výkon konkrétního embeddingového modelu. Pro trénovací data vždy zaznamenejte také datum dokumentu, protože starší správná informace může být pro nový dotaz nepoužitelná.

• Hugging Face: trénování vícevektorových modelů — původní praktický postup, konfigurace experimentu, použitý hardware a naměřené výsledky.
• Sentence Transformers: přehled trénování — rozhraní pro modely, datové sady, trénovací parametry a vyhodnocování.
• Hugging Face Jobs: ceny výpočetních prostředků — zdroj hodinových tarifů; před spuštěním placené úlohy ověřte aktuální cenu.
• ERÚ: sdílení elektřiny a energetická společenství — český primární zdroj pro energetický kontext a přípravu ověřovaných podkladů.
• IEA: energetika a umělá inteligence — mezinárodní přehled energetických souvislostí rozvoje AI a jejího využití v energetice.

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: SmartEnergyShare.info Proč to zajímá lidi kolem fotovoltaiky Vice o vllm v0