Potřeboval jsem vyřešit problém. Ne úplně složitý, ne úplně triviální. Nějaká drobnost s mým sklepním datacentrem (o tom někdy později). Taková ta věc, co se na ni už automaticky ptám Clauda. Jenže zrovna dneska došly tokeny dost nevhod. A tak jsem ze zeptal Qwen. Je to verze 3.8, která běží na ostrakizovaném počítači, co kdysi vyfasoval hostname ugly. AM4, spíš budget-saving záležitost. Před týdnem jsem mu upgradoval paměť a na jeho RTX 3060 začal zkoušet novinku, co mi poradil kolega v práci – Strata inference engine.
A víte co? Ono to funguje! Na hardware z druhé ruky, který má svoje nejlepší léta dávno za sebou, a od výtahu do křemíkového nebe ho zachraňuje jen cenové šílenství posledních měsíců. S Qwen3.6-35B-A3 a jeho klony jsem si hrál poměrně dlouho a pořád jsem nebyl spokojený. Bylo to to nejlepší, co jsem na svém železe dokázal rozjet, nebylo to špatné – ale nebylo to ani dobré. Před pár měsíci se objevila verze 3.8 a všichni, kdo ji zkusili, byli nadšení. Jenže 3.8 je hustej model, potřebuje VRAM paměť na grafické kartě a potřebuje jí tolik, že to vaše peněženka sakra ucítí. A já jsem drobný škudlil…
A pak se zjevila Strata. Open source projekt z velké míry postavený pomocí Claude. A svět se zase o trochu změnil. Protože díky chytře vymyšlenému přehazování a popostrkávání najednou může ten hustej model vcelku obstojně makat i na slabé kartě, pokud má počítač dost operační paměti.
Samozřejmě, že to není tak dobré, jako frontier modely od Anthropicu, OpenAI nebo Google. Ale je to zadarmo a je to vaše. V některých ohledech je to tak chytré, jako byly placené modely před rokem. Je to pomalejší, musíte to víc hlídat, promyšleněji úkolovat, ale když přistoupíte na pravidla téhle hry, tak to funguje.
Miliardy umělých neuronů ochotných zamyslet se nad čímkoliv, co jim předhodíte, bez odmlouvání, jen za byt a stravu (tedy hardware na hranici životnosti a elektřinu zhruba jako když si zapnete televizi, pokud něco takového ještě děláte).
Nová doba. Miluju ji.