Umělá inteligence je v dnešní době asi nejdynamičtěji se vyvíjející obor, proto je každý měsíc o čem psát. Vždycky jsou nějaké novinky. Tentokrát se podíváme na kontextová okna u jednotlivých modelů a co to pro vás znamená.

Novinky

ChatGPT představil model 4.1 s kontextovým oknem 1 milion tokenů, což ve výrazně více než předchozí modely (max. 128 tisíc), ovšem pozor, pouze přes API. V prohlížeči je to stále maximálně 128 tis. a to ještě u nejdražších variant, u verze Plus je to 32 tis., u free verze 8 tis.

Stále tedy pro uživatele, kteří přistupují do LLM (Large Language Model, tedy velký jazykový model) přes prohlížeč, vede Gemini (nyní už všechny verze 2.5) od Googlu, který má i pro standardní uživatele na webu kontextové okno 1 mil. tokenů (!). I Claude od Antrophic má více, konkrétně 200 tis. pro většinu modelů. Nejvíce má Llama od společnosti Meta (10 mil. tokenů), což je open-source model ke stažení, není tedy přímo přístupný z webového rozhraní. Kvalita je dle hodnocení uživatelů sporná, pokud tedy nepotřebujete najednou pracovat s celou sérií naučných slovníků, bude asi lepší zůstat u komerčních modelů.

Co je kontextové okno a proč je důležité?

Kontextové okno určuje, s kolika daty umí model pracovat. Obvykle 1 token = necelé jedno slovo v angličtině (cca 0,8), v češtině s diakritikou je to pak cca polovina slova za 1 token i méně.

Román má obvykle kolem 80 tisíc slov, Gemini ho tedy bez problémů zvládne přečíst celý a vytáhnout z něj informace, které hledáte. U ChatGPT pouze model 4.1 přes API, na webu už ale ne, tam si přečte jen část. Pokud však chcete udělat výtah z 60stránkové studie (cca 18 tis. slov, pokud tam nejsou obrázky), zvládnou to skoro všechny modely v placených verzích, některé i v bezplatných (Claude, Gemini).

Také kontextové okno určuje, jak dlouhou konverzaci si bude model pamatovat. Pokud budete komunikovat stále v jedné konverzaci, po dosažení limitu kontextového okna začne model postupně zapomínat komunikaci od začátku konverzace.

Vyplatí se předplácet kvůli velikosti kontextového okna?

To samozřejmě záleží na tom, jak s LLM pracujete. Pokud se vždy v samostatné konverzaci ptáte a následně doptáváte na jedno téma, nemusíte toto moc řešit, většinou se na limit nedostanete.

Pokud však pracujete např. ve verzi zdarma (v ChatGPT je to 8 tis. tokenů) s delšími texty, jako jsou knihy, manuály apod., už byste měli zpozornět a výstupy si kontrolovat, protože model nemusí přečíst celý text. V Gemini se v bezplatné verzi (aktuálně 2.5 Flash) okno nezmenšuje, máte tedy k dispozici celý 1 mil. tokenů.

Závěr

Je možné, že v době, kdy čtete tento článek, už je vše jinak. Jak jsem psal v úvodu, dynamika vývoje je zde obrovská. I to nás ale na tomto oboru baví, že? 🙂

Článek byl napsán a publikován v květnu 2025, pokud v něm najdete nepřesnost, budu rád, když mi napíšete na email níže.

Kontextová okna nejsou primárním tahákem pro porovnávání modelů, proto se obvykle uvádí jen při představování nového modelu jako posun od předchozího. Zdroje jsou tedy samozřejmě weby openai.com, gemini.google.com a různé články na dané téma. Samozřejmě jsem se ptal i různých LLM, vzhledem k rychlému vývoji však často nacházel na webu zastaralé informace.

Stanislav Jarolímek
Email: stanislav@leadmachine.cz