Daniel & Friends / Slovník / Inference a latence
AI a automatizaceInference a latence
Inference je běh hotového modelu, který zpracuje váš vstup a vytvoří odpověď. Latence je doba, než ji dostanete, často se měří do prvního tokenu a do celé odpovědi. Rychlost a cena inference ovlivňují, kde se AI v produktu dá použít.
Daniel Votruba ·
V praxi
U chatu s uživateli sledujte hlavně čas do prvního tokenu. Dávkové úlohy, třeba hromadné třídění recenzí, latenci tolik nepotřebují a vyjdou levněji.
Související pojmy
- Token: Token je jednotka textu, se kterou jazykový model pracuje: obvykle zlomek slova nebo krátké slovo.
- Reasoning model: Reasoning model je jazykový model, který před odpovědí věnuje čas vnitřnímu úvaze: rozloží úlohu na kroky, zkouší varianty a kontroluje se.
- Malý jazykový model (SLM): Malý jazykový model, anglicky small language model (SLM), je jazykový model s mnohem menším počtem parametrů než největší systémy.
- Velký jazykový model (LLM): Velký jazykový model je model natrénovaný na obrovském množství textu, který predikuje další slova a umí psát, shrnovat a odpovídat.
Další pojmy ze skupiny AI a automatizace
Jailbreak (AI) · ChatGPT Ads · Klonování hlasu · Chain of thought · Kontextové okno · Human in the loop · Hluboké učení (deep learning) · MCP (Model Context Protocol) · Halucinace · Multi-agent systém · Guardrails (ochranná pravidla AI) · Multimodální model · Grounding · Náklady a limity AI · Generativní AI · Neuronová síť · Foundation model · NLP (zpracování přirozeného jazyka) · Fine-tuning · No-code a low-code · Few-shot a zero-shot prompting · Open-weight model · Evaluace modelů (evals) · Personalizace pomocí AI
Pojmy do praxe
Potřebujete s nimi pomoct?
Pojmy jsou jedna věc, nasazení druhá. Projdeme, co z nich se vám vyplatí, a řekneme to na rovinu. První názor dostanete zdarma a odpovídáme do 24 hodin.
Sjednat call