Sjednat call

Daniel & Friends / Slovník / Inference a latence

AI a automatizace

Inference a latence

Inference je běh hotového modelu, který zpracuje váš vstup a vytvoří odpověď. Latence je doba, než ji dostanete, často se měří do prvního tokenu a do celé odpovědi. Rychlost a cena inference ovlivňují, kde se AI v produktu dá použít.

Daniel Votruba ·


V praxi

U chatu s uživateli sledujte hlavně čas do prvního tokenu. Dávkové úlohy, třeba hromadné třídění recenzí, latenci tolik nepotřebují a vyjdou levněji.

Související pojmy

  • Token: Token je jednotka textu, se kterou jazykový model pracuje: obvykle zlomek slova nebo krátké slovo.
  • Reasoning model: Reasoning model je jazykový model, který před odpovědí věnuje čas vnitřnímu úvaze: rozloží úlohu na kroky, zkouší varianty a kontroluje se.
  • Malý jazykový model (SLM): Malý jazykový model, anglicky small language model (SLM), je jazykový model s mnohem menším počtem parametrů než největší systémy.
  • Velký jazykový model (LLM): Velký jazykový model je model natrénovaný na obrovském množství textu, který predikuje další slova a umí psát, shrnovat a odpovídat.

Další pojmy ze skupiny AI a automatizace

Jailbreak (AI) · ChatGPT Ads · Klonování hlasu · Chain of thought · Kontextové okno · Human in the loop · Hluboké učení (deep learning) · MCP (Model Context Protocol) · Halucinace · Multi-agent systém · Guardrails (ochranná pravidla AI) · Multimodální model · Grounding · Náklady a limity AI · Generativní AI · Neuronová síť · Foundation model · NLP (zpracování přirozeného jazyka) · Fine-tuning · No-code a low-code · Few-shot a zero-shot prompting · Open-weight model · Evaluace modelů (evals) · Personalizace pomocí AI

Celý slovník (590 pojmů)

Pojmy do praxe

Potřebujete s nimi pomoct?

Pojmy jsou jedna věc, nasazení druhá. Projdeme, co z nich se vám vyplatí, a řekneme to na rovinu. První názor dostanete zdarma a odpovídáme do 24 hodin.

Sjednat call

Líbil se vám článek? Sdílejte ho s přáteli.