Sjednat call

Daniel & Friends / Slovník / Evaluace modelů (evals)

AI a automatizace

Evaluace modelů (evals)

Evaluace modelů jsou systematické testy, které měří kvalitu odpovědí AI na sadě typických zadání s ověřeným správným výsledkem. Hodnotí přesnost, konzistenci, bezpečnost nebo styl a umožňují porovnat modely či verze promptů.

Daniel Votruba ·


V praxi

Sestavte vlastní sadu reálných zadání z vaší práce a pouštějte ji při každé změně modelu nebo promptu. Veřejné žebříčky poslouží jen jako hrubá orientace.

Související pojmy

  • Halucinace: Halucinace je případ, kdy model uvede věrohodně znějící, ale nepravdivou informaci.
  • Velký jazykový model (LLM): Velký jazykový model je model natrénovaný na obrovském množství textu, který predikuje další slova a umí psát, shrnovat a odpovídat.
  • Prompt engineering: Prompt engineering je navrhování a testování zadání pro model: volba role, kontextu, příkladů a formátu odpovědi tak, aby výstup byl spolehlivě použitelný.
  • AI safety a alignment: AI safety je obor, který usiluje o to, aby systémy umělé inteligence fungovaly bezpečně a předvídatelně.
  • Human in the loop: Human in the loop je návrh AI procesu, v němž člověk ve vybraných bodech kontroluje, upravuje nebo schvaluje práci modelu, než se výsledek použije.

Další pojmy ze skupiny AI a automatizace

Few-shot a zero-shot prompting · EU AI Act (nařízení o AI) · Fine-tuning · Embedding · Foundation model · Difuzní modely · Generativní AI · Deepfake a syntetická média · Grounding · Copilot (AI asistent) · Guardrails (ochranná pravidla AI) · C2PA a původ obsahu (vodoznaky AI) · Bias modelu (předsudky AI) · Hluboké učení (deep learning) · Automatizační platformy (Zapier, Make, n8n) · AI workflow a orchestrace · Chain of thought · AI vyhledávání (odpovědní motory) · ChatGPT Ads · AI slop · Inference a latence · AI SDR · Jailbreak (AI) · Klonování hlasu

Celý slovník (590 pojmů)

Pojmy do praxe

Potřebujete s nimi pomoct?

Pojmy jsou jedna věc, nasazení druhá. Projdeme, co z nich se vám vyplatí, a řekneme to na rovinu. První názor dostanete zdarma a odpovídáme do 24 hodin.

Sjednat call

Líbil se vám článek? Sdílejte ho s přáteli.