Sjednat call

Daniel & Friends / Slovník / Guardrails (ochranná pravidla AI)

AI a automatizace

Guardrails (ochranná pravidla AI)

Guardrails jsou technická a procesní pravidla, která hlídají vstupy i výstupy AI systému. Filtrují citlivá data, blokují nepovolená témata, ověřují formát odpovědi a omezují, co smí agent udělat. Fungují jako zábradlí kolem modelu.

Daniel Votruba ·


V praxi

Nastavte je ve vrstvách: kontrola vstupu, omezená oprávnění nástrojů a kontrola výstupu před odesláním zákazníkovi. Jedna vrstva samotná zpravidla nestačí.

Související pojmy

  • Prompt injection: Prompt injection je útok, při kterém škodlivý pokyn ukrytý v textu, e-mailu nebo na webové stránce přebije původní zadání modelu.
  • Jailbreak (AI): Jailbreak je pokus přimět AI model, aby obešel vlastní bezpečnostní omezení, typicky chytře formulovaným zadáním, hrou na role nebo postupným posouváním hranic.
  • Halucinace: Halucinace je případ, kdy model uvede věrohodně znějící, ale nepravdivou informaci.
  • Human in the loop: Human in the loop je návrh AI procesu, v němž člověk ve vybraných bodech kontroluje, upravuje nebo schvaluje práci modelu, než se výsledek použije.
  • AI governance: AI governance je soubor pravidel, rolí a procesů, kterými firma řídí používání umělé inteligence.

Další pojmy ze skupiny AI a automatizace

Grounding · Hluboké učení (deep learning) · Generativní AI · Foundation model · Chain of thought · Fine-tuning · ChatGPT Ads · Few-shot a zero-shot prompting · Inference a latence · Evaluace modelů (evals) · EU AI Act (nařízení o AI) · Klonování hlasu · Embedding · Kontextové okno · Difuzní modely · Malý jazykový model (SLM) · Deepfake a syntetická média · MCP (Model Context Protocol) · Copilot (AI asistent) · Multi-agent systém · C2PA a původ obsahu (vodoznaky AI) · Multimodální model · Bias modelu (předsudky AI) · Náklady a limity AI

Celý slovník (590 pojmů)

Pojmy do praxe

Potřebujete s nimi pomoct?

Pojmy jsou jedna věc, nasazení druhá. Projdeme, co z nich se vám vyplatí, a řekneme to na rovinu. První názor dostanete zdarma a odpovídáme do 24 hodin.

Sjednat call

Líbil se vám článek? Sdílejte ho s přáteli.