Daniel & Friends / Slovník / Guardrails (ochranná pravidla AI)
AI a automatizaceGuardrails (ochranná pravidla AI)
Guardrails jsou technická a procesní pravidla, která hlídají vstupy i výstupy AI systému. Filtrují citlivá data, blokují nepovolená témata, ověřují formát odpovědi a omezují, co smí agent udělat. Fungují jako zábradlí kolem modelu.
Daniel Votruba ·
V praxi
Nastavte je ve vrstvách: kontrola vstupu, omezená oprávnění nástrojů a kontrola výstupu před odesláním zákazníkovi. Jedna vrstva samotná zpravidla nestačí.
Související pojmy
- Prompt injection: Prompt injection je útok, při kterém škodlivý pokyn ukrytý v textu, e-mailu nebo na webové stránce přebije původní zadání modelu.
- Jailbreak (AI): Jailbreak je pokus přimět AI model, aby obešel vlastní bezpečnostní omezení, typicky chytře formulovaným zadáním, hrou na role nebo postupným posouváním hranic.
- Halucinace: Halucinace je případ, kdy model uvede věrohodně znějící, ale nepravdivou informaci.
- Human in the loop: Human in the loop je návrh AI procesu, v němž člověk ve vybraných bodech kontroluje, upravuje nebo schvaluje práci modelu, než se výsledek použije.
- AI governance: AI governance je soubor pravidel, rolí a procesů, kterými firma řídí používání umělé inteligence.
Další pojmy ze skupiny AI a automatizace
Grounding · Hluboké učení (deep learning) · Generativní AI · Foundation model · Chain of thought · Fine-tuning · ChatGPT Ads · Few-shot a zero-shot prompting · Inference a latence · Evaluace modelů (evals) · EU AI Act (nařízení o AI) · Klonování hlasu · Embedding · Kontextové okno · Difuzní modely · Malý jazykový model (SLM) · Deepfake a syntetická média · MCP (Model Context Protocol) · Copilot (AI asistent) · Multi-agent systém · C2PA a původ obsahu (vodoznaky AI) · Multimodální model · Bias modelu (předsudky AI) · Náklady a limity AI
Pojmy do praxe
Potřebujete s nimi pomoct?
Pojmy jsou jedna věc, nasazení druhá. Projdeme, co z nich se vám vyplatí, a řekneme to na rovinu. První názor dostanete zdarma a odpovídáme do 24 hodin.
Sjednat call