Daniel & Friends / Slovník / Prompt injection
AI a automatizacePrompt injection
Prompt injection je útok, při kterém škodlivý pokyn ukrytý v textu, e-mailu nebo na webové stránce přebije původní zadání modelu. AI pak může prozradit data nebo provést nežádoucí akci, protože cizí obsah bere jako příkaz.
Daniel Votruba ·
V praxi
Čím víc nástrojů a dat agent vidí, tím větší dopad útoku. Omezte oprávnění, oddělte nedůvěryhodný obsah od pokynů a citlivé akce nechte potvrdit člověkem.
Související pojmy
- Jailbreak (AI): Jailbreak je pokus přimět AI model, aby obešel vlastní bezpečnostní omezení, typicky chytře formulovaným zadáním, hrou na role nebo postupným posouváním hranic.
- Guardrails (ochranná pravidla AI): Guardrails jsou technická a procesní pravidla, která hlídají vstupy i výstupy AI systému.
- AI agent: AI agent je systém, který používá model k plnění cíle po krocích: plánuje, volá nástroje a upravuje postup podle výsledků.
- Prompt: Prompt je zadání, které model dostane.
- AI safety a alignment: AI safety je obor, který usiluje o to, aby systémy umělé inteligence fungovaly bezpečně a předvídatelně.
Další pojmy ze skupiny AI a automatizace
Převod řeči na text (speech-to-text) · Prompt engineering · Převod textu na řeč (text-to-speech) · RAG (retrieval-augmented generation) · Prediktivní analytika · Reasoning model · Počítačové vidění · RPA (robotická automatizace procesů) · Personalizace pomocí AI · Scoring pomocí AI · Open-weight model · Sémantické vyhledávání · No-code a low-code · Shadow AI · NLP (zpracování přirozeného jazyka) · Strojové učení (machine learning) · Neuronová síť · System prompt · Náklady a limity AI · Temperature · Multimodální model · Text-to-image · Multi-agent systém · Text-to-video
Pojmy do praxe
Potřebujete s nimi pomoct?
Pojmy jsou jedna věc, nasazení druhá. Projdeme, co z nich se vám vyplatí, a řekneme to na rovinu. První názor dostanete zdarma a odpovídáme do 24 hodin.
Sjednat call