Sjednat call

Daniel & Friends / Slovník / Prompt injection

AI a automatizace

Prompt injection

Prompt injection je útok, při kterém škodlivý pokyn ukrytý v textu, e-mailu nebo na webové stránce přebije původní zadání modelu. AI pak může prozradit data nebo provést nežádoucí akci, protože cizí obsah bere jako příkaz.

Daniel Votruba ·


V praxi

Čím víc nástrojů a dat agent vidí, tím větší dopad útoku. Omezte oprávnění, oddělte nedůvěryhodný obsah od pokynů a citlivé akce nechte potvrdit člověkem.

Související pojmy

  • Jailbreak (AI): Jailbreak je pokus přimět AI model, aby obešel vlastní bezpečnostní omezení, typicky chytře formulovaným zadáním, hrou na role nebo postupným posouváním hranic.
  • Guardrails (ochranná pravidla AI): Guardrails jsou technická a procesní pravidla, která hlídají vstupy i výstupy AI systému.
  • AI agent: AI agent je systém, který používá model k plnění cíle po krocích: plánuje, volá nástroje a upravuje postup podle výsledků.
  • Prompt: Prompt je zadání, které model dostane.
  • AI safety a alignment: AI safety je obor, který usiluje o to, aby systémy umělé inteligence fungovaly bezpečně a předvídatelně.

Další pojmy ze skupiny AI a automatizace

Převod řeči na text (speech-to-text) · Prompt engineering · Převod textu na řeč (text-to-speech) · RAG (retrieval-augmented generation) · Prediktivní analytika · Reasoning model · Počítačové vidění · RPA (robotická automatizace procesů) · Personalizace pomocí AI · Scoring pomocí AI · Open-weight model · Sémantické vyhledávání · No-code a low-code · Shadow AI · NLP (zpracování přirozeného jazyka) · Strojové učení (machine learning) · Neuronová síť · System prompt · Náklady a limity AI · Temperature · Multimodální model · Text-to-image · Multi-agent systém · Text-to-video

Celý slovník (590 pojmů)

Pojmy do praxe

Potřebujete s nimi pomoct?

Pojmy jsou jedna věc, nasazení druhá. Projdeme, co z nich se vám vyplatí, a řekneme to na rovinu. První názor dostanete zdarma a odpovídáme do 24 hodin.

Sjednat call

Líbil se vám článek? Sdílejte ho s přáteli.