Daniel & Friends / Glossar / Inferenz und Latenz
KI und AutomatisierungInferenz und Latenz
Inferenz ist der Betrieb eines fertigen Modells: Es verarbeitet Ihre Eingabe und erzeugt eine Antwort. Latenz ist die Zeit bis zu dieser Antwort, oft gemessen bis zum ersten Token und bis zur vollständigen Antwort. Tempo und Preis der Inferenz bestimmen, wo KI in einem Produkt einsetzbar ist.
Daniel Votruba ·
In der Praxis
Achten Sie bei Chats mit Nutzern vor allem auf die Zeit bis zum ersten Token. Stapelverarbeitung, etwa das Sortieren vieler Bewertungen, braucht weniger Tempo und ist günstiger.
Verwandte Begriffe
- Token: Ein Token ist die Texteinheit, mit der ein Sprachmodell arbeitet: meist ein Wortbruchstück oder ein kurzes Wort.
- Reasoning-Modell: Ein Reasoning-Modell ist ein Sprachmodell, das vor der Antwort Zeit zum Nachdenken einsetzt: Es zerlegt die Aufgabe in Schritte, probiert Varianten durch und prüft sich selbst.
- Kleines Sprachmodell (SLM): Ein kleines Sprachmodell, englisch Small Language Model (SLM), hat deutlich weniger Parameter als die größten Systeme.
- Großes Sprachmodell (LLM): Ein großes Sprachmodell ist ein auf riesigen Textmengen trainiertes Modell, das die nächsten Wörter vorhersagt und schreiben, zusammenfassen und antworten kann.
Weitere Begriffe aus der Gruppe KI und Automatisierung
Jailbreak (KI) · Human in the Loop · KI-Agent · Halluzination · KI-Automatisierung · Guardrails (Schutzmechanismen für KI) · KI-Crawler (GPTBot und andere) · Grounding · KI-Governance · KI-Scoring · Generative KI · KI-Sicherheit und Alignment · Function Calling (Werkzeugaufruf) · KI-Slop · Foundation Model · KI-Suche (Antwortmaschinen) · Fine-Tuning · KI-Workflow und Orchestrierung · Few-Shot- und Zero-Shot-Prompting · EU AI Act (KI-Verordnung) · Kontextfenster · Erklärbare KI (XAI) · Kosten und Limits von KI · Embedding
Zum gesamten Glossar (590 Begriffe)
Begriffe in der Praxis
Brauchen Sie Hilfe bei der Umsetzung?
Begriffe sind das eine, die Umsetzung das andere. Wir gehen durch, welche sich für Sie lohnen, und sagen es offen. Die erste Einschätzung ist kostenlos, wir antworten innerhalb von 24 Stunden.
Gespräch vereinbaren