Daniel & Friends / Glossar / Modellevaluierung (Evals)
KI und AutomatisierungModellevaluierung (Evals)
Modellevaluierungen sind systematische Tests, die die Qualität von KI-Antworten anhand typischer Aufgaben mit geprüftem richtigem Ergebnis messen. Sie bewerten Genauigkeit, Konsistenz, Sicherheit oder Stil und erlauben den Vergleich von Modellen oder Prompt-Versionen.
Daniel Votruba ·
In der Praxis
Stellen Sie eine eigene Sammlung realer Aufgaben aus Ihrem Alltag zusammen und lassen Sie sie bei jeder Änderung von Modell oder Prompt laufen. Öffentliche Ranglisten geben nur eine grobe Orientierung.
Verwandte Begriffe
- Halluzination: Eine Halluzination liegt vor, wenn ein Modell eine plausibel klingende, aber falsche Information nennt.
- Großes Sprachmodell (LLM): Ein großes Sprachmodell ist ein auf riesigen Textmengen trainiertes Modell, das die nächsten Wörter vorhersagt und schreiben, zusammenfassen und antworten kann.
- Prompt Engineering: Prompt Engineering ist das Entwerfen und Testen von Anweisungen für ein Modell: die Wahl von Rolle, Kontext, Beispielen und Antwortformat, damit die Ausgabe verlässlich brauchbar ist.
- KI-Sicherheit und Alignment: KI-Sicherheit (AI Safety) umfasst alle Bemühungen, dass Systeme künstlicher Intelligenz sicher und berechenbar arbeiten.
- Human in the Loop: Human in the Loop ist ein Prozessentwurf, bei dem ein Mensch an ausgewählten Stellen die Arbeit der KI prüft, bearbeitet oder freigibt, bevor das Ergebnis verwendet wird.
Weitere Begriffe aus der Gruppe KI und Automatisierung
Multi-Agenten-System · MCP (Model Context Protocol) · Multimodales Modell · Maschinelles Lernen (ML) · Neuronales Netz · Kosten und Limits von KI · NLP (Verarbeitung natürlicher Sprache) · Kontextfenster · No-Code und Low-Code · Kleines Sprachmodell (SLM) · Open-Weight-Modell · KI-Workflow und Orchestrierung · Personalisierung mit KI · KI-Suche (Antwortmaschinen) · Predictive Analytics · KI-Slop · Prompt · KI-Scoring · Prompt Injection · KI-Governance · RAG (Retrieval-Augmented Generation) · KI-Crawler (GPTBot und andere) · Reasoning-Modell · KI-Automatisierung
Zum gesamten Glossar (590 Begriffe)
Begriffe in der Praxis
Brauchen Sie Hilfe bei der Umsetzung?
Begriffe sind das eine, die Umsetzung das andere. Wir gehen durch, welche sich für Sie lohnen, und sagen es offen. Die erste Einschätzung ist kostenlos, wir antworten innerhalb von 24 Stunden.
Gespräch vereinbaren