Réserver un échange

Daniel & Friends / Glossaire / Inférence et latence

IA et automatisation

Inférence et latence

L’inférence est l’exécution d’un modèle déjà entraîné : il traite votre entrée et produit une réponse. La latence est le délai avant de la recevoir, souvent mesuré jusqu’au premier token et jusqu’à la réponse complète. Vitesse et coût de l’inférence déterminent où l’IA est utilisable dans un produit.

Daniel Votruba ·


En pratique

Pour un chat avec des utilisateurs, surveillez surtout le délai du premier token. Les traitements par lots, comme le tri de nombreux avis, demandent moins de vitesse et coûtent moins cher.

Termes liés

  • Token: Un token est l’unité de texte avec laquelle travaille un modèle de langage : en général un fragment de mot ou un mot court.
  • Modèle de raisonnement (reasoning model): Un modèle de raisonnement est un modèle de langage qui réfléchit avant de répondre : il décompose la tâche en étapes, teste des pistes et se vérifie.
  • Petit modèle de langage (SLM): Un petit modèle de langage, en anglais small language model (SLM), compte beaucoup moins de paramètres que les plus grands systèmes.
  • Grand modèle de langage (LLM): Un grand modèle de langage est un modèle entraîné sur une énorme quantité de texte, qui prédit les mots suivants et sait écrire, résumer et répondre.

Autres termes du groupe IA et automatisation

Injection de prompt (prompt injection) · IA générative · Jailbreak (IA) · IA explicable (XAI) · MCP (Model Context Protocol) · IA agentique · Modèle de fondation (foundation model) · Human in the loop (humain dans la boucle) · Hallucination · Modèle multimodal · Grounding (ancrage) · Modèle open-weight · Modèles de diffusion · GPT personnalisés et projets · NLP (traitement automatique du langage) · Gouvernance de l’IA · No-code et low-code · Garde-fous (guardrails) · Personnalisation par l’IA · Fine-tuning · Few-shot et zero-shot prompting · Plateformes d’automatisation (Zapier, Make, n8n) · Fenêtre de contexte · Prompt

Tout le glossaire (590 termes)

Les termes en pratique

Besoin d’aide pour les mettre en œuvre ?

Les termes sont une chose, la mise en œuvre en est une autre. Nous regardons lesquels sont rentables pour vous et nous le disons franchement. Le premier avis est gratuit et nous répondons sous 24 heures.

Prendre rendez-vous

Cet article vous a plu ? Partagez-le avec vos amis.