Visualiseur de fenêtre de contexte
Voyez quelle part de la fenêtre de contexte d’un LLM occupent le prompt système, l’historique, le contexte RAG et la réponse. Tokens ou texte collé.
Ce modèle n’a pas de tokeniseur public ; le texte collé est compté avec o200k_base d’OpenAI, à titre d’estimation.
Vos données restent dans votre navigateur : rien n'est envoyé à nos serveurs.
Chaque requête envoyée à un modèle de langage doit tenir dans sa fenêtre de contexte. Dans une vraie application, cette fenêtre est partagée entre plusieurs éléments : le prompt système, la conversation jusque-là, les documents ramenés par la recherche (RAG), le nouveau message de l’utilisateur et la place réservée à la réponse. Ce visualiseur montre ce que prend chaque partie, pour savoir quoi réduire avant qu’une requête échoue ou devienne coûteuse.
Comment utiliser le visualiseur de fenêtre de contexte
- Choisissez un modèle. Sa fenêtre de contexte s’affiche à côté du nom, d’après le chiffre officiel du fournisseur.
- Pour chaque partie de la requête, saisissez un nombre de tokens, ou passez à Coller du texte et collez le contenu réel pour le faire compter.
- Lisez la barre : chaque couleur correspond à une partie, et le résumé indique les tokens utilisés, le pourcentage de la fenêtre et ce qu’il reste.
- Si la requête déborde, l’outil indique de combien. Réduisez d’abord les parties les plus grosses.
Qu’est-ce que la fenêtre de contexte ?
La fenêtre de contexte est le nombre maximal de tokens qu’un modèle peut traiter en une requête. Pour la plupart des API de chat, elle couvre l’entrée et la sortie ensemble : avec une fenêtre de 200 000 tokens et une entrée de 190 000, il reste au plus 10 000 tokens pour répondre, et le paramètre max_tokens n’y change rien.
Dans un chat, c’est l’historique qui grossit sans qu’on s’en rende compte : à chaque tour, tous les messages précédents sont renvoyés. Le contexte RAG peut aussi être volumineux, car les passages récupérés sont collés en entier dans le prompt. Le prompt système est en général court, mais il part avec chaque requête.
Quand une requête ne tient pas, l’API renvoie une erreur ou l’application doit supprimer quelque chose. Les solutions courantes : résumer ou tronquer les anciens tours, récupérer moins de passages ou des passages plus courts, et limiter la longueur de la réponse. Même quand tout tient, une fenêtre plus remplie signifie une facture plus élevée et des réponses plus lentes, et les modèles prêtent parfois moins attention aux détails enfouis dans un très long texte.
Questions fréquentes
La réponse compte-t-elle dans la fenêtre de contexte ?
Pour la plupart des API de chat, oui : l’entrée et la sortie générée partagent la même fenêtre. C’est pourquoi le visualiseur comporte une partie « réservé à la réponse ». Certains fournisseurs indiquent aussi une longueur de sortie maximale, parfois inférieure à la place restante.
Pourquoi le texte collé affiche-t-il « ≈ » pour certains modèles ?
Seul OpenAI publie les tokeniseurs de ses modèles actuels. Pour les autres, le texte collé est compté avec le tokeniseur o200k_base d’OpenAI, à titre d’estimation : le nombre réel peut différer, surtout pour un texte non anglais ou du code.
Que se passe-t-il si je dépasse la fenêtre de contexte ?
En général, l’API rejette la requête avec une erreur. Certaines applications de chat suppriment discrètement les messages les plus anciens, ce qui peut faire « oublier » au modèle des consignes antérieures. Réduire volontairement l’historique et le contexte récupéré vous laisse choisir ce qui disparaît.
Pourquoi la barre affiche-t-elle parfois 1M et parfois 1.05M ?
Les fournisseurs ne définissent pas leurs fenêtres de la même façon : certains utilisent exactement 1 000 000 de tokens, d’autres 1 048 576 (2²⁰), d’autres encore d’autres valeurs. L’outil reprend le chiffre publié par chaque fournisseur.
Le texte que je colle est-il envoyé quelque part ?
Non. Le comptage se fait dans votre navigateur. Le vocabulaire du tokeniseur est téléchargé une fois depuis ce site ; votre texte reste sur votre appareil.