Un million de tokens de contexte : quand est-ce vraiment utile ?
Une fenêtre plus grande réunit des documents liés. Un test de la tâche permet de savoir si ce contexte supplémentaire améliore la réponse.
Une enquête dépend d’une règle contractuelle, d’une exception dans un manuel et d’un changement dans l’historique des décisions. Si le système ne voit qu’un document, il peut répondre correctement sur l’extrait et se tromper sur l’ensemble.
C’est une situation où une fenêtre plus grande mérite un essai. La documentation du contexte long de Gemini décrit des modèles à un million de tokens ou plus et renvoie aux limites individuelles.
La capacité ne garantit pas le bon usage
La fenêtre limite le matériel disponible pendant une exécution, selon les règles du modèle et de l’API. Elle n’est pas une mémoire permanente de tous les envois de l’entreprise. Elle n’assure pas non plus que chaque passage recevra le bon poids.
Avant d’élargir l’entrée, précisez les relations à établir. « Résume ces fichiers » est large ; « trouve les exceptions du manuel contredisant le contrat et cite les passages » donne un résultat vérifiable.
Comparez trois façons de fournir l’information
Extraits sélectionnés : fournissez les passages utiles. Cela peut suffire pour une question localisée avec une sélection fiable.
Corpus complet : transmettez les documents liés pour une analyse transversale. Cela peut aider face à des dépendances imprévisibles, dans les limites techniques et opérationnelles.
Recherche progressive : permettez de trouver d’autres informations au fil de l’enquête. Gardez une trace des sources consultées et manquantes.
Ces approches peuvent se combiner. Un processus peut commencer par une recherche puis élargir la lecture lorsqu’une relation apparaît. Choisissez selon la question, pas pour remplir la fenêtre.
Testez les erreurs importantes
Préparez des questions aux réponses vérifiées par une personne connaissant les documents. Incluez détails dispersés, versions contradictoires et question sans réponse dans le corpus. Vérifiez que le système signale l’absence plutôt que de supposer.
Demandez des références précises et contrôlez-les. Une citation existante qui ne soutient pas la conclusion reste une erreur. Comparez exactitude, durée et coût avec les mêmes questions.
Organisez avant d’ajouter
Identifiez document, date et version. Retirez doublons et informations inutiles en conservant la provenance. Pour des fichiers confidentiels, définissez traitement et accès avant l’envoi.
Utilisez une grande fenêtre pour résoudre une limite observée. Si une entrée réduite produit le même résultat avec moins d’effort, envoyer le reste n’apporte rien simplement parce qu’il tient.
Poursuivez avec ce qu’implique exploiter un modèle open-weight.
À propos de l’auteur
Tiago F SantiagoCommentaires
Aucun commentaire pour le moment
Partagez une question ou une expérience en lien avec cet article.
Articles sur le même sujet
