Optimisation

Le prompt système — les instructions données à votre agent — est souvent long et répété à l'identique sur chaque requête. TokenHawk le compresse sémantiquement une fois, met le résultat en cache, et le réutilise pour tout le trafic suivant portant le même prompt.

Une vérification de similarité garantit que la version compressée dit la même chose que l'originale. En cas de doute, l'original est utilisé à la place, sans erreur ni interruption pour votre agent.

Quand une nouvelle question ressemble suffisamment à une question déjà posée, TokenHawk peut renvoyer directement la réponse déjà calculée, sans consulter à nouveau votre fournisseur LLM.

Le seuil de ressemblance est réglable par clé API — strict, permissif ou agressif — pour arbitrer entre économies et risque de réponse imprécise, selon la nature de votre trafic.

Un agent conversationnel accumule un historique qui grandit à chaque tour. Au-delà d'un certain volume, TokenHawk résume les échanges les plus anciens en préservant les derniers messages intacts, réduisant la taille de la requête sans perdre le fil de la conversation.

Les définitions d'outils (function calling) sont dédupliquées et leurs descriptions trop longues raccourcies. Des instructions de concision peuvent aussi être injectées pour réduire la longueur des réponses générées, quand cette option est activée par clé.

• —Réduction typique de 20 à 60% des tokens envoyés, mesurée et affichée dans votre tableau de bord — pas une estimation.
• —Aucune de ces étapes ne modifie le comportement fonctionnel de votre agent : la validation automatique retombe sur l'original en cas de doute.
• —Chaque tenant dispose d'un quota mensuel d'optimisation : au-delà, votre trafic continue d'être servi normalement, seule l'optimisation s'arrête temporairement.

Ces réglages se configurent par clé API, depuis votre tableau de bord.