LangWatch : savoir enfin si ton agent IA fait vraiment son travail en production

TL;DR — LangWatch en une minute

• Ce que c’est : LangWatch (Apache-2.0, ~4,9k étoiles, actif depuis 2023), une plateforme d’observabilité et de gouvernance pour les applications à base de modèles de langage en production.
• Ce qu’elle couvre : traçage des appels, évaluations, gestion et versionnage des prompts, suivi des coûts, passerelle de routage entre fournisseurs, gouvernance des outils IA à l’échelle de l’entreprise.
• Sa particularité : le test par simulation — rejouer des scénarios contre un agent avant la production.
• Le catch : le cœur est en Apache-2.0, mais les modules entreprise rangés dans un dossier ee exigent une licence commerciale en production.
• La limite de fond : l’observabilité mesure l’exécution, pas la justesse.

Tout le monde sait lancer un agent. Presque personne ne sait dire s’il fonctionne encore la semaine suivante.

C’est le créneau ingrat qu’occupe LangWatch depuis trois ans — une éternité dans ce domaine. Pas de démonstration spectaculaire, pas de promesse de remplacer tes équipes : juste la question que tout le monde évite une fois la démonstration terminée. Est-ce que ça marche vraiment ?

Ce que LangWatch mesure

• Le traçage. Chaque appel de modèle est enregistré : ce qui est entré, ce qui est sorti, combien de temps, combien ça a coûté. Quand’un utilisateur signale une réponse aberrante, tu peux remonter à l’appel exact.
• Les évaluations. Mesurer la performance d’un agent sur un jeu de cas, de façon répétable, au lieu de juger sur trois essais à la main.
• La gestion des prompts. Centralisés et versionnés. Cela paraît anodin jusqu’au jour où une réponse se dégrade et où personne ne sait quel prompt tournait la semaine dernière.
• Les coûts. Suivis par usage — la documentation cite explicitement la mesure du coût par demande de fusion pour optimiser la consommation d’un assistant de code. À l’échelle d’une équipe, c’est la ligne que personne ne regarde jusqu’à la facture.
• Le routage. Une passerelle qui consolide les points d’accès des différents fournisseurs.
• La gouvernance. Une vue de tous les outils IA employés dans l’entreprise, des usages et des anomalies. Le sujet qui arrive chez tout le monde quand les équipes se mettent à brancher des modèles chacune de leur côté.

Intégrations : LangChain, LangGraph, le SDK Vercel, CrewAI, DSPy, OpenTelemetry, et les fournisseurs habituels. Auto-hébergement en une commande pour essayer.

Le test par simulation, la vraie idée

C’est la partie la plus intéressante, et la moins mise en avant.

Le problème d’un agent, c’est qu’il est non déterministe : la même demande peut produire deux comportements différents. Les tests classiques, conçus pour du code qui répond toujours pareil, deviennent inopérants. Résultat : la plupart des équipes découvrent les régressions chez leurs utilisateurs.

L’approche par simulation consiste à rejouer des scénarios contre l’agent — y compris des agents vocaux — et à mesurer son comportement sur un ensemble de cas, plutôt que sur un essai. On ne teste plus « la réponse est-elle exactement celle-ci », mais « l’agent se comporte-t-il correctement sur cent situations ».

C’est la bonne façon de poser le problème. Et c’est exactement ce qui manque à la quasi-totalité des projets d’agents qui partent en production sur la foi d’une démonstration réussie.

Le catch : un dossier discret

Le dépôt affiche Apache-2.0, et c’est vrai — pour le cœur. Mais la licence précise que les modules entreprise, rangés dans un dossier nommé ee, exigent une licence commerciale pour un usage en production.

C’est le schéma de l’open-core, et c’est exactement ce qu’on avait relevé sur la couche entreprise d’OpenWork. Rien d’illégitime : l’éditeur ouvre le cœur et réserve les fonctions d’entreprise. Mais il faut savoir ce que tu actives avant de bâtir un processus dessus — sous peine de découvrir la facture au moment de passer en production.

Bonne nouvelle en revanche : c’est nettement moins restrictif que les licences à condition additionnelle vues récemment. Le cœur en Apache-2.0 est réellement utilisable commercialement, et les kits de développement sont en MIT.

La limite de fond, celle qu’aucun outil ne résout

Il faut être clair sur ce que l’observabilité ne fait pas.

Elle mesure l’exécution : combien de temps, combien de jetons, quel enchaînement d’appels, quelle erreur technique. Elle ne mesure pas la justesse. Une trace impeccable d’un agent qui a donné une mauvaise réponse reste une trace impeccable.

Autrement dit : ces outils te disent que ton agent a fait quelque chose, et combien ça a coûté. Ils ne te disent pas s’il a eu raison. Pour cela, il faut des cas de référence étiquetés — c’est-à-dire des exemples dont tu connais la bonne réponse — et quelqu’un pour les constituer. C’est du travail humain, et aucune plateforme ne te l’épargnera.

L’outil ne remplace donc pas la mesure : il la rend possible. La nuance est décisive avant d’investir.

Pour qui c’est vraiment utile

• Tu as des agents ou des appels de modèles en production, et tu découvres les problèmes par les réclamations : c’est exactement le moment de t’équiper.
• Ta facture de jetons grimpe sans que tu saches où : le suivi par usage répond à la question en quelques jours.
• Plusieurs équipes branchent des modèles chacune de leur côté : la vue de gouvernance devient vite indispensable.

À l’inverse : si tu as un script qui appelle un modèle deux fois par jour, une plateforme complète est hors de proportion. Des journaux et un tableur suffisent.

Notre verdict : à tester

LangWatch occupe le créneau le moins séduisant et le plus nécessaire de l’écosystème : mesurer. Trois ans d’existence, un cœur en Apache-2.0, des intégrations sérieuses et un auto-hébergement en une commande — c’est un projet mature, sans effet d’annonce, qui répond à un problème que tout le monde finit par rencontrer.

Les deux réserves à poser d’emblée : le dossier entreprise qui bascule en licence commerciale, et surtout le fait que l’observabilité n’est pas la qualité. Équipé de LangWatch, tu sauras ce que ton agent a fait et ce qu’il a coûté. Pour savoir s’il a eu raison, il te faudra toujours tes propres cas de référence — et c’est toi qui devras les écrire.

Points de vigilance

• Dossier entreprise : les modules du répertoire ee exigent une licence commerciale en production. Vérifier ce que tu actives.
• Observabilité n’est pas justesse : une trace parfaite d’une mauvaise réponse reste parfaite. Il faut des cas de référence étiquetés.
• Disproportionné à petite échelle : sous quelques appels par jour, des journaux suffisent.
• Le vrai coût est humain : constituer le jeu de cas de référence est le travail que l’outil ne fait pas à ta place.