Outils IA · 8 min · 2026-11-17 · Par Équipe MaitriseLIA

earshot : on a sonorisé une pub avec un agent qui « entend », et il a trouvé nos erreurs

earshot, un outil open source né en octobre 2026, permet à un agent comme Claude Code d’analyser le son qu’il ne peut pas entendre et de sonoriser une vidéo faite par code. Nous l’avons testé sur une publicité de 15 secondes : calage au milieu de la cible, diagnostic juste et chiffré, et une limite qu’il reconnaît lui-même.

Planche d’écoute produite par earshot sur notre publicité de 15 secondes : images du film, sons reconnus, spectrogramme et courbe de volume
Crédit photo : MaitriseLIA, capture de notre test

TL;DR

  • Ce que c’est : earshot, un outil open source (licence MIT) qui donne des « oreilles » à un agent de code comme Claude Code. Il décrit un son, analyse la bande-son d’un film, note un mixage face à des films professionnels, et fournit une banque de 252 effets sonores fabriqués par du code.
  • Notre test : une publicité de 15 secondes fabriquée par code et muette au départ. earshot a rendu son kit d’effets en 12 secondes, nous avons posé 14 sons sur l’animation, puis nous lui avons fait écouter le résultat.
  • Ce qui marche : il reconnaît les sons posés, mesure le calage sur l’image (100 % des repères à moins de 100 ms après correction) et pointe nos erreurs avec l’horodatage et la correction à faire.
  • Notre verdict, testé : à installer si vous fabriquez des vidéos par code. Il ne remplace ni une musique ni une oreille humaine, et il le dit lui-même.

Le problème qu’il règle

Un agent comme Claude Code sait aujourd’hui écrire le code qui rend une vidéo : une publicité, une démo produit, un film de lancement. Nous l’avons vu avec Hyperframes, qui transforme une page HTML animée en MP4. Mais l’agent ne peut pas entendre ce qu’il produit. Il ne sait pas si un effet tombe 80 millisecondes après l’image, si le son est trop faible pour les réseaux, ou si un clic sonne bon marché.

earshot transforme le son en éléments qu’un agent peut lire : une description en mots, des mesures, une transcription d’écoute du film seconde par seconde, une image annotée, et une note face à sept films de lancement professionnels.

Ce que c’est

  • Le dépôt : Leonxlnx/earshot sur GitHub, sous licence MIT, créé le 15 octobre 2026. Il comptait 5 048 étoiles le 17 novembre, un mois après sa création. Un développeur principal signe l’essentiel des contributions.
  • Les usages : décrire un son (describe), mesurer s’il correspond à une description (match), trouver le meilleur passage d’un long enregistrement (find), comparer deux sons (ab), dire si un son ressemble à un enregistrement réel ou à du son synthétisé (realness), analyser un film (timeline et sheet), le noter (critique), et fabriquer des sons par code (forge, sfx, kit).
  • Où il tourne : en local, sur le processeur, sans carte graphique. Il s’utilise en ligne de commande, en Python, ou branché à Claude Code comme serveur MCP. Deux skills sont fournis avec : earshot (comment écouter) et real-sound (bandes-son à partir d’enregistrements sous licence).
  • Ce qu’il faut sur la machine : environ 2 Go chez nous, moitié pour le logiciel et ses dépendances (dont PyTorch), moitié pour deux modèles ouverts téléchargés depuis Hugging Face : CLAP, qui relie sons et textes, et AST, qui reconnaît les catégories de sons.

Deux points d’attention. D’abord, le paquet Python nommé « earshot » sur PyPI est un autre outil, qui détecte la voix : il faut installer depuis le dépôt GitHub, comme l’indique le README. Ensuite, une commande optionnelle demande un avis à Gemini, et envoie alors l’audio chez Google : elle exige une clé et votre accord explicite, et le skill fourni interdit à l’agent de la lancer sans demander.

Notre test : sonoriser une pub de 15 secondes

Nous sommes partis d’une publicité réelle : une créa de 15 secondes pour Olead, une marketplace de leads en assurance, fabriquée par code avec Hyperframes. Cinq scènes animées, aucun son.

1. Le kit d’effets

earshot propose des kits prêts à l’emploi selon le style du film. Nous avons pris « crisp », pensé pour les films produit énergiques. Résultat : 64 sons rendus en 12 secondes, tous validés par ses contrôles automatiques (clics parasites, fins coupées, résonances). Ces sons sont fabriqués par du code, pas enregistrés : aucune question de droits.

2. Les effets posés sur l’animation

Nous avons relevé dans le code de la créa le moment de chaque animation, puis posé 14 effets : un whoosh à chaque changement de scène, un clic par coche, un « pop » quand la carte apparaît, et un seul impact, sur le bouton final. Le kit indique pour chaque son son point de synchronisation : le début pour un clic, le sommet pour un whoosh. Il suffit de le poser sur le moment visé.

3. Ce qu’il a entendu

Nous avons ensuite fait analyser le film par earshot. Il a reconnu les whooshs, les trois coches (qu’il décrit comme « des briques Lego qui cliquent ») et l’impact final. Sur le calage, 92 % des repères tombaient à moins de 100 ms de l’animation visée, avec un décalage médian de 3 ms.

Surtout, il a repéré une erreur : à 9,5 secondes, la carte apparaît sans son net, car nous avions placé le « pop » un peu après, sur le rebond de l’animation. Nous l’avons déplacé : 100 % des repères à moins de 100 ms, décalage médian de 2 ms. C’est exactement ce qu’on attend d’un relecteur.

4. La note face aux films professionnels

La commande critique compare le film à sept films de lancement professionnels. Première version, deux défauts critiques :

  • Le volume : -22,3 LUFS, alors que les films de référence se situent entre -16 et -9 pour le web.
  • La musique : aucune, alors que les références en ont presque tout du long.

Elle relevait aussi des silences de 2,6 secondes entre les scènes et trop peu de sons par seconde. Après correction du volume (-16,9 LUFS), le verdict passe à « needs work » : 16 critères sur 22 dans la norme, un seul défaut critique, l’absence de musique, et des corrections horodatées, comme conserver un fond musical sous les silences de 0:00.78 à 0:03.46, ou faire ressortir l’impact final de 2 à 3 LU au-dessus du reste.

Le diagnostic est juste : des effets seuls laissent des trous, et une publicité vidéo a besoin d’un fond musical. La banque d’earshot n’en fournit pas, et sa documentation le dit clairement. Il faudra une musique sous licence, ou celle qu’on ajoute dans l’outil de publicité de la plateforme.

Ce que ça coûte en temps

Chaque appel en ligne de commande recharge les modèles : comptez environ 23 secondes pour l’analyse du film et 13 secondes pour la note sur notre Mac. Le serveur MCP garde les modèles chargés entre deux appels, ce qui accélère les séries d’écoutes.

Ses limites, qu’il annonce lui-même

C’est le point le plus rassurant du projet : la documentation dit clairement ce que l’outil ne sait pas faire.

  • Il mesure, il n’écoute pas. Ses modèles décrivent ce qu’est un son et comment il se mesure, pas s’il est beau ou s’il sert l’histoire. Le goût reste à l’humain.
  • Il peut être satisfait à tort. Quand on fabrique un son pour plaire à ses modèles, ils finissent par tout valider : l’auteur le dit et recommande un test d’écoute à l’aveugle avant de déclarer un son « aussi bon qu’un vrai ». Son détecteur d’enregistrement réel se trompe aussi facilement.
  • Aucun test d’écoute publié pour la banque actuelle. Les sons ont été choisis par mesure. Le seul test à l’aveugle publié porte sur une version précédente, avec un seul auditeur, l’auteur.
  • Les étiquettes sont des indices. Dans notre test, le même petit son a été décrit une fois comme « un pas léger », une autre fois comme « un coup de batterie ». Les mesures (temps, volume, calage) sont fiables, les mots beaucoup moins.
  • Pas de musique, pas d’ambiance, et une écoute limitée en fréquences (jusqu’à 14 kHz pour un modèle, 8 kHz pour l’autre).

Pour qui

  • Oui si vous fabriquez des vidéos par code avec un agent (Hyperframes, Remotion, animations web) et qu’elles sortent muettes ou mal sonorisées. earshot donne à l’agent de quoi poser des effets au bon moment et vérifier son travail.
  • Oui pour contrôler une bande-son avant publication : volume, silences, calage, avec des corrections précises.
  • Non si vous cherchez une musique ou une voix off : ce n’est pas son rôle.

Notre verdict

À installer. Nous l’avons d’ailleurs adopté : le skill earshot et le serveur MCP sont désormais branchés sur notre Claude Code pour nos prochaines vidéos. Sur notre test, il a fait ce qu’il promet : des effets libres de droits rendus en quelques secondes, posés au bon moment, et une écoute chiffrée qui a trouvé nos erreurs avant nous.

Gardez seulement en tête ce que l’outil répète lui-même : ses modèles mesurent, ils n’écoutent pas. La décision finale revient à une oreille humaine. La nôtre a validé le rendu des effets, et la note avait raison sur ce qui manquait : une musique.

Sources

  1. earshot, dépôt GitHub (Leonxlnx, licence MIT)
  2. earshot, documentation des effets et des kits (docs/SFX.md)
  3. earshot, page d’écoute de la banque de sons
  4. Modèle CLAP laion/larger_clap_general (Hugging Face)
  5. Modèle AST MIT/ast-finetuned-audioset-10-10-0.4593 (Hugging Face)
  6. MaitriseLIA, Hyperframes : transformer du HTML en vidéo avec des agents
  7. MaitriseLIA, ffmpeg-skill : un éditeur vidéo pour agent IA

À propos de l'auteur

Équipe MaitriseLIA

Experts en formation Claude Code, Anthropic API et outils d'IA professionnels. Nos contenus sont rédigés par des spécialistes qui utilisent Claude Code et les MCPs au quotidien pour automatiser leurs business.