WhisperX : les sous-titres mot-à-mot qui retiennent (et savoir qui parle) — le moteur, pas le rendu

TL;DR — WhisperX en une minute

• Ce que c’est : une surcouche open source (BSD-2, 23 000 étoiles) à Whisper (la transcription d’OpenAI) qui ajoute des timestamps au mot près, l’identification des locuteurs, et une inférence 70x plus rapide que le temps réel.
• Pourquoi ça compte : le timing au mot près, c’est ce qui rend possible les sous-titres « karaoké » (chaque mot s’allume quand il est dit) — le format qui garde le spectateur jusqu’au bout.
• La nuance clé : WhisperX est le moteur, pas le rendu. Il te donne les timings (SRT/JSON) ; les jolis sous-titres animés, c’est toi qui les fabriques par-dessus.
• À savoir : la diarisation demande un token Hugging Face et reste « loin d’être parfaite », c’est un outil Python (GPU conseillé), et l’alignement rate les nombres/symboles.
• Notre verdict : Installer — la brique de référence pour du sous-titre au mot près et savoir qui parle.

Tu as forcément vu ces sous-titres où chaque mot apparaît pile quand il est prononcé, avec le mot en cours surligné. Ce n’est pas un gadget : ce format retient le spectateur, et il domine TikTok, Reels et Shorts. Mais il repose sur une chose que Whisper seul ne donne pas bien : un timing précis, mot par mot. C’est exactement ce que WhisperX apporte.

Le problème : Whisper transcrit, mais cale mal

Whisper, la transcription d’OpenAI, est excellente pour transformer de l’audio en texte. Mais elle donne des timestamps par segment (par phrase), pas par mot. Or, pour un sous-titre « karaoké », il faut savoir à la milliseconde quand chaque mot est prononcé. Sans ça, l’animation est décalée et l’effet tombe à plat.

Ce que WhisperX ajoute

WhisperX prend Whisper et le complète avec trois choses :

• Des timestamps au mot près. Il réaligne la transcription sur l’audio grâce à un modèle phonétique (wav2vec2), pour poser chaque mot au bon endroit sur la timeline.
• La diarisation : savoir qui parle quand — indispensable dès qu’il y a plusieurs voix (interview, réunion, podcast).
• La vitesse : une inférence par lots qui atteint 70x le temps réel avec le gros modèle Whisper — de quoi transcrire une heure d’audio en moins d’une minute sur GPU.

C’est devenu, de fait, la référence pour tout ce qui touche au sous-titre précis et à la transcription multi-locuteurs. Beaucoup d’outils que tu utilises sans le savoir tournent dessus.

La nuance à comprendre : c’est le moteur, pas le rendu

Voilà le point que le pitch « sous-titres karaoké » laisse croire à tort. WhisperX ne fabrique pas les jolis sous-titres animés. Il te donne la matière : un fichier SRT (avec une option pour surligner les mots) ou du JSON avec le timing de chaque mot. C’est ensuite à toi — ou à un outil de montage/rendu — de transformer ces timings en animation à l’écran.

Autrement dit, WhisperX est le cerveau (le timing exact) ; l’habillage visuel, c’est une autre étape. Le comprendre évite la déception : tu n’installes pas WhisperX pour obtenir une vidéo sous-titrée clé en main, mais pour obtenir un timing parfait à mettre en forme.

Les autres garde-fous honnêtes

• La diarisation demande un token Hugging Face (et d’accepter les conditions du modèle). Et surtout, les auteurs sont francs : elle est « loin d’être parfaite », et gère mal les voix qui se chevauchent.
• C’est un outil de développeur : Python, pip install whisperx. Ça tourne sur CPU, mais un GPU est vivement conseillé pour la vitesse.
• L’alignement a des trous : les mots sans lettres (un nombre comme 2014, un montant comme 13,60 €) ne reçoivent pas de timing.
• Maintenu par une seule personne : le projet est la référence, mais son entretien repose sur un développeur (beaucoup d’issues ouvertes). À garder en tête pour un usage sérieux.

Pour qui c’est vraiment utile

• Tu produis des vidéos courtes : WhisperX te donne le timing pour des sous-titres au mot près, l’ingrédient du format qui retient.
• Tu transcris des échanges à plusieurs voix (interviews, réunions, entretiens) : la diarisation attribue chaque phrase à un locuteur — précieux, même imparfaite.
• Tu automatises de la transcription en volume : la vitesse 70x change la donne.

Notre verdict : Installer

WhisperX est une de ces briques fondamentales qu’on gagne à connaître : gratuite, open source, rapide, et bien meilleure que Whisper seul dès qu’on a besoin de précision au mot ou de savoir qui parle. Pour tout créateur ou automatiseur qui touche à l’audio et à la vidéo, elle mérite sa place dans la boîte à outils.

La seule chose à ne pas confondre, c’est le moteur et la carrosserie : WhisperX te donne le timing parfait, pas la vidéo finie. Vu comme la fondation sur laquelle bâtir tes sous-titres et tes transcriptions, il tient parfaitement sa promesse.

Points de vigilance

• C’est le timing, pas le rendu : prévois une étape de mise en forme pour les sous-titres animés.
• Diarisation imparfaite : token Hugging Face requis, et résultats à vérifier sur les passages à voix multiples.
• GPU conseillé : possible en CPU, mais lent. Et pas de timing sur les nombres/symboles.
• Projet solo : la référence, mais dépendant d’un seul mainteneur — anticipe pour un usage critique.