Pipecat : construire un agent vocal open-source (l’alternative à Vapi) — le contrôle contre l’assemblage

TL;DR — Pipecat en une minute

• Ce que c’est : un framework Python (par Daily, open source BSD-2, ~14 000 étoiles) pour construire des agents vocaux temps réel — un pipeline qui enchaîne reconnaissance vocale (STT) → LLM (Claude…) → synthèse vocale (TTS).
• Le pitch du reel : « l’agent téléphonique à 8000$ » — Claude répond, prend le RDV, le met au calendrier.
• Le vrai positionnement : l’alternative open-source auto-hébergée aux plateformes hosted comme Vapi. Plus de contrôle et de coût maîtrisé — au prix de l’assemblage.
• Le catch : tu câbles STT/LLM/TTS toi-même (Python), la téléphonie (Twilio/Vonage) demande du setup, et le temps réel a un coût + une latence à régler.
• Notre verdict : à tester — pour construire et maîtriser tes agents vocaux ; si tu veux du clé-en-main, une plateforme hosted reste plus simple.

« Un agent qui répond au téléphone, prend le rendez-vous et le met au calendrier » — le reel vend ça comme un business à 8000$. Derrière, il y a Pipecat : le framework open-source qui fait tourner ce genre d’agent vocal. C’est du sérieux (maintenu par Daily, la boîte d’infra audio/vidéo temps réel). Mais entre « brancher Claude sur le téléphone » et un agent vocal qui tient la route, il y a un monde — celui de l’assemblage.

Le problème : un agent vocal, c’est une chaîne, pas un bloc

Un agent qui parle au téléphone, ce n’est pas « juste Claude ». C’est une chaîne temps réel : capter la voix → la transcrire (STT) → la comprendre et répondre (LLM) → la resynthétiser en voix (TTS) → gérer les interruptions, la latence, la téléphonie. Chaque maillon est un service, et il faut les faire tenir ensemble à la milliseconde. C’est là que Pipecat intervient.

Ce que fait Pipecat

Pipecat est un framework Python qui orchestre cette chaîne :

• Pipeline composable : tu branches le STT, le LLM (Claude, entre autres) et le TTS de ton choix, et Pipecat gère le flux temps réel entre eux.
• Voix et multimodal : audio, vidéo, temps réel.
• Multi-agents : des « spécialistes » qui se passent la main ou travaillent en parallèle.
• Téléphonie : intégrations (Twilio, Vonage) pour brancher un vrai numéro.

Il est maintenu par Daily (infra audio/vidéo temps réel) et fournit même des skills Claude Code pour t’aider à démarrer. En clair : la plomberie temps réel d’un agent vocal, en open source, avec le choix de tes briques.

Pipecat vs les plateformes hosted (Vapi & co)

C’est LA question pour qui construit des agents vocaux. Une plateforme hosted (type Vapi) te donne un agent vocal clé-en-main : tu configures, ça tourne, ils gèrent l’infra. Pipecat, c’est l’inverse : tu héberges et tu assembles, mais tu gardes le contrôle total (choix des modèles, coûts optimisés à l’échelle, pas de lock-in, tes données chez toi).

• Tu veux aller vite, sans gérer d’infra → hosted.
• Tu veux le contrôle, optimiser les coûts au volume, éviter le lock-in → Pipecat.

Le catch honnête

• Assemblage requis. Pipecat n’est pas un produit clé-en-main : tu câbles STT/LLM/TTS toi-même, en Python. Il faut savoir coder.
• La téléphonie, c’est du boulot. Brancher un vrai numéro (Twilio, Vonage) demande du setup — ce n’est pas un clic.
• Temps réel = coût + latence. Chaque échange enchaîne plusieurs services facturés, et la latence dépend des briques choisies. Un agent vocal fluide, ça se règle finement.
• C’est de l’infra, pas une app. Pour qui construit un produit vocal, c’est génial ; pour un test rapide, c’est lourd.

Pour qui c’est vraiment utile

• Tu construis un produit vocal (standard téléphonique, prise de RDV, qualification) et tu veux maîtriser tes coûts et tes modèles : Pipecat est taillé pour ça.
• Tu veux éviter le lock-in d’une plateforme hosted et garder tes données : le self-host répond exactement à ce besoin.
• Tu es à l’aise en Python et tu sais assembler des services : le rapport contrôle/effort est excellent.

À l’inverse : si tu veux un agent vocal qui tourne cette semaine sans coder d’infra, une plateforme hosted (Vapi et consorts) reste plus rapide à lancer.

Notre verdict : à tester

Pipecat est une brique sérieuse et mature (Daily, des milliers de commits) pour qui veut construire des agents vocaux sans dépendre d’une boîte noire. Le contrôle qu’il offre — modèles, coûts, données — est un vrai atout dès qu’on passe à l’échelle.

La seule chose à ne pas idéaliser, c’est le « il suffit de brancher Claude ». Un agent vocal, c’est une chaîne temps réel à assembler et à régler. Vu comme la fondation open-source de ton propre agent vocal, Pipecat tient sa promesse. Vu comme un raccourci sans code, ce n’est pas ça.

Points de vigilance

• Assemblage Python : tu câbles STT/LLM/TTS toi-même. Pas de clé-en-main.
• Téléphonie : brancher un vrai numéro (Twilio/Vonage) = du setup.
• Temps réel : coût par échange + latence à régler.
• Self-host vs hosted : contrôle et coût maîtrisé contre simplicité (Vapi & co).