Comment tester un chatter IA sur Telegram en 30 jours (le protocole que nous utiliserions)

La plupart des essais de chatter IA échouent pour une raison qui n'a rien à voir avec l'IA. Quelqu'un l'allume pour un week-end, jette un œil à la ligne de chiffre d'affaires, change trois scripts le quatrième jour, et conclut ce qu'il pensait déjà. Un vrai test a besoin d'un cadre, d'une base de comparaison et d'une courte liste de chiffres que vous avez décidé de regarder avant de commencer. Voici le protocole que nous suivrions si nous évaluions un outil que nous n'avons pas construit, et c'est celui que nous demandons aux gens de suivre sur OnlyChatAI.

Le cadre : un compte, une licence, un mois

Choisissez un compte de créatrice sur Telegram qui reçoit déjà un flux régulier de conversations entrantes. Pas votre plus gros compte, pas un compte tout neuf : un compte normal, de taille moyenne, dont vous connaissez déjà les chiffres du mois précédent. Achetez une licence pour ce compte, et configurez l'IA exactement comme vous la feriez tourner sur le long terme : le personnage, les scripts, les règles de médias, les prix, les heures où elle est active et les conditions dans lesquelles un humain intervient. Avec OnlyChatAI, l'IA répond depuis le compte Telegram de la créatrice, connecté via Telegram Business, donc le fan voit le même profil et le même historique de conversation qu'avant. Ça compte pour le test : rien ne change pour le fan, sauf qui tape.

Ensuite, laissez tourner pendant trente jours sans y toucher. La tentation de retoucher est énorme. Résistez-y, parce que chaque changement remet à zéro le compteur de ce que vous mesurez.

La base de comparaison : le mois d'avant

Avant que l'IA n'écrive un seul message, sortez les sept mêmes chiffres ci-dessous pour les trente jours précédents, sur le même compte, avec le chatter humain qui le tenait. Sans ça, vous n'avez pas de comparaison, seulement une impression. Si vous ne pouvez pas reconstituer une base, laissez tourner le chatter humain un mois de plus en notant tout, puis lancez le mois IA. Un test sans base de comparaison n'est pas un test.

Les sept métriques

• Revenu par fan. Le chiffre total du compte divisé par le nombre de fans qui ont échangé au moins un message sur la période. C'est le chiffre qui résiste aux variations de volume de trafic, et c'est pour ça qu'il vient en premier.
• Taux de réponse. La part des messages entrants de fans qui ont reçu une réponse, et en combien de temps. Les fans qui écrivent et n'entendent rien sont le revenu le moins cher à perdre et le plus facile à mesurer.
• Taux d'ouverture PPV. Sur les médias verrouillés envoyés, combien ont été débloqués. Ça vous dit si les offres arrivent au bon moment, avec le bon cadrage, au prix que vous avez fixé.
• Panier moyen. Le chiffre divisé par le nombre de déblocages. À lire avec le taux d'ouverture : un outil qui pousse des déblocages bon marché peut avoir l'air excellent sur l'un et mauvais sur l'autre.
• Conversion gratuit vers acheteur. Sur les fans qui ont démarré une conversation sur la période, combien ont fait un premier achat. C'est la métrique qui vous dit si l'IA sait conclure un fil à froid, et pas seulement traire un fil déjà chaud.
• Fils repris par un humain. Combien de conversations ont nécessité qu'un humain intervienne, et pourquoi. Un chiffre bas n'est bon que si les interventions que vous avez faites étaient les bonnes. Notez la raison à chaque fois.
• Revenu par heure contre coût du chatter. Prenez le chiffre du mois, divisez-le par les heures humaines réellement passées sur le compte (supervision comprise), et mettez-le à côté de ce que le chatter humain coûtait par heure sur le mois de référence. C'est le chiffre que votre côté finance vous demandera.

Comment lire les résultats

Ne commencez pas par le chiffre total. Commencez par le revenu par fan et la conversion gratuit vers acheteur, parce que ces deux-là isolent la qualité de la conversation du volume de trafic. Si les deux sont stables ou en hausse pendant que le taux de réponse s'est amélioré, l'IA fait le travail : elle parle à plus de monde, au moins aussi bien. Si le revenu par fan a baissé pendant que le taux de réponse a monté, l'IA répond à tout le monde mais vend moins bien, et le correctif est généralement le personnage ou la transition vers le contenu payant, pas l'outil dans son ensemble.

Regardez ensuite le taux d'ouverture et le panier moyen ensemble. Un taux d'ouverture qui monte avec un panier qui baisse signifie que l'IA propose les articles bon marché trop tôt ; l'inverse signifie qu'elle demande trop, trop vite. Les interventions humaines sont le bilan de santé : lisez chacune d'elles. Si les raisons se regroupent (la même objection, la même langue, le même type de fan), vous avez trouvé le prochain script à écrire. Enfin, le revenu par heure face au coût du chatter est la réponse business. Même si le chiffre est simplement égal, une forte baisse des heures change l'économie du compte.

Les pièges

• Comparer des périodes différentes. Un mois de lancement contre un mois calme ne prouve rien. Comparez trente jours aux trente jours immédiatement précédents, sur le même compte, et notez toute campagne, sortie de contenu ou promotion tombée dans l'une ou l'autre fenêtre.
• Changer le trafic. Si vous activez une nouvelle source de trafic pendant le test, les fans qui arrivent sont des fans différents. Gardez l'acquisition telle quelle, ou acceptez que la conversion gratuit vers acheteur soit contaminée.
• Modifier les scripts en cours de test. L'erreur la plus fréquente. Écrivez les scripts avant le premier jour, puis figez-les. Si quelque chose est clairement cassé, corrigez-le, relancez le compteur, et dites-le dans vos notes.
• Changer les prix. Même logique. Un changement de prix fait bouger le taux d'ouverture et le panier moyen dans des directions opposées et masque tout le reste.
• Tester sur un compte qui meurt. Si le mois de référence était déjà en baisse, le mois IA aura l'air mauvais pour des raisons qui n'ont rien à voir avec lui.
• Noter au feeling. Lire trois bonnes conversations et une mauvaise, ce n'est pas de la donnée. Les sept chiffres sont la note. Les conversations servent à expliquer la note.

À quoi ressemble un résultat honnête

Nous ne citons aucun résultat par compte ici. Les seuls chiffres que nous publions sont à l'échelle de la plateforme et datés (43 % de taux de déblocage (unlock ratio), 2 M$+ par mois sur 800+ créatrices), et le protocole ci-dessus est la façon d'obtenir les vôtres. Un résultat honnête est simple : après trente jours, vous pouvez dire, avec les sept métriques sous les yeux, si le compte a fait au moins autant par fan avec moins d'heures humaines, et vous savez exactement quelles conversations l'humain doit encore garder. Si la réponse est oui, étendez à un deuxième compte. Si c'est non, vous avez une liste précise de ce qu'il faut corriger, ce qui est déjà plus que ce que la plupart des essais produisent. Pour les vérifications à faire avant même d'acheter une licence, lisez comment évaluer un chatter IA avant d'acheter, et pour la vue d'ensemble, le chatting IA pour créatrices.

Questions fréquentes

Combien de temps doit durer un test de chatter IA ?

Trente jours sur un compte, comparés aux trente jours immédiatement précédents sur le même compte. Les tests plus courts sont dominés par le bruit du quotidien ; les plus longs invitent à changer les scripts et le trafic, ce qui casse la comparaison.

Quelles métriques comptent le plus dans le test ?

Commencez par le revenu par fan et la conversion gratuit vers acheteur, parce qu'elles isolent la qualité de la conversation du volume de trafic. Lisez ensuite le taux d'ouverture PPV et le panier moyen ensemble, passez en revue chaque intervention humaine, et terminez par le revenu par heure face au coût du chatter.

Puis-je ajuster les scripts pendant le test ?

Pas sans relancer le compteur. Écrivez le personnage, les scripts et les prix avant le premier jour et figez-les. Si quelque chose est clairement cassé, corrigez-le, notez la date, et considérez les trente jours suivants comme le test.

OnlyChatAI publie-t-il des résultats de test ?

Pas dans ce guide. Les résultats de nos comptes, de notre trafic et de nos scripts ne diraient rien des vôtres. Le protocole ci-dessus est conçu pour que vous produisiez vos propres chiffres sur votre propre compte.