Prix et performance

Test A/B RCS contre SMS : isoler l’effet du canal

Comparez deux canaux sur une audience comparable et préparez avant l’envoi la règle qui permettra de choisir le gagnant.

Choisir exactement ce que l’on compare

Pour une enseigne, deux questions se ressemblent. La première consiste à savoir si une carte produit RCS vend mieux qu’un SMS à des personnes capables de recevoir les deux canaux. La seconde consiste à décider si une stratégie RCS avec repli SMS fait mieux qu’une stratégie tout SMS sur l’ensemble de la base. La première mesure le format auprès des personnes éligibles. La seconde mesure une décision de déploiement réelle, avec sa couverture et ses coûts.

Écrivez la question en une phrase avant de constituer les groupes. Choisissez un critère principal, par exemple la marge par client affecté au test. Fixez aussi la durée de comptage, les contacts exclus et le gain minimal qui justifierait le travail supplémentaire. Un objectif défini après lecture des résultats favorise presque toujours l’indicateur qui a eu le plus de chance.

Construire les groupes et limiter les différences

Pour tester le format, prenez les contacts éligibles aux deux variantes. Répartissez-les au hasard au niveau du client et conservez cette affectation. Si la base mélange gros acheteurs et clients occasionnels, répartissez les personnes séparément dans chacune de ces catégories. Vérifiez ensuite les proportions et les dépenses passées des deux groupes. Une relance d’un même foyer sur deux canaux peut brouiller la lecture si plusieurs comptes partagent un numéro.

Gardez identiques le prix, la remise, la date, le produit et la page d’arrivée. Le RCS peut exploiter un visuel et un bouton, puisque ce sont précisément les capacités que vous comparez. Expédiez les deux variantes dans la même plage horaire. Si le repli SMS entre dans le protocole, prévoyez sa règle et documentez les livraisons réelles dans chaque groupe.

Lire les résultats par client affecté

Dans un test fictif de 2 000 clients par groupe, le RCS génère 70 commandes et le SMS 60. Les taux sont de 3,5 % et 3 %, soit un écart de 0,5 point et une hausse relative d’environ 16,7 %. Dix commandes d’écart donnent un ordre de grandeur. L’incertitude sur cet écart reste importante à cet effectif. Faites examiner sa précision avant d’étendre le test à toute la base.

Les clics servent ensuite à expliquer le résultat. Davantage de clics et autant de commandes peuvent signaler une carte attractive suivie d’une page peu convaincante. Davantage de commandes et une marge inférieure peuvent révéler un autre panier produit. Décidez sur le critère prévu et archivez aussi les résultats sans différence nette. Ces derniers permettent de réserver le RCS aux campagnes où son contenu enrichi apporte une valeur mesurable.

Vous préparez une campagne ? En discuter avec RAKOR