Notes : Cette partie est gérée par notre équipe.
Si vous faites partie d’un studio, contactez votre Publishing Manager pour définir ensemble les meilleurs tests et analyser les résultats.
- Il n’existe actuellement aucune valeur standard de paramètres par jeu, mais nous travaillons sur une convention de nommage standard qui sera partagée prochainement. En attendant, veuillez contacter votre Publishing Manager pour valider la liste des paramètres.
- Seuls les Publishing Managers Homa peuvent lancer des tests A/B. Vous pourrez cependant consulter les résultats.
Une fois que le jeu est prêt pour le N-testing, les membres de l’équipe Homa peuvent créer des tests A/B pour déterminer si la modification de certains aspects du jeu permet d’augmenter les revenus ou l’engagement.
Exemples de tests généralement réalisés par les équipes de jeu :
- Modifier l’intervalle entre les publicités
- Modifier le prix d’un objet (ex. skin, pack, objet en jeu comme une arme)
- Modifier l’UI/UX ou les éléments graphiques (ex. changer la couleur de l’icône de la boutique, ajouter des notifications visuelles)
Une fois le test conclu, il est possible d’appliquer le changement à tous les joueurs.
Prérequis :
- Assurez-vous d’avoir configuré vos paramètres distants :
Créer une expérimentation
- Rendez-vous dans N-testing
- Cliquez sur votre jeu
- Cliquez sur Create new test et complétez le formulaire pour créer votre test
- Vous trouverez ci-dessous des détails sur les paramètres que vous pouvez définir :
| Nom du champ | Description | Recommandation |
|---|---|---|
| Experiment name | Nom affiché dans la liste des tests. Nous recommandons fortement d’utiliser un nom descriptif indiquant clairement ce qui est testé. | - Ajouter la portée dans le nom du test (ex. [iOS WW] pour iOS Worldwide) |
- Utiliser un titre explicite (ex. Enemy speed) |
| Scope [legacy only] | Plateforme et région des joueurs inclus dans le test. | |
| Countries / OS [segmentation only] | Pays et systèmes ciblés par le test. | |
| Target users [segmentation only] | Indiquer si vous souhaitez inclure uniquement les nouveaux utilisateurs (par défaut) ou tester également sur les utilisateurs existants. | - Pour les jeux avec une faible rétention, il suffit généralement de se concentrer sur les nouveaux utilisateurs. |
| Sample size | Pourcentage d’utilisateurs assignés au test. Les utilisateurs sont répartis aléatoirement selon cette allocation. | - Vérifier que le nombre d’utilisateurs est suffisant pour obtenir une conclusion dans le délai attendu
- Des outils d’aide au calcul sont disponibles dans le formulaire
- Impossible d’allouer plus de 100 % d’échantillon sur un même pays/OS ou Scope |
| Target Metric | Indicateur principal pour déterminer si le test est gagnant (les autres métriques seront affichées mais l’analyse statistique sera centrée sur celle-ci). | - LTV D3 total est en général un bon compromis entre rapidité et indicateur de performance long terme |
| Maturation [segmentation only] | Durée de participation des utilisateurs au test (définit les métriques disponibles). | - Pour obtenir les métriques D14, il faut une maturation d’au moins 14 jours. |
| Notes | Description du test (ex. paramètres modifiés, précisions utiles pour les autres). | - Champ non obligatoire mais fortement recommandé
- Les notes apparaissent dans la colonne Note de la liste des tests |
| Parameters to test | Paramètres que vous souhaitez modifier (entre les variantes). | |
| Segments [segmentation only] | Segments appliqués, permettant des overrides différents selon les variantes. | |
| Variant | Variantes à tester. Chaque utilisateur sera placé dans une variante et recevra les overrides correspondants. | - Plus vous avez de variantes, moins chaque groupe sera grand, et plus le test prendra du temps pour donner un résultat. |
- Cliquez sur Save experiment pour enregistrer.
- Le test est alors créé en Draft et peut être activé via le menu contextuel (trois points) → Activate experiment.
- Tous les variants sont alors activés, et les nouveaux utilisateurs sont répartis entre les groupes selon l’échantillon défini.
Analyser un test A/B
Dans l’onglet A/B test, les expérimentations sont listées et filtrables par statut.
- En développant un test, les métriques apparaissent par variante :
- Les métriques avec moins de 500 utilisateurs ne sont pas affichées
- Les métriques en gras ont atteint une significativité statistique (⚠️ il existe toujours un risque de bruit, mais les chiffres gris ne doivent jamais être considérés comme un signal)
- Les métriques sont cohordées à partir de l’entrée utilisateur dans le test et sont cumulatives.
- Ex. Ad LTV D3 = revenu pub moyen généré par utilisateur sur les 3 premiers jours après l’entrée dans le test
- La sélection des métriques peut être modifiée et sauvegardée via le système de vues.
Plusieurs onglets permettent de détailler les résultats par dimension (pays, version app, réseau UA, segment, type d’utilisateur).
Chaque variante affiche une conclusion sur sa victoire ou non basée sur la métrique cible.
Des détails sur l’ampleur du gain et les probabilités sont accessibles en survolant la conclusion.
Appliquer une variante gagnante
Lorsqu’une variante est clairement gagnante et doit être appliquée au trafic live :
- Utilisez le menu contextuel (trois points) de la variante → Rollout
- Dans la fenêtre, sélectionnez les scopes ou segments concernés
👉 Cette méthode est préférable à une configuration manuelle car elle permet de suivre le déploiement des tests réussis.
[Pour les jeux utilisant Scopes]
La configuration peut également être appliquée aux utilisateurs existants via l’onglet apply all players.
Notes
- Si plusieurs tests sont en cours (running), un nouvel utilisateur n’est assigné qu’à un seul test.
- Les données sont visibles dès le lendemain de l’activation, mais il faut attendre plusieurs jours d’utilisateurs + la maturation cible pour obtenir un résultat concluant.
- Ex. si la métrique cible est LTV D7, il faut 7 + 3 jours = 10 jours pour obtenir 3 jours d’utilisateurs et atteindre les 7 jours de maturation nécessaires.
- Les métriques avec moins de 500 utilisateurs ne sont pas affichées.
- Les métriques en gras indiquent une significativité statistique (⚠️ toujours un risque de bruit, ne jamais considérer les chiffres gris comme fiables).
- Un nombre minimum d’installations est nécessaire pour avoir un résultat valide. Si ce n’est pas le cas, un message d’erreur s’affichera. Pour éviter cela, réduisez la taille d’échantillon choisie.